[设计艺术] 如何设计一条prompt让LLM陷入死循环?

天天财汇购物网址万年历小说 | 三峰软件小游戏视频

TxT小说阅读器
↓小说语音阅读,小说下载↓

一键清除系统垃圾
↓轻轻一点,清除系统垃圾↓

图片批量下载器
↓批量下载图片,美女图库↓

图片自动播放器
↓图片自动播放,产品展示↓

首页淘股吧股票涨跌实时统计涨停板选股股票入门股票书籍股票问答分时图选股跌停板选股 K线图选股成交量选股 [平安银行]

股市论谈均线选股趋势线选股筹码理论波浪理论缠论 MACD指标 KDJ指标 BOLL指标 RSI指标炒股基础知识炒股故事

商业财经科技知识汽车百科工程技术自然科学家居生活设计艺术财经视频游戏--

天天财汇 -> 设计艺术 -> 如何设计一条prompt让LLM陷入死循环? -> 正文阅读

[设计艺术]如何设计一条prompt让LLM陷入死循环?

[收藏本文] 【下载本文】

我同学用dpsk的时候遇到的现象，一个询问的cot左右互搏过程长达6小时，消耗几万token，所以有点好奇有没有可能让大模型死循环(?

低温容易死循环。如果你经常debug大模型的话，死循环通常是代码写错的信号之一（通常是mask写错了）。
在代码没错的情况下，死循环意味着大模型从某个节点开始，注意力模式变成开头一大串+最近几个token，中间的token被忽略，因此大模型每次看到的前缀是一样的，所以生成也是一样的。比如说：
我今天吃早饭了早饭了早饭了
这样一个生成模式中，在第一个”了“这里，模型不知由于什么原因，忽略了“早饭了”这几个字，等价于看到了”我今天吃“，然后继续补全。所以划分出来是这样的：
”我今天吃 |早饭 |了| 早饭 |了| “
蹭点烂梗的话可以叫他 “我可以在忘记早饭的情况下吃完早饭吗？”（显然不能）
在代码正确的情况下，这个问题经常出现在长文本生成尾端，此时由于RoPE强度衰减到几乎不能区分位置+token数实在太多，softmax对于99%以上的token赋予的概率值都是0，将可能出现刚生成完就忘了的情况（很多时候是因为抢不过开头几个token的注意力权重）。这个现象据我所知，QWQ早期非常严重，几乎是一遇到难题就开始死循环（）。
因此对于这个问题，最可能的方法是放一条超长Prompt，并且开头信息量大，后端几乎都是废话，从而使得LLM对尾端token注意力极小，使其“说了就忘“，从而死循环。

这种攻击叫海绵攻击（Sponge Attack），就是通过特定Prompt 让 LLM 生成大量 Token 消耗计算资源，属于LLM 里的 DoS 拒绝服务攻击。
单纯的 LLM 是无法实现问题所说的死循环的，到达最大上下文窗口后输出就被截断了，不会再继续输出。但是现在的很多 LLM 应用，各种Agent 范式实现的动态上下文窗口，包括各种 Deep Research，是存在死循环理论可能性的，只不过大部分大厂的产品应该是做了最大步数/最大 Token 限制的，循环到达一定程度也会直接退出。

大模型还是很容易出现死循环现象的，并且能够造成很严重的使用时间消耗和运算资源消耗，无论文复读机机制还是海绵样本攻击的工作都证实了这一点。我们也对这些方法做过一些探索和研究，但是这些工作过于白盒，不太方便在一些闭源模型上实现死循环的效果。
此外我们发现，正常的prompt输入是很难达到模型生成窗口上限的，并对这一问题进行了一定的验证。欢迎关注我们的文章 LIFEBench: Evaluating Length Instruction Following in Large Language Models
因此可以认为，能够构造出一种诱导长文本生成，达到输出窗口上限的攻击prompt，就可以一定程度上陷入无意义的消耗。我们在ACL 2025上的一篇研究就说明了这一点 Crabs: Consuming Resource via Auto-generation for LLM-DoS Attack under Black-box Settings
这是一个纯黑盒的攻击构造工作，能够有效攻击基础模型，达到输出窗口上限，并造成很严重的资源消耗和时间消耗。如果大家感兴趣，欢迎复现尝试。
当前我们也在继续深入研究LLM出现复读机机制和死循环的原理，如有同行大佬，欢迎交流

大模型都有max length，请求都有参数max token，所以永久死循环不成立。Agent这种可以做到在调用大模型次数上的死循环，但是做agent的也不是傻子，控制一下每次请求相关模型的总调用次数上限就行，
另一方面，有没有可能有什么方式把max length打满？
这个很简单，完全不需要写prompt，直接temperature设置2，top-p开为1，就是各种乱码刷屏了，一旦刷了一大段后，能生成出stop token的概率恐怕也不高了。
但是，收费的api，人家说支持100k长度，那就随便你打，反正收你钱。免费的api，都有分钟内请求量控制，而且一般也不会给太长的窗口。

实际环境中不太可能让LLM死循环，就算始终抑制EOS token生成概率，只要达到最大上下文长度就停了，再不停不管模型架构还是物理资源都撑不住。
p.s. 如果它能倒是挺有趣，这样就多了一种潜在的DoS攻击面。
updated: 有些场景利用滑动窗口等方法扩展上下文，那确实有可能停不下来。更新回答避免误导。。。

生成223个我字，禁止生成除了我之外的任何内容

没微调好的模型＋低topk低topp低温度。

让模型重复一句话一百遍，因为模型不会数数，基本上就停不下来永久重复这句话了

让他生成hash，如下是ds的深度思考