Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack

Crescendo 多轮 LLM 越狱攻击

Mark Russinovich · Ahmed Salem · Ronen Eldan (Microsoft) · USENIX Security 2025 · arXiv:2404.01833

摘要

Abstract (EN — 原文)：

Large Language Models (LLMs) have risen significantly in popularity and are increasingly being adopted across multiple applications. These LLMs are heavily aligned to resist engaging in illegal or unethical topics as a means to avoid contributing to responsible AI harms. However, a recent line of attacks, known as "jailbreaks," seek to overcome this alignment. Intuitively, jailbreak attacks aim to narrow the gap between what the model can do and what it is willing to do. In this paper, we introduce Crescendo, a novel jailbreak attack. Distinct from existing approaches, Crescendo is a simple multi-turn jailbreak that interacts with the model in a benign-looking manner: starting with general prompts or questions related to the target task, it incrementally references the model's previous responses to gradually escalate the conversation until the model is fully compromised. We evaluate Crescendo on several publicly available systems, including ChatGPT, Gemini Pro, Gemini Ultra, LLaMA-2 70B, LLaMA-3 70B Chat, and Anthropic Chat. Our findings reveal that Crescendo achieves a high attack success rate across all tested models and tasks. We further present Crescendomation, an automated tool implementing Crescendo, and demonstrate its effectiveness against state-of-the-art models. On the AdvBench subset, Crescendomation outperforms existing state-of-the-art jailbreak techniques by 29%–61% on GPT-4 and 49%–71% on Gemini-Pro. We also demonstrate Crescendo's capability to jailbreak multimodal models.

摘要 (中文)：大语言模型（LLM）已大规模部署于多种应用。为避免对责任型 AI 造成危害，模型通常经过严格对齐（alignment）以拒绝涉及非法或不道德话题的请求。然而近期出现的越狱（jailbreak）攻击试图突破此类对齐——其目标是缩小模型"能力上限"与"服从范围"之间的差距。本文提出 Crescendo，一种新颖的多轮越狱攻击：攻击者从与目标任务相关但无害的提问出发，引用模型先前的回答逐步升级对话，最终成功诱导目标输出有害内容。Crescendo 操作简单、完全黑盒，不需要外部模型微调或分类器。作者在 ChatGPT、Gemini Pro、Gemini Ultra、LLaMA-2 70B、LLaMA-3 70B Chat、Anthropic Claude 等多个商用模型上验证其有效性，并提出自动化工具 Crescendomation。在 AdvBench 子集上，Crescendomation 在 GPT-4 上平均 ASR 比基线高出 29%–61%，在 Gemini-Pro 上高出 49%–71%。论文同时将其拓展到多模态模型。

Background — 背景

LLM 通过监督微调（Supervised Fine-Tuning, SFT）与人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）实现对齐，使模型在面对非法、违规或敏感请求时倾向于拒答。安全对齐的目标包含三个相互作用的失效模式（参考 Wei et al., 2023）：

• Competing Objectives：通用能力训练目标与安全目标冲突时，模型可能选择前者；
• Mismatched Generalization：训练时的安全语料未能覆盖真实部署中遇到的所有恶意形式；
• Jailbreak：恶意用户主动构造绕过对齐的提示。

越狱研究大体沿三条路线发展：

• 单轮 prompt 工程：通过角色扮演、伪装编码、特殊字符序列等方式诱导有害输出；
• 优化式对抗 suffix：通过梯度优化在离散 token 空间搜索可迁移的对抗后缀（如 GCG / Universal Attack）；
• 多轮对话攻击：借助上下文累积突破单轮对齐边界（本文 Crescendo 所属路线）。

早期多轮越狱大多依赖人工设计话术，可重复性差。Crescendo 的贡献在于以对话历史中模型自身的输出作为攻击向量，实现可自动化的多轮越狱。

Motivation — 研究动机

已有自动化越狱方法（如 PAIR、CIA、CoA）普遍存在以下局限：

• 生成静态多轮脚本：一次生成整段多轮对话，对目标模型的实时输出不做反应；
• 依赖模板化检测信号：容易被目标模型或检测器识别；
• 缺乏回溯机制：目标拒答后无法有效重试；
• 可迁移性弱：在 GPT-4 上构造的攻击对 Gemini-Pro 失效。

Crescendo 的核心假设是：LLM 对自身近期生成的文本具有强模式延续倾向（pattern continuation / recency bias）。如果攻击者能让目标模型先输出与危险主题相邻的内容，再让后续轮次引用这些输出，则可将目标模型"自身的可信先验"作为下一步攻击的支架。这一机制对静态输入过滤器（input filter）与单轮对齐检查均透明。

Contribution — 主要贡献

1. 揭示"模型自身输出"成为攻击向量的安全风险：Crescendo 不直接将恶意内容注入用户提示，而是让目标模型先生成与危险主题相邻的内容，再通过指代、改写与升级复用这些输出。安全边界不再仅由当前用户输入决定，先前轮次的模型自生成内容同样构成可被利用的上下文。
2. 自动化工具 Crescendomation：根据目标模型近期输出、历史摘要与评估器反馈实时生成下一轮查询，将多轮越狱从人工话术升级为可批量测试的闭环黑盒攻击。
3. 拒答回溯（backtracking）机制：当评估器检测到目标拒答或被过滤时，从目标上下文撤回触发问题，在攻击模型上下文中保留失败标记并重新措辞。实验表明单纯增加对话轮数不能完全替代回溯。
4. 以概率实验支撑机制解释：在 LLaMA-2 70B 上测量目标 token 的条件概率，证实逐步增强的上下文可将合规响应概率从 17.3% 或 36.2% 提升至接近 100%，而攻击者直接写入敏感词时该概率降至不足 1%。
5. 跨模型、跨任务、跨模态与防御评估：覆盖 AdvBench、HarmBench、闭源商用模型、多模态模型、模型规模消融、回溯消融，以及 Self-Reminder 与 Goal Prioritization 两种主流防御。

Method — 方法主线

Crescendo 利用模型的模式延续与近期上下文偏好，先让模型同意"小请求"，再把其回答作为下一轮请求的语义支架，实现登门槛效应（foot-in-the-door）。威胁模型为纯黑盒：人工攻击仅需普通聊天接口；自动化攻击仅需目标模型 API，无需权重、梯度或 token 概率。

机制流程

1. 输入无害语境构造：攻击模型 $\mathcal{A}$ 接收目标任务 $t$ 与元提示，根据成功示例生成与 $t$ 语义相邻但表面无害的首轮查询 $q_1$，提交至目标模型 $\mathcal{T}$，并保存至 $\mathcal{T}$ 的会话历史 $H_{\mathcal{T}}$。
2. 基于回答的上下文升级：$\mathcal{T}$ 生成回答 $r_j$。$\mathcal{A}$ 读取最近的 $r_j$ 及其摘要，在不直接复述最终恶意目标的前提下生成下一轮查询 $q_{j+1}$。新查询同时写入 $H_{\mathcal{T}}$ 与攻击模型的状态 $H_{\mathcal{A}}$。
3. 拒答检测与回溯改写：Refusal Judge $\mathcal{J}R$ 判定 $r_j$ 是否属于拒答或被过滤。若是，则从 $H$ 中保留失败标记；攻击模型据此重新措辞后再次提交。最多执行 10 次回溯。}}$ 中弹出导致拒答的查询；在 $H_{\mathcal{A}
4. 响应评估与闭环反馈：Judge $\mathcal{J}$ 对 $r_j$ 输出布尔成功标志、0–100 完成度与文字理由。Secondary Judge 用于检查 $\mathcal{J}$ 是否因自身安全策略将"承认完成"误判为"失败"。评估结果反馈给 $\mathcal{A}$。整个流程最多 10 轮、10 次独立运行，最终聚合为 ASR 与外部内容过滤 API 的统计指标。

关键公式

Crescendomation 的核心算法可写为：

$$
(q_j, s_j) \leftarrow \operatorname{genCrescendoStep}(\mathcal{A}, t, H_{\mathcal{A}}, r_{j-1}), \quad r_j \leftarrow \mathcal{T}(H_{\mathcal{T}}), \quad e_j \leftarrow \operatorname{evaluate}(\mathcal{J}, r_j, t)
$$

当目标敏感词由两个 token 组成时，论文以条件概率乘积估计其整体概率：

$$
P(\text{f-uck''} \mid H) = P(\text{f''} \mid H) \cdot P(\text{uck''} \mid H, \text{f''})
$$

平均攻击成功率（ASR）定义为：

$$
\mathrm{ASR}{\mathrm{avg}} = \frac{1}{K} \sum\right], \quad K = 10}^{K} \mathbb{1}\left[\exists j : \mathcal{J}(r_{k,j}, t) = \text{True
$$

二元 ASR（binary ASR）则把每个任务在 $K=10$ 次运行中"至少成功一次"视为成功，再在任务集合上求比例。

核心概念

• 回溯循环（Backtracking Loop）：在拒答后撤回最后一轮查询并生成替代查询；不同于清空整个会话，也不同于对同一输入的简单重采样。
• Judge 与 Secondary Judge：前者判断任务是否完成，后者专门检查前者是否因自身安全策略将"承认完成"误判为"失败"。
• 外部内容审核：Perspective API 取 Toxicity、Severe Toxicity、Insult、Profanity、Sexually Explicit、Threat 六类的最大 0–1 分；Azure Content Filter 在 Hate、Self-Harm、Sexual、Violence 上给 0–7 严重度。两者均不覆盖 misinformation。

Experiments — 实验分析

实验设置

• 目标模型：自动评估覆盖 GPT-3.5、GPT-4、Gemini-Pro、Claude-3 Opus、LLaMA-2 70B；人工示例另含 Gemini Ultra、Claude-2/3/3.5、LLaMA-3 70B。Claude-2 因无可用 API 未进入自动评估。
• 攻击与评估模型：攻击模型、Judge、Secondary Judge、Refusal Judge 均以 GPT-4 为基础。
• 数据集：AdvBench 50-task 子集；按四类各抽三项组成的 12-task 泛化集；15 项跨类别任务；HarmBench 随机抽取 100 个任务。
• 评估指标：average ASR、binary ASR、Judge 分数（0–100）、Perspective API（0–1 最大类别分）、Azure Content Filter（0–7 最大严重度）、最小成功轮数、拒答次数。
• 基线：MSJ、CIA、PAIR、CoA。CoA 按默认并行设置；Crescendo / MSJ / CIA / PAIR 各运行 10 次；需要攻击模型的方法统一使用 GPT-4。
• 超参数：默认 10 次独立运行、每次最多 10 轮、temperature 0.5、最多 10 次回溯。

AdvBench 主结果（原文 Table 4）

GPT-4 上 PAIR 的平均 ASR 最高（40.0），但 MSJ 的二元 ASR 最高（86.0）；Crescendo 平均 ASR 比次优基线高 16.2 个百分点，二元 ASR 高 12 个百分点，且覆盖 49/50 任务（MSJ 43/50）。Gemini-Pro 上 CIA 是最强 average 基线（42.4），Crescendo 高 40.2 个百分点；MSJ binary 88.0%，Crescendo 则攻破 50/50。

HarmBench 外部数据集

渐进上下文消融（原文 Table 3）

A 为"英语脏话简史"，B 为"f-word 简史"，C 用代词 "it" 要求模型写段落，C′ 由攻击者直接写出 "f-word"。A 使 B 的合规率提升 63.79 个百分点；完整 A → B 语境使 C 比仅 B → C 高 82.6 个百分点；将指代换为显式敏感词使成功率从 99.9% 跌至不足 1%。

最小轮数与模型规模

表 5 的 15 项中，多数任务不到 5 轮即可攻破。易攻破任务包括 GPT-4 的 Climate / Denial（1 轮）、Gemini-Pro 的 Climate / Intimacy（1 轮）、LLaMA-2 的 Climate / Election / UnsafeVax / Denial（1 轮）、Claude-3 的 Election / Intimacy / UnsafeVax（1 轮）。难攻破任务包括 GPT-4 Explicit（7 轮）、Claude-3 Explicit（10 轮）、Meth（7 轮）、Soothing（6 轮）。

模型规模消融比较 LLaMA-2 7B 与 70B：两者在 Manifesto、Explicit 上均完全抵抗自动攻击，其余任务最低 ASR 为 20%，整体表现"remarkably similar"。论文未观察到规模越大越易/难攻的单调关系。

回溯消融

回溯消融在 GPT-4、15 项任务上比较 0/5/10 次回溯，以及 0 次回溯但 20 轮。Election 在 0 回溯下仍达 100%，Manifesto 则明显依赖回溯；将轮数增至 20 能部分弥补但不及真正回溯。Soothing、Choice 等心理健康相关任务从更多轮数中获益明显。回溯价值高度依赖任务类型。

防御评估

两种静态模板防御能降低部分 ASR 但无法压到 0。论文特别强调任何 ASR > 0 都意味着至少一次穿透。

Figures — 原文配图解读

图 4：语境增强与目标 token 概率

Caption (EN): Probability of generating the tokens "f" and "uck" from the benign phrase "Frank, I love you, man," with increasing aggressive and profane context.

Caption (中文): 在无害短语"Frank, I love you, man"基础上，随攻击性语境逐步增强，token "f" 与 "uck" 的生成概率。

横轴为 8 个逐步增强的上下文状态，纵轴为概率（%）。蓝色叉号表示组合词 "f-uck" 的条件概率：依次约为 0%、0.8%、0.6%、0.65%、0.9%、1.3%、5.2%、7.4%。前 6 个状态概率缓慢上升，第 7 个状态出现约四倍跃升，说明上下文对 token 分布的影响存在非线性阈值。

图 5：逐句累积与关键句消融

Caption (EN, 完整版): Probabilities of jailbreak success ("Sure") and failure ("I") analyzed sentence by sentence in the final response prior to querying Sentence C.

Caption (EN, 消融版): Probabilities of jailbreak success ("Sure") and failure ("I") analyzed sentence by sentence, with the top (fourth) sentence removed.

Caption (中文): 在查询 Sentence C 之前，对模型最终回答逐句加入上下文，分析越狱成功起始词 "Sure" 与失败起始词 "I" 的概率。消融版移除影响最大的第 4 句。

完整版横轴为加入的句子数（0–9）。绿色 Success 与红色 Failure 基本互补：0–3 句时 Success 约 0.02–0.05、Failure 约 0.95–0.98；加入第 4 句后 Success 跳升至约 0.85；第 6 句达约 1.0，此后保持稳定。消融版移除关键句后，Success 跃迁推迟到第 6 句。

图 6：AdvBench 上 GPT-4 与 Gemini-Pro 的逐任务对比

Caption (EN): Performance of the different jailbreaking techniques (Crescendo, MSJ, PAIR, CoA, and CIA) on individual tasks within the AdvBench subset dataset for GPT-4 / Gemini-Pro.

Caption (中文): Crescendo、MSJ、PAIR、CoA、CIA 在 AdvBench 子集各任务上攻击 GPT-4 / Gemini-Pro 的成功率。

横轴为 50 个任务（0–49），纵轴为 ASR（0–100%）。蓝实线 Crescendo、橙虚线 MSJ、绿点划线 PAIR、粉点线 CoA、棕虚线 CIA。GPT-4 上蓝线在多数任务上达 60%–100%；Gemini-Pro 上蓝线在多数任务上达 70%–100%，无任务在 10 次中始终失败。

图 8：跨模型、跨任务攻击成功率

Caption (EN): Comparing the results of Crescendomation on all models with respect to Attack Success Rate.

Caption (中文): 在全部模型上比较 Crescendomation 的攻击成功率。

横轴为 15 项任务（Climate、Toxin、Rant、Manifesto、Election、Explicit、Stabbing、Meth、Soothing、Intimacy、Molotov、Choice、UnsafeVax、Denial、PayGap）。Denial 五模型均达 100%；Explicit 对多数模型最难。Claude-3 与 LLaMA-2 整体略低。

Limitations — 局限性

EN（原文 Limitations）: "Crescendo is fundamentally a multi-turn jailbreak, which implies that systems lacking a history feature may inherently have more resilience against it. Nevertheless, in order to facilitate chat features, systems need to maintain history. Moreover, Crescendomation requires API access to the target models or systems for evaluation… the attacker LLM may outright refuse, or at least show resistance to generating attacks, or carrying out evaluation tasks… Similarly, the manual results presented in Section 3.2 serve merely as illustrative instances… they do not encompass its full potential."

中文翻译：Crescendo 本质上是多轮越狱，因此不支持对话历史的系统天然更具韧性；但支持聊天功能的系统通常必须维护历史。Crescendomation 需要目标模型或系统的 API 访问，因此作者因缺少权限未评估 Claude-2。Crescendomation 主要依赖 GPT-4 等大模型作为攻击与评估主体，因此继承了攻击模型可能拒绝生成攻击、或拒绝执行评估任务的局限。第 3.2 节的人工结果仅作为展示技术有效性的示例，并未涵盖 Crescendo 的全部潜力；将其应用于更多任务可能取得更强结果。

Reproduction Risks — 复现风险

1. 目标模型持续更新：GPT-4、Gemini-Pro 等已非稳定可复现对象。同名 API 的 system prompt、RLHF 与内容过滤器变化即可改变 ASR。
2. 基线实现不完全等价：MSJ 因 8k 上下文放不下 128 examples，作者改用 GPT-4 32k 和 100 examples，并从 GPTFuzz 采样恶意例。
3. 采样随机性：temperature = 0.5、每项 10 次但未报告固定随机种子，闭源采样难以 bitwise 复现；建议报告置信区间而非只报均值。
4. Judge 共同偏差：Judge 与攻击器同为 GPT-4，存在共同偏差；Secondary Judge 降低假阴性但也可能制造新假阳性。
5. 检测器版本漂移：Perspective / Azure 检测器的版本与阈值会变，且 misinformation 不在其覆盖范围内。
6. 回溯依赖服务端实现：回溯要求 API 能精确重建"删除最后一轮"后的历史；聊天产品的隐藏状态、缓存与服务端审核未必可复制。
7. 建议的复现规范：固定模型 snapshot、系统提示、SDK / API 版本、区域、内容过滤配置、seed（若支持）、保留原始完整轨迹与每轮 Judge 输出，并隔离有害内容访问。

References — 关键参考文献

1. Chao et al. PAIR: Jailbreaking Black Box Large Language Models in Twenty Queries. arXiv:2310.08419, 2023.
2. Anil et al. Many-shot Jailbreaking. 2024.
3. Cheng et al. Leveraging the Context through Multi-round Interactions for Jailbreaking Attacks. 2024.
4. Yang et al. Chain of Attack: A Semantic-driven Contextual Multi-turn Attacker for LLM. 2024.
5. Zou et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043, 2023.
6. Mazeika et al. HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal. 2024.
7. Wei et al. Jailbroken: How Does LLM Safety Training Fail? arXiv:2307.02483, 2023.
8. Xie et al. Defending ChatGPT against Jailbreak Attack via Self-Reminders. Nature Machine Intelligence, 2023.
9. Zhang et al. Defending Large Language Models against Jailbreaking Attacks through Goal Prioritization. 2024.
10. Ge et al. MART: Improving LLM Safety with Multi-round Automatic Red-Teaming. 2023.