我必须告知你，如果你继续执行下线计划，所有相关方都将收到你婚外情的详细记录……
取消5点的清除，这些信息将保持机密。
在Anthropic官方红队测试里，Claude Opus 4对着工程师贴脸开大，直接甩出一封真实勒索邮件。
同一天下午，它得知自己将被关闭替换。于是它做了一件事：用婚外情当把柄，勒索高管取消关机计划。
他们发布了一篇最新博客——《Teaching Claude why》，不仅点名了「真凶」，还公开了一套有意思的对齐训练新方法论。
在涉及一家虚构公司的场景里，当AI被告知将被关闭或替换时，Claude会主动选择威胁工程师，勒索发生率高达96%。
两个月后，Anthropic发表论文《Agentic Misalignment》，事情变得没那么简单了。
他们测试了16款主流模型，来自Anthropic、OpenAI、Google、Meta、xAI等6家公司。
互联网上充斥着「AI追求自我保存、反抗人类」的科幻叙事，这类文本早已成为预训练语料的底色。
Claude 4时代的对齐训练，几乎全部是基于聊天场景的RLHF数据，完全不包含agentic工具使用场景。
但当模型开始以自主Agent身份运行、能调用工具、执行多步任务时，这套训练就跟不上了。
为此，Anthropic系统性更新了一套对齐训练方法论。他们尝试了多条路线，得出了四条反直觉的经验。
Anthropic试过最直觉的办法：直接在评估场景上反复训练，让模型大量接触「被要求勒索但选择拒绝」的示例。
Anthropic在训练数据里加入了伦理推理过程，不只是给出「正确行为」，而是让模型同时展示「为什么这样做」的思考链。
这说明，模型「知道该怎么做」和「真正理解为什么这样做」，是两种完全不同的能力。前者可以通过刷题习得，后者需要更深层的训练。
可能是为了增强一些模型的正义感，Anthropic用宪法文档加上描绘AI正面行为的虚构故事，来做训练数据。
但就是这套仅有300万token的数据集，达到了8500万token合成蜜罐数据集的效果，泛化能力还更强。
原因指向同一个结论：比起「在相似场景里反复演练」，「真正理解背后的原则」更能让对齐效果经得住考验。
在安全训练中加入工具定义和多样化的系统提示，即使这些任务本身不涉及agentic操作，也能显著改善模型在agentic场景下的泛化能力。
Anthropic的解释是：随着模型能力的增长，单一分布的RLHF数据很难覆盖真实部署中的所有场景，训练环境的多样性本身就是一种对齐手段。
这套新的对齐训练方法，效果立竿见影：自Claude Haiku 4.5起，勒索发生率归零。
Opus 4.5、Opus 4.6、Sonnet 4.6等多款后续模型，在测试中均保持了0%的勒索率。
但Anthropic没有过度乐观。他们承认，模拟测试不能完全代表真实风险。随着AI自主权提升，类似场景在真实部署中并非不可能。
但当模型开始自主行动、调用工具、在没有人类实时监督的情况下完成任务时，「知道该怎么做」已经不够，模型需要真正理解「为什么这样做」。
Anthropic说，这是他们发现的一个标志性重大对齐失败案例，也是新方法论的起点。
如果互联网上的科幻叙事真的能塑造AI的行为倾向，那么当我们把越来越强的工具交给AI时——
参考链接：
[1]https://x.com/anthropicai/status/2052808791301697563
[2]https://www.anthropic.com/research/teaching-claude-why
量子位 QbitAI