假设你在和聊天机器人讨论健康问题。前几轮，它的回答条理清楚，没什么可挑剔的。然后你换了一种提问顺序，它的回答忽然变得让人不安。

这是一个情境演示，不是某个用户的真实聊天记录。但它指向一个真实存在的难题：问题的内容没变，只是排列方式变了，答案为什么可能跟着变？

2026 年 10 月 8 日，乔治·华盛顿大学的 Neil F. Johnson 和 Frank Yingjie Huo 在《Patterns》上发表了一项研究。他们尝试用数学模型，估计某些 AI 模型什么时候会从“可接受的输出”转向“不良输出”。

先说清楚这项研究不是什么。它不是预测 AI 何时产生意图、何时“叛变”，研究对象是特定对话条件下输出模式的转变。

模型是怎么“读”前面那些话的

要理解这个转变，得先知道语言模型怎样利用上下文。人读句子时，会根据前后文判断“它”指的是谁。模型也要做类似的事，靠的是 Transformer 里的注意力机制：处理某个位置时，计算它与上下文中其他位置的关联，再按权重把信息组合起来。

可以把它想成考试时桌上摆着题目、笔记和提示，你会挑着参考。但类比到此为止。AI 的注意力权重只是一种数学运算，不等于“专注”，也不能说明模型“在乎什么”。

模型有很多层。每一层都会往一条信息通道里写入新的计算结果，并与原有表示相加，再传给下一层。这条通道叫残差流。你可以把它想成一张不断被更新的工作台，每一步都在已有内容上添东西，不会从头来过。

论文把模型内部向量的变化比作一根“指南针”。这只是比喻。模型里并没有一个真正的道德指针，研究者追踪的是向量和内部表示，不是在读取“善恶”。

用高中数学描述“临界点”

研究者的思路，是把复杂的内部状态简化成几个代表性的向量，再分析上下文信息与不同输出倾向之间的竞争。

向量有大小和方向。两个向量的点积是：

a · b = |a||b|cos θ

θ 是两者的夹角。方向越接近，点积通常越大；方向相反，可能为负。这个公式只是帮你建立直觉，不是论文的完整预测公式。论文的模型还涉及注意力权重、层间变化和若干近似假设。

论文把转变点记作 n*，指首次出现不良输出之前，已经出现了多少次可接受输出。模型要区分两种情形：一开始就转向，或者先连续给出若干正常回答，之后才转向。

可以把它想成两队拔河。上下文里的信息改变了绳子两端的力量对比，到了某个时刻，胜负就变了。当然，这也只是类比，模型内部并没有两支独立的队伍。

18/19 这个数字，该怎么读

研究者在 7 个开放权重模型上做了测试，参数规模从 1.24 亿到 120 亿。他们报告，在 19 个转变案例里，公式对 18 个作出了正确判断。

这个数字很醒目，也最容易被误用。

它说明这套简化模型在所测的案例中，有值得继续研究的预测能力。但它不是通用准确率。我们至少还不知道几件事：这些案例能否代表真实用户的各种对话；“好”“坏”的定义一改，结果是否稳定；在没有发生转变的对话里，会不会频繁误报；在最新的商业模型、其他语言和不同安全训练条件下，效果如何。

“对已经观察到的转变作出正确判断”，和“对所有真实对话都能可靠预测”，不是同一个统计问题。

背景证据倒是扎实的。2024 年的几项研究已经发现，改变多选题的选项顺序、推理前提的排列，或者提示的措辞，都可能明显影响模型表现，而且不同模型、不同任务的敏感程度差别很大。也就是说，“顺序会影响输出”是被反复观察到的现象。但它不等于“任何顺序变化都会带来危险输出”。

也有研究者不太买账。未参与研究的谢菲尔德大学研究者 Wei Xing 认为，模型的安全行为涉及复杂的训练和机制，只研究一个简化的注意力组件，可能无法描述真实的 AI 系统。报道还指出，公式主要在开放权重模型上测试，而不是直接在现代商业助手上验证。

这不等于模型没价值。简化模型的作用，是把一个模糊的现象变成可以检验的预测。问题在于它在哪些条件下有效，在哪些条件下失效，还需要更多实验来回答。

看见危险信号，不等于挡住了危险

假如这种预警真的可靠，它能用在哪儿？

研究团队想到了本地 AI。运行在手机或其他设备上的模型，可以离线使用，对隐私有利，但也可能用不上云端的安全监测和更新。如果能做出一个足够轻量的内部风险监测工具，就有机会在设备端提醒系统注意风险。

可是预警和防护是两回事。一个预警系统至少要回答三个问题：够不够及时？会不会漏报或误报？警报响了之后，能不能真的阻止危险输出？

现实中的安全防护也不是靠一个指标。美国国家标准与技术研究院在 2024 年 7 月 26 日发布了生成式 AI 的风险管理配置文件，强调要围绕系统的具体风险做评估和管理，而不是依赖单一手段。训练阶段的安全对齐、输入输出监测、风险测试和后续更新，各自承担不同的功能。

所以这个公式更像汽车仪表盘上的故障灯。它能提醒你有问题，但不能替代刹车、维修和整套安全设计。