美军差点因为一个聊天机器人的胡说八道，在公海上拦截一艘中国货船。

根据美国有线电视新闻网（CNN）披露的内幕，美国特种作战司令部的一名情报分析人员此前提交了一份机密报告。报告言之凿凿地声称，一艘正在中东海域航行的中国船只上，正运载着核武器项目的核心部件。

美军随即进入实质准备阶段，甚至调动了空中掩护，准备直接强行登船搜查。直到行动前的最后一刻，官员复核时才惊险叫停：所谓的核武器部件纯属子虚乌有，那个写进机密报告的关键情报，来自分析人员使用的 AI 聊天机器人。

一名知情人士对媒体直言，这场闹剧差点引爆一场战争。

当时那名情报人员把关于这艘中国货船货物舱单的情报，扔给了聊天机器人分析。这个程序把政府掌握的秘密信号情报，与公开来源情报揉成了一团。当两边数据拼不上、无法解释某些细节时，AI 没在报告里写“查无证据”，而是自己编了一个听上去合情合理的答案。它将普通的船运物资，算成了核武器零件。

这种一本正经编造事实的毛病，在技术界叫作“AI 幻觉”。

理解它其实不难。大语言模型本质上不是一个会思考的大脑，而是一台极其复杂的文字接龙机器。它受到的所有训练，都是为了在一句话的后面，接上最符合人类语言习惯的下一个词。它不在乎客观事实究竟存不存在，只在乎这句话读起来像不像真的。

当训练数据对某个问题没有提供足够背景时，模型为了维持上下文的通顺，会直接启动概率推演，编造一个最像事实的虚假结果填进去。《自然》（Nature）杂志的报道指出，由于大模型底层的概率机制，想要彻底消除这种幻觉，在数学上可能根本做不到。

在民用领域，AI 撒谎的后果不过是闹点笑话。有人用它给报纸荐书，推荐出一份满是虚构书目的书单；法官险些采信律师借助 AI 撰写的文书，发现其中夹杂着凭空捏造的判例；医生拿它记录病历，却发现可能凭空编造病史。以前的这些事故，代价是一份书单、一纸裁决、几张病历。这一次，代价单位换成了军舰和战机。

美军明知道 AI 有这个毛病，却正在不顾一切地把它推向前线。

美国国防部在今年1月推出了所谓“AI 加速战略”，要求打通军方各系统中的适用数据，供 AI 模型开发利用。去年年底，五角大楼以谷歌的定制版模型为基础搭建了军用生成式 AI 平台，上个月又增设了马斯克的 Grok，上百万国防部人员已经开始用这些工具写公文、整材料、处理军情。

按照美国国务院2023年发布的宣言，在军事领域负责任地使用AI，必须始终保持“人在回路”，也就是由真正的人类军官负责把关、下令和承担责任。

但在那艘中国货船的险情里，人类确实在回路中。那位分析员坐在电脑前，眼睛盯着屏幕，手里拿着公章，却毫无保留地相信了聊天机器人给出的荒唐答案，并把它端上了指挥官的作战案头。

技术没有失控，失控的是人类对机器的轻信。

～～～～～～

图为艺术家构想中以 AI 武装、防卫家园的军队，图源：Getty Images

信源：Orland, Kyle. "AI Hallucination of Chinese Nuclear Components Almost Led to US Military Attack." Ars Technica, 18 Sept. 2026