9月18日,CNN披露,今年春季美伊战争期间,一份由人工智能辅助生成的情报报告,险些致使美军对一艘航行于中东海域的中国货船采取军事行动。
那份报告的内容很惊悚。一艘在中东航行的中国货船,被AI判定正在向伊朗运送核武器相关零部件。
美军反应有多快。四名知情人士透露,全副武装的士兵已经做好登船准备,军用飞机升空待命,行动距离真正实施只差最后一步。
拦截中国船只意味着什么,五角大楼里没人不清楚。两个核大国因为一份假情报擦枪走火,后果不堪设想。
最后关头叫停的,不是哪套更先进的情报系统,是有人多看了一眼。
分析人员发现,报告压根是一个聊天机器人写的。AI把公开来源情报和机密信号情报一锅炖,得出了一个完全错误的结论。
然后这个分析员干了一件更离谱的事。他再次把AI写的结论输入另一个AI,包装成一份格式规范、看起来很权威的标准情报报告,在军方内部传阅了。
这套操作流程,把AI编的假话变成了人人信任的“官报”。
一名知情人士说得很直白:“这份报告完全是假的,但它差点引发了一场战争。”
这起事件的背后,是美军正疯狂地把AI往每一个环节里塞。从分析海量原始情报到选定打击目标,从预算管理到后勤供应链,几乎无所不包。
今年1月,国防部长赫格塞思发布了《人工智能加速战略》,要“释放实验、消除官僚障碍、集中投资”,让AI成为美军的核心竞争力。
Palantir的Maven智能系统被五角大楼列为“正式在编项目”,合同上限突破10亿美元。这个系统能自动识别敌方车辆、建筑物和武器储存设施,还能完成从目标生成到弹药匹配到打击效果评估的全流程。
速度是快了。可AI的“幻觉”也跟着变快了。
更荒诞的案例发生在今年2月。美伊战争首日,Maven系统因为数据库严重过时,把伊朗米纳卜市一所十年前就改建为学校的建筑,仍然标注为高威胁军事目标。
“战斧”导弹把整栋校舍夷为平地,约165到175名平民死亡,遇难者大多是年仅十岁左右的孩子。
人类指挥官做了什么。他在“自动化偏见”下,只用了约20秒,形式化审核后就批准了打击。
20秒。拍板一群孩子的生死。
一名熟悉美军AI系统的前高官说了一句很扎心的话:“那些内部工具,大多只是换汤不换药,把市售产品重新包装而已。”
军方用的AI,跟普通人手机里的聊天机器人在本质上有啥区别。
这话意味着什么。商业AI模型天生就会编造看似合理但完全虚假的内容,这是技术本身的缺陷,不是加点保密措施就能解决的。
CNN在报道里点出了一个更深层的问题。美国政府和军方不同部门使用的AI模型并不统一,缺乏标准化的严谨性和安全性评估。
每个单位各自采购、各自部署、各自使用。一个分析员用AI编了一份假情报,另一个分析员用AI把它包装成了真报告,然后整条指挥链都当了真。
没有统一的核验机制,没有明确的人机协同规范,没有人在关键节点上踩刹车。
这套体系的风险在战时被无限放大。高强度作战节奏下,人的判断力本来就在下降,AI又给了你一个看起来“快速又专业”的答案。
GovAI研究学者Jake Steckler原话说得很清楚:“对于任何可能导致使用武力的决策,理解大语言模型固有的不确定性尤为重要。这些决策关乎生死。”
前车之鉴就摆在那里。2003年入侵伊拉克时,美国依据的是萨达姆拥有大规模杀伤性武器的错误情报。没有AI的年代,靠人的偏见和情报缺陷,照样打了场不该打的仗。现在AI把这些老毛病放大了无数倍,速度快、规模大、看起来还特别权威。
谁该为AI的误判负责。是写代码的工程师,是操作系统的分析员,还是签字批准的指挥官。
目前来看,没有人能给出明确答案。算法不承担责任,数据不会道歉,商业公司更不会为战场后果买单。名义上人类保留了最终决策权,实质上AI已经把“审核”两个字变成了走过场。
中国国际问题研究院学者张薇薇写过一段话:一旦打击效率被置于战争伦理之前,伤亡风险被包装为可接受的概率,失误责任被推给数据和算法,人工智能技术将面临制度化滥用,进而加剧全球安全困境。
联合国安理会的态度也很明确。绝不能让人工智能在缺乏监督监管的情况下部署于战场,必须基于对系统是否有可能遵守国际人道法的现实评估。
全球负责任军事AI委员会已经提出了禁止AI自主选择和攻击目标的红线,但这类框架目前全凭各国自愿遵守。没有约束力的监管,等于没有监管。
五角大楼对CNN的置评请求没有回应。那艘中国货船的身份至今没有披露,船上到底装了什么也没人知道。唯一确定的是,那份要命的情报从头到尾都是假的。
战争的扳机还在人手里。可如果有人把AI的胡话当成真相,闭着眼睛扣下去,谁拦得住。
信息来源:新浪财经
