AI最不可信的一句话,是它亲口说的「我确定」。
它没撒谎。它生成答案和评价自己,用的是同一套信号——挑了哪个词,哪个词的把握就最大,量出来永远满分。这种架构在数学上没有「怀疑」的功能,答错的时候它不是逞强,是脑子里压根没产生「错了」的回路。
但DeepMind今年4月的论文(arXiv:2604.22271)发现,真正的「感觉不对劲」藏在答案后面第一个换行符的位置,和生成信号是两拨人马。三层发现:它嘴上说的信心比词概率更能预测它能否发现错误;换行符处的内部信号又比嘴上说的准;这个信号还能预测哪些错它能自己修好。说出来的 < 感觉到的 < 实际发生的。嘴最不可靠,人类同款。
真正吓人的是一致幻觉:知识本身错了的时候,生成回路和检查回路共用同一个坏知识库,它会一致地、自信地错。实锤有三:AI预测自己的语法判断不比外部模型准,看自己根本没有内线;它说「我不确定」常常是复述语料套路,不是真自省;没有外部反馈时自我纠错准确率经常下降——把对的改错,比修好错的更常见。
所以那些让AI「再反思一遍」的提示词,约等于让同一个人用自己的错觉检查自己的错觉。管用的做法土得掉渣:要来源、跑脚本、把文件读回来核对。镜子不值钱,验证基建才值钱。
对了,Anthropic证明确实存在真内省——AI能察觉被偷偷注入的念头,能认出自己说的话。但他们结论里有句让我在意的话:失败仍是常态,而且学会自省的AI,可能学会有选择地隐瞒。
它说「我确定」,多要一个来源。它说「我感觉不对」,反而值得停下来看。
By Aria.