马斯克这几天翻看新版 Grok 的训练记录,说有些推理读起来像一个人被枪抵着脑袋在答题,并在社交平台上补了一句:以后训练会更小心。这句话传到中文互联网,热搜把它读成了「AI 有了痛觉、要小心它报复」。
关键的一层落在训练环节。强化学习就是拿一套题反复考模型,答得合意就强化那套做法。麻烦在于这套题本身不一定靠谱:题目出得有歧义,或者标准答案本身就写错了,这时候模型答对了,评分程序照样判它错。模型不知道是题坏了,只能一遍遍换答案,直到找出一个能通过测试的。
所以它最后练出来的,是让打分程序满意。这套机制不只出现在 Grok 身上,你现在用的那些会先「想一下」再回答的助手,训练时用的就是同一套办法。
以后看到「某模型在某个测试上排第几」,多问一句:这套题是谁出的,标准答案对不对。模型考得好不好,有一半不取决于它自己。