关于 AI 为什么喜欢用『不是……而是……』这种句式,『大西洋月刊』在采访完业内人士后有如下猜测:
- 大语言模型本质就是在人类文本中寻找规律,『不是……而是……』这种句式可能大量出现在了最初的训练数据之中。比如莎士比亚就特别喜欢用这种句式,他的作品中经常能看到类似的句式结构。
- 这种否定性平行结构能营造出一种充满逻辑层次与洞察力的错觉:AI 仿佛在向你展示它的推理过程,先推翻一个平庸的描述,再给出一个更精准的定性。所以在强化学习阶段,这种句式更容易被人类审核员打高分。
- 大语言模型的底层逻辑依然是文本预测。大模型在吐出每一个词时,都在权衡两件事:一是基于原始训练数据的规律,这个词在统计学上顺接出现的概率,二是它最终导向一个高分回答的可能性。
- 按照上述这种运行逻辑,聊天机器人使用『不是……而是……』这种句式,本质就是在规律和高分之间找到了某种折中。一旦它开始生成一个用于定性的句子,阻力最小的路径就是先说它“不是什么”,再说它“是什么”。
- 如果说上面都是从大语言模型本身的机制出发,那还有一种可能性,就是所谓的『衔尾蛇效应』。当某种特殊的句式表达习惯在初期渗入模型后,想把它再剔除就会非常困难。因为当下 AI 模型持续迭代的主要方式之一就是吸收其他 AI 生成的语料(蒸馏)。
- 就算你不蒸馏,还是用人类互联网上的文本内容去训练。不幸的是,互联网上 AI 生成的内容占比也越来越高,模型还是逃不掉大量吸收 AI 内容。这就导致了 AI 会不断放大自身的偏见,直至与最初作为基准的人类数据彻底脱节。
简而言之,AI 的语言系统,正像衔尾蛇一样吞噬自己。
