一位来自乔治亚理工学院的计算机科学教授是最新一项由OpenAI进行的研究的合著者，该研究探讨了为什么大型语言模型在说“我不知道”时会遇到困难。

一幅由Adobe Stock的AI生成的苏格拉底雕像图，用大理石雕刻而成，意味深长地望着一台笔记本电脑

模型根据其在标准基准上的性能进行评估和调整，而这些基准会“奖励”偏好输出或答案。然而，当前的评估协议将非响应与错误答案一并处罚，并不包括“我不知道”的选项。

据计算机科学教授Santosh Vempala称，这些预训练和后训练的不足正是导致LLM提供看似合理但实际上虚假的回答（幻觉）的原因。Vempala是今年9月由OpenAI发布的《语言模型为什么会产生幻觉》研究论文的合著者。

他说LLM的幻觉率与其关于给定响应有效性误分类率之间存在直接相关性。“这意味着如果模型无法分辨事实与虚构，它就会产生幻觉，”Vempala说。“这个问题在现代后训练对齐方法中依然存在，这些方法基于评价基准，对‘我不知道’的回答和错误答案一样进行惩罚。”由于为了知道“自己不知道”的惩罚——引用苏格拉底的话——猜测对于当前的LLM来说比承认不确定性或无知更有回报。

OpenAI的论文整合并建立在Vempala和OpenAI研究员、当前论文的第一作者Adam Kalai之前的工作之上。他们的早期研究发现，鉴于当前的训练方法，对于任意事实，LLM产生幻觉是数学上不可避免的。“我们讨论这个问题已经大约两年了。我们的论文的一个推论是：即使仅根据有效数据进行训练，幻觉率也由训练数据中缺失事实的比例决定，”Vempala说。

假设你有一个巨大的宝可梦卡收藏。对皮卡丘应该非常熟悉，你可以自信地描述它的技能和能力。然而，准确记住关于极稀有的宝可梦卡“皮卡丘自由”的事实可能会更加困难。“更重要的是，如果你的收藏中有大量独特的卡片，那么很可能你还缺少整体卡片集中的大部分卡片。这被称为Good-Turing估计。”Vempala说道。根据Kalai和Vempala的说法，对于基于当前训练协议的LLM也是如此。“想象一下国家首都，”Kalai说，“它们在训练数据中出现的次数很多，所以语言模型不太会在这些地方产生幻觉。

“相反，想想人们宠物的生日，当这些内容出现在训练数据中时，可能只会出现一次。“因此，在训练过程中，预训练语言模型可能会对这类情况进行虚构。然而，通过后续培训可以并且应该教会模型不要随意猜测此类事实。”

Vempala认为，修改预训练方法可能存在风险，因为总体而言，它们效果良好并能提供准确的结果。但他和他的合著者提出了减少虚构现象发生频率的建议，这些建议涉及评估和后训练过程的变化。团队推荐的更改之一是更加重视LLM响应的准确性而非其回答的全面性。该团队还建议实施所谓的“行为校准”方法。使用这种方法，只有当模型的信心水平超过目标阈值时才会作答。

这些阈值将根据不同用户领域和提示进行调整，并适当减少对“I don’t know”回答的惩罚，同时适当地表达不确定性及错误答案。Vempala认为，实施其中一些修改可能会导致训练出更加谨慎和诚实的LLM。

这种转变可能会导致未来更加智能的系统，能够更有效地处理细腻的实际对话。“我们希望我们的建议将导致更具可信度的人工智能，”Vempala说。“然而，实施对当前LLM评估方式的这些修改需要人工智能公司和用户的接受和支持。”