DC娱乐网

关于大语言模型能否实现智能的范式突破,学界的对立争论依然激烈。杨立昆(Yann LeCun)认为大模型与物理世界之间存在不可逾越的鸿沟;而我更倾向于杰弗里·辛顿(Geoffrey Hinton)和伊利亚·苏茨克维(Ilya Sutskever)的“表征涌现”观点,认为这更接近事实。 如果将人类有史以来积累的所有文本库视 ​

关于大语言模型能否实现智能的范式突破,学界的对立争论依然激烈。杨立昆(Yann LeCun)认为大模型与物理世界之间存在不可逾越的鸿沟;而我更倾向于杰弗里·辛顿(Geoffrey Hinton)和伊利亚·苏茨克维(Ilya Sutskever)的“表征涌现”观点,认为这更接近事实。

如果将人类有史以来积累的所有文本库视为一个整体,它实际上完整地代表了我们当下对世界的全部知识。这一点想必大家不会有异议。

这个总括性的知识库,自然也涵盖了对物理和数学的全部理解。

诚然,三岁幼童无需理解文字,就能快速感知物理规律(比如知道水杯掉在地上会摔碎);一条狗也能灵活地接住飞盘。他们这种层面的物理直观,虽然不依赖语言文字,但实际上已经被囊括在人类的知识库中(例如通过物理学定律、生物学描述等形式被记录和理解)。

大语言模型通过 next-token prediction(下一个词元预测)的方式扫描和消化整体的人类知识,这是一个巧妙且自然的过程。读书需要一页一页地翻,内容需要一个字一个字地输入,这是必然的规律。大模型采用预测式阅读,即“边理解边读”。在这里,大语言模型的理解就是向量嵌入。在这一“阅读”过程中,语义逻辑被在高维流形中舒展铺开。对人类来说复杂的“顿悟”,在高维流形中其实是可以被线性展开的。

总体来说,大语言模型“吃下”了全人类的整体知识,并以一种不输于人类学习模式的方式“理解”了它。因此,在此基础上进一步探索新知,它起码不会比人类本身做得更差。

当然,目前唯一尚未被编码进入知识库的人类重要特征,是来自人的情绪与自我意识所驱动的对美学、舒适和自由的追求。这种目的性是由人体化学和生物质所引导和决定的。它不仅独立于纯粹的知识追求,更是赋予知识追求以目的和意义。

所以,我的核心观点是:大语言模型可能已经内建了物理世界模型,但它尚未包括人类的心智模型或者说认知模型。