书接上文。你看现在大模型科研的方向，也在试图突破局限性。

第一个是世界模型和真正的多模态。文本世界的信息量还是太少，很不全面。现在的多模态并不是真的多模态，就拿视频输入来说吧，还是通过连续截图来看视频，失真太多了。

第二个是持续学习，解锁上下文窗口的限制。现在的上下文窗口只有1M，还是太小了。当然了，可以通过记忆等手段持续学习，但那种学习是无法涌现的。检索是机械记忆，权重学习是压缩，把一万次经验重组成新表征。涌现只发生在压缩里。

能够涌现的持续学习模型，成本可能会很高。不同的特化模型的能力很可能是互相冲突的，没法复用。为写《红楼梦》特化的模型，会伤害它做独立游戏的能力。万千用户共享显存里同一套模型参数的基础没有了，这还只是推理，训练的成本可能更高。

模型能力看起来被卡在窗口和模态上，背后的本质还是数据来源和成本。局限性不是那么好突破的。