这样做的结果就是文章越长,消耗的计算资源就指数级爆炸增长。
针对这个问题,英伟达团队发布了升级版的Gated DeltaNet-2技术。
这是一种新型AI架构,能让AI拥有像记事本一样固定大小的记忆空间。
它能做到恒定的内存和线性计算成本,极大地减轻了AI负担。
原先的模型虽然聪明,但有一个隐藏的限制。
它只用一个控制开关来同时管两件事:决定擦除多少旧记忆,以及决定写入多少新内容。
这就好比你想多写点新笔记,却不得不把旧笔记也擦掉,这显然不合理。
英伟达的修复思路是,把这个控制开关拆分成了两个独立的向量通道。
一个叫b_t的擦除门,专门精准选择哪些旧关联需要被清理。
另一个叫w_t的写入门,专门精准选择哪些新内容需要被记录。
擦除和写入不再相互捆绑。
测试结果显示,这个新架构在常识推理上的表现超过了之前的架构。
尤其是在长文本的记忆检索任务中,得分能力实现了大幅度飞跃。
感觉这个新结构很可能会成为未来大模型提升记忆力的标准配置。
