DC娱乐网

英伟达出手,AI长文本计算成本暴跌

传统的AI模型在处理长文章时,由于Transformer机制,每回答一个新问题,它都要把整本教科书重新读一遍。

这样做的结果就是文章越长,消耗的计算资源就指数级爆炸增长。

针对这个问题,英伟达团队发布了升级版的Gated DeltaNet-2技术。

这是一种新型AI架构,能让AI拥有像记事本一样固定大小的记忆空间。

它能做到恒定的内存和线性计算成本,极大地减轻了AI负担。

原先的模型虽然聪明,但有一个隐藏的限制。

它只用一个控制开关来同时管两件事:决定擦除多少旧记忆,以及决定写入多少新内容。

这就好比你想多写点新笔记,却不得不把旧笔记也擦掉,这显然不合理。

英伟达的修复思路是,把这个控制开关拆分成了两个独立的向量通道。

一个叫b_t的擦除门,专门精准选择哪些旧关联需要被清理。

另一个叫w_t的写入门,专门精准选择哪些新内容需要被记录。

擦除和写入不再相互捆绑。

测试结果显示,这个新架构在常识推理上的表现超过了之前的架构。

尤其是在长文本的记忆检索任务中,得分能力实现了大幅度飞跃。

感觉这个新结构很可能会成为未来大模型提升记忆力的标准配置。