DC娱乐网

昨天存储芯片都跌,都说谷歌发布了一个TQ算法论文,把缓存利用率大幅提升了,存储危

昨天存储芯片都跌,都说谷歌发布了一个TQ算法论文,把缓存利用率大幅提升了,存储危险了。

是怎么回事呢。这么说吧,AI大模型推理的时候,要记住你之前的对话,就会把记忆存在KV缓存里面,你聊天回合越多,存的记忆就越多。

TQ算法什么创新呢,它完全不改模型,不用重新训练,就能把KV缓存的内存占用压缩至少6倍。有了它,再H100 GPU上注意力计算能提升8倍,还不影响模型精度。

真的太香了。所以市场一顿跌,算法改进对存储的利用率一下子提高那么多,那存储需要那么多吗,都在担心这个事儿。

其实没必要,毕竟这个只是针对缓存,还没针对硬盘,HBM。

不过话说回来,既然现在有TQ算法,将来会不会有什么XX算法,把其他领域的存储利用率大幅提升呢?完全是有这个可能的嘛!

存储也不要指望一直这么赚钱,太贵的东西,别人研发优化算法的意愿就很强烈。两者互相对冲。