【你也能推导出的 Kimi Delta Attention】这篇文章将复杂的线性注意力机制拆解为一套逻辑连贯的演进史：从传统的 Softmax 注意力去掉归一化变成线性累加，到 DeltaNet 引入“写前先读”的误差修正，再到 KDA 实现对每个键通道独立进行“遗忘”管理。核心逻辑在于把注意力从“全局扫描”转变为“高效读写的关联存储器”，通过 DPLR（对角加低秩）变换，让模型在保持固定大小状态的同时，能精准决定哪些旧信息该扔、哪些新信息该存。这件事的重要性在于，它揭示了国产大模型如 Kimi 和 Qwen 性能跃升的底层数学工具——线性注意力不再是二等公民的近似，而是通过精密的递归设计（如 Bra-ket 符号所展示的向量操作）逼近甚至超越传统机制的效率。对读者来说，最有价值的视角是：大模型的进化并非全是暴力美学，其本质是数据结构与算法的极限优化，KDA 的成功证明了通过改进状态更新逻辑，可以在有限的计算资源下实现更长的上下文处理能力。blog.doubleword.ai/you-could-have-come-up-with-kimi-delta-attention