【Kimi K3：这不只是“国产之光”，而是一场激进的架构实验】月之暗面正式发布2.8T规模的Kimi K3。核心技术点在于彻底放弃RoPE位置编码，转而利用KDA（Kimi Delta Attention）的递归特性实现隐式位置感知，并结合LatentMoE提升推理效率。虽然开放权重不等于完全开源训练细节，但其架构文档的完备性已允许社区进行高效的推理优化和微调。别只盯着“蒸馏”的争议看，K3在架构上的激进程度远超预期。它证明了即便不靠显式位置编码，通过改进残差路径和引入类RNN结构，也能在长文本和复杂逻辑上硬刚顶尖模型。这释放了一个信号：国产大模型正在摆脱对Transformer标准范式的路径依赖。Kimi K3是目前最值得开发者拆解的“魔改”样本，它在工程效率和模型表现之间找到了一个极具参考价值的平衡点。 sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html