KimiK3Kimi K3百万上下文核心技术拆解！不少人好奇Kimi K3轻松支撑1M超长上下文的秘诀，核心在于自研KDA注意力算子，并非简单扩大窗口。传统标准注意力显存开销巨大，普通线性注意力又存在记忆冗余、表现力不足的短板，KDA针对性完成优化。它细化分通道遗忘门，区分长短文本记忆留存周期，再搭配DPLR结构实现并行计算，硬件适配性大幅提高。同时采用混合架构，3组KDA搭配全局MLA，兼顾长文本处理与精准检索。实测效果亮眼，KV缓存最高节省75%，解码吞吐提升六倍，响应延迟大幅降低。综合各项评测，K3编程、智能体、多模态表现全面升级，拿下多项榜单榜首。不过也存在短板，极限推理能力仍不及头部竞品，且部署对工具库版本有要求，完整架构细节还要等官方后续披露。