DeepSeek开源内部推理框架

DeepSeek这次挺有意思，没出新模型，直接把内部线上在用的推理框架放出来开源了。

搞部署的都明白，模型权重只是一半，推理框架才是压延迟、提吞吐、省显卡钱的关键。这套DeepInfer本身就是他们线上扛流量跑V4.1 Flash的生产版本，支持推测解码、分布式，英伟达、昇腾都适配。

市面上框架不少，但很多是玩具级，上生产坑一堆。这种自己跑通大规模业务再放出来的底层基建，含金量不一样。对自己搭集群、做私有化部署的小团队来说，省掉大把自己调优化的苦功夫。

比起刷榜模型，这种底层工具开源，反而更容易搅动圈子。