又是梁文锋！ DeepSeek开源推理框架，AI成本真要打下来了？

       前几天，国内做AI的大厂DeepSeek宣布，把自己内部使用的推理框架DeepInfer给彻底开源了。这事看表面好像没啥，但是分量很重，甚至可以说是重磅。

       有人就不明白了：“DeepSeek不是早就开源过好多东西了吗？怎么这次感觉没以前激动呢？”你这么想就错了，因为这一次开源的，恰恰是决定一个AI模型能不能真正派上用场的核心环节。为什么这么说呢？因为模型的上限确实是由模型自身决定的，但它能不能以合理的成本服务超大规模用户，靠的就是这次开源的DeepInfer。

       模型是怎么工作的呢？训练让它学东西，而推理让它真正派上用场。如果说模型是专家，那么推理就是专家背后的助理团队。试想一下，如果助理们不会安排时间，也不会快速查阅资料，那再牛的专家也容易手忙脚乱。更何况，当亿级用户同时来提问的时候，这助理团队就得变成一个巨大的算力集群，而DeepInfer这样的推理框架，就负责协调指挥这些算力集群的工作。

       所以，这个框架的效率高低，直接影响到AI服务的算力成本和电力消耗。举个例子，DeepSeek官方用DeepInfer跑通了模型的推理服务，而开源之后，理论上可以让更多的用户受益。毕竟，官方做一次大概要花几百万美元，而开源之后，普通团队跑一次可能只需要几美分。

       另外，DeepSeek还提到了一个技术，叫做“推测解码”。简单来讲，就是先让一个小模型快速生成候选答案，然后再交给大模型去验证和修正。这就相当于考试时先打草稿，老师只看你的答案是否正确，而不必逐字批改。DeepSeek之前就已经开源了完整的推测解码技术栈，里面包含了数据准备、模型训练、评估等全套流程，甚至还提供了多种草稿模型。

       不过，虽然这些东西之前都开源了，但如果要全部组装起来，还需要极大的缓存空间，这让很多小团队只能干瞪眼。而这次DeepInfer开源之后，直接把推测解码技术栈整合成了模块。也就是说，以后不需要自己动手从零组装，就可以直接拿来用了。

       另外，DeepSeek还开源了相关的编解码组件。这意味着，普通团队自己搭建的AI服务，也可以拥有和DeepSeek官方几乎一模一样的输入输出体验。对企业来说，好处就是不用花大量精力去研究底层部署，就能实现类似官方的服务水平。

       而且，DeepInfer除了兼容英伟达的GPU之外，同时也兼容咱们国产的华为昇腾芯片。这叫什么？多一事不如少一事，吃着碗里看着锅里。你看，国内大模型之间的竞争，似乎已经进入到一个全新的阶段。