【腾讯开源AngelSpec：打破大模型推理成本瓶颈的工具箱】腾讯混元团队近日开源了AngelSpec，这是一个原生支持PyTorch的投机采样训练框架。它集成了包括MTP、DFly在内的六种主流草稿模型架构，并实现了训练与推理的解耦。随框架一同发布的还有针对Hy3和Qwen3优化的草稿模型权重。实测数据显示，该框架能在保持精度的前提下，为大模型推理带来约2倍的端到端提速，并支持高达128k的长文本处理。在大模型发布会层出不穷的当下，推理成本才是制约应用落地的真正门槛。AngelSpec的意义在于它不仅提供了提速的“成品”，更开源了生产这些工具的“工厂”。过去开发者往往面临有代码无权重、或架构难以适配的窘境，腾讯此次通过统一的训练流水线和成熟的权重分享，降低了投机采样的门槛。这种从底层框架到预训练权重的全链路开放，实际上是在为整个行业分摊推理优化的研发成本，让“既快又便宜”的大模型服务成为可能。 github.com/Tencent/AngelSpec