DC娱乐网

英伟达正式开放Nemotron-Labs-Sigma系列模型权重,共14个检查点

英伟达正式开放Nemotron-Labs-Sigma系列模型权重,共14个检查点,覆盖3B与8B两个规模。这是首个大规模连续扩散语言模型家族,不再逐个token自回归生成,而是在16维连续嵌入空间中并行去噪整块token。

该工作核心价值在于把视觉领域成熟的连续扩散思路引入语言,并用平滑的ODE轨迹解锁蒸馏与可控生成。论文显示,经分布匹配蒸馏后,数学任务可达单次前向生成8个token(约8倍加速),代码任务4个token(约4倍加速),准确率几乎无损且多样性得以保留。进一步结合自身因果自回归头做投机解码,8B蒸馏模型在GB200上平均吞吐量达到自回归基线的3.46倍。模型在GSM8K、HumanEval、MBPP等基准上优于同规模离散扩散与自回归对照,代码任务提升最明显。

连续扩散能否真正撼动自回归在推理侧的主导地位,关键不在单次加速数字,而在于它能否把“多解探索”的成本压到足够低——当采样成本大幅下降,pass@k持续受益的场景才会从研究演示变成日常工具。