GLM5.2模型后训练时用了一种新的强化学习算法：SAO（Single-Rollout Asynchronous Optimization，单轨迹异步优化），不是传统的GRPO。

现在该算法的论文已经发布，在：arxiv.org/abs/2607.07508老师也是论文作者之一。

“强化学习在大语言模型的后训练阶段正变得越来越重要。以往用于大语言模型的强化学习流程大多采用同步、分批交替的方式，但这种方法在长时程的智能体任务中效率较低。近年来，异步强化学习逐渐成为一种更高效的替代方案，它可以在轨迹数据陆续生成后立即更新模型。然而，现有异步强化学习系统往往更关注吞吐效率，而对训练稳定性和实际任务效果的研究仍不充分。例如，广泛使用的 GRPO 框架依赖分组采样，但这种方式并不天然适合异步智能体训练。

本文提出了单轨迹异步优化方法（Single-Rollout Asynchronous Optimization，SAO），用于解决异步强化学习中的训练稳定性和离策略问题。为了减轻离策略影响并提升泛化能力，我们用单轨迹采样取代分组采样，即每个提示词只生成一条轨迹。我们还通过一系列实用的价值模型训练设计，进一步提升单轨迹策略的效果。为增强优化稳定性，我们提出了一种严格的双侧、token 级裁剪方法。

SAO 能够稳定训练约一千个步骤，并在智能体编程和推理基准上持续优于 GRPO 及其变体，包括 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench。我们还证明，在模拟在线学习场景中，当模型需要适应不断变化的环境时，单轨迹强化学习尤其有效。最终，SAO 已被成功应用于开放模型 GLM-5.2（750B-A40B）的智能体强化学习训练流程中。”