自奖励推理模型：提升数学推理与自修正能力 ??论文标题: Self-rewarding correction for mathematical reasoning ?? 问题背景：当前大型语言模型（LLMs）在数学推理任务中展现出卓越能力，但在自动生成和评估输出正确性的过程中依赖外部反馈，增加了计算复杂度。为解决这一问题，研究人员提出了自我奖励（self-rewarding）的推理模型。 ?? 研究动机：研究团队希望通过自我奖励机制，使模型在没有外部反馈的情况下自主检测并修正错误，从而提高推理任务的准确性和效率。这种方法可以显著降低模型部署的成本和复杂度。 ?? 方法简介：研究者提出了一种两阶段的算法框架来构建自我奖励的推理模型。首先，通过顺序拒绝采样（sequential rejection sampling）生成包含自我奖励和自我修正行为的长链思维轨迹，并用于模型微调。其次，通过基于规则的强化学习进一步增强模型评估响应准确性和修订输出的能力。 ?? 实验设计：实验在三个公开数据集（MATH500、OlympiadBench 和 Minerva Math）上进行，使用 Qwen-2.5-Math-7B 和 Llama-3 等模型，通过对比自校正能力和最终准确率来评估模型性能。结果表明，该方法在自校正能力方面超越了内在自校正方法，并达到了与依赖外部奖励模型系统相当的性能。 ?#LLM? ?#RAG? ?#agent? ?#multimodal? ?#大模型? ?#检索增强? ?#多模态?
