SEAL🦭:让大语言模型(LLM)实现自我权重更新的新框架•模型基于输入

爱生活爱珂珂 2025-08-09 07:30:29

SEAL🦭:让大语言模型(LLM)实现自我权重更新的新框架

• 模型基于输入自动生成“self-edits”(自编辑),即自身的微调训练数据和优化指令,用于权重调整,提升对新任务和新知识的适应能力。

• 通过强化学习(RL)训练self-edits生成策略,以更新后模型在下游任务上的表现作为奖励信号,闭环优化自适应过程。

• 支持两大应用场景:(1)知识整合:从文本段落中提炼隐含事实生成训练样本,实现权重内化新信息;(2)少样本学习:在ARC抽象推理任务中自动选择数据增强和训练超参,超越传统内嵌上下文学习(ICL)和未训练的self-edits。

• 实验表明,两轮RL训练后,单段落知识整合准确率由32.7%提升至47.0%,优于直接用原文或GPT-4.1合成数据微调;少样本学习成功率达72.5%,远超ICL(0%)和基础self-edits(20%)。

• RL训练基于单段落,仍可推广至多段落继续预训练,表现稳定。

• 目前面临灾难性遗忘挑战:连续自编辑可能损害旧任务性能,需未来引入知识保持机制(如重放、受限更新等)。

• 未来愿景是让模型不仅自适应权重,还能动态决定何时及如何自我更新,将推理过程固化为持久能力,迈向持续进化的智能体。

详见论文:arxiv.org/abs/2506.10943

项目主页与代码:jyopari.github.io/posts/seal | github.com/Continual-Intelligence/SEAL

大语言模型 自适应学习 强化学习 少样本学习 知识整合 机器学习

0 阅读:1
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注