DC娱乐网

谷歌DeepMind让模型权重直接“说话”:其提出的SkillSmith,把模型

谷歌DeepMind让模型权重直接“说话”:其提出的SkillSmith,把模型权重(具体是prefix-tuning产生的prefix weights)当作LLM可以原生处理的额外模态。系统接收已有技能的prefix weights,加上描述这些技能与目标能力之间关系的丰富文本元数据,直接输出实现目标技能的新prefix weights。整个过程被称为instruction-steered parametric synthesis(指令引导的参数合成),让技能组合从完整训练或简单权重平均,变成推理时的一次前向计算。实验显示,这种文本+权重的联合方式显著优于纯文本适配或纯权重空间合并,在Composite-SNI、SNI和MMLU-ProX等任务上带来明显性能提升,尤其能为后续微调提供更强的初始化起点。

传统上,想组合几个已有技能,通常需要重新跑一轮训练或依赖启发式合并。SkillSmith把这件事变成了类似提示工程的操作:把相关技能的prefix weights和描述它们如何关联目标任务的文本一起喂进去,一次前向就能吐出新技能的参数。这就像给模型装上了“技能锻造炉”,它能根据自然语言指令即时打造定制工具,而不用每次都重新烧制。对持续学习尤其友好——智能体可以不断积累文本经验与参数技能库,然后在新场景下按需组合,几乎不需要全量重训,也大幅降低了灾难性遗忘的风险。