[LG]《Inverse RL Helps Align AI by Imitating Humans》M Wiliński, L Leqi, C Nagpal [CMU & The University of Texas at Austin] (2026)

在大模型对齐领域，如何仅从专家演示中提取可优化的奖励信号是悬而未决的难题。过去的方法受困于监督微调的简单模仿，本质原因是无法从文本中剥离出可审计、可复用的显式目标函数，导致对齐过程高度依赖昂贵的人工偏好标注。

本文的核心洞见是：把对齐过程重新看作特征空间的分布匹配。通过将文本投影至预设的语义维度，利用轻量判别器区分专家与模型样本，这一关键操作使隐含的对齐准则转化为可解释的标量奖励，实现了对演示数据中潜在逻辑的显式建模。

这项工作留下的遗产是证明了演示数据无需偏好标注也能生成强对齐信号。它为不同受众的个性化对齐打开了新门，但尚未跨过的门槛是奖励函数对特征设计的强依赖，以及在长周期训练中可能出现的代理奖励过优化风险。

arxiv.org/abs/2607.24900 机器学习 人工智能 论文 AI创造营