Aligning Language Models from User Interactions
提出一种从多轮用户交互中直接学习的自蒸馏方法。核心思路是:当用户给出后续反馈(如纠正、追问)时,模型在看到反馈后能修正自身行为。该方法利用这种"事后诸葛"能力,对比模型在看到用户反馈前后的 token 分布差异,将差异蒸馏为策略更新信号。这种方式无需人工标注偏好对,可直接从大量已有的用户交互日志中学习,实现规模化对齐。
INSIGHT该方法对搜索系统的启示在于:用户的搜索行为本身(如查询改写、翻页、重新搜索)就是隐式反馈信号。通过对比模型在看到用户后续行为前后的输出差异进行自蒸馏,可以在不依赖显式标注的情况下持续优化搜索模型。这种"从交互中学习"的范式特别适合 UGC 搜索场景——用户交互数据丰富但标注成本高,可作为传统 RLHF 的补充方案。