Cautious Context Steering for Language Model Personalization
论文针对个性化模型的数据稀疏和跨域泛化问题,提出 Cautious Context Steering。它在冻结基础模型上增加轻量适配器,逐 token 判断用户上下文是否有帮助以及应施加多强的 steering,并从 oracle context-conditioned 模型学习该决策。单个适配器只用一个数据集训练,却在域内和四个域外个性化基准上提升生成质量,同时避免每用户微调及 Context Steering 每步额外的一次前向计算。
INSIGHT如果社区搜索要对用户生成查询改写、答案或结果解释做个性化,可把用户历史作为可控上下文,而不是为每个用户维护独立 adapter。逐 token 的门控机制能在上下文不可靠时退回基础模型,降低短历史用户的误导风险。工程上应把该适配器放在查询理解或解释生成层,并用用户分桶评估 CTR、满意度和延迟,而不是只看整体语言质量。