Nubank02 3.45
Collaborative Personalized Preference Alignment for LLMs under Data Deficiency
CityU
University of Washington
HKUST用户对大模型回答的多种质量目标存在不同偏好，少量个人反馈不足以稳定学习对齐器。APO 按偏好加权损失的瓶颈与调整向量聚类用户，联合受控梯度上升、下降和适应感知更新，减少用户间及目标间的冲突。论文在两个助手数据集上评估；15 个客户端各 20 条样本的初步实验中，协作初始化的 Pareto 超体积由 0.728 升至 0.820，增加 12.6%。
INSIGHT可迁移的设计是先按偏好冲突分组，再为稀疏反馈用户学习可快速适应的初始化，而非强制所有用户共享同一更新方向。社区搜索若同时优化点击、相关性与安全性，可将此机制作为多目标用户建模的实验参考，但不能直接照搬助手奖励。证据来自回答对齐任务和 3B 模型，未验证 CTR、nDCG 或排序延迟，因此业务相关与实用性评分保持谨慎。
Liyan Yang, Yige Yuan, Zhiqin Yang
HuggingFace·2026-10-05·Relevance 3 · Novelty 4 · Practical 3 · Evidence 4 · Timely 4