← 全部深度解读
📖 深度解读 · PERSONALIZATION

Preference-Driven Online Adaptation for Personalized Interaction Initiation in Proactive AI Assistants

Yufeng Wang, Wei Zhang, Zhiquan Wen, Jinwu Hu, Linhui Xiao, Tianlu Pan, Qingfang Zheng, Mingkui Tan · arXiv 2608.04416 · 发表 2026-08-05
10 分钟阅读时长 3840字 4.40综合分 第 1 名08-24 Personalization 日报
相关 5新颖 4实用 4证据 4时效 5
对社区搜索可把“何时追问、何时提醒补充查询”建模为稀疏反馈下的在线策略,而不必每次调用大模型。论文的消融和反馈保留实验显示,时间锚点、可验证活动证据与自适应更新共同决定收益;落地时应重点监测误触发率、反馈衰减和安全约束。

EOPA研究的不是传统的给用户推荐什么,而是主动助手什么时候应该开口。现有助手大多等用户发起请求;主动助手则持续观察时间和活动状态,在合适时机发起提醒、建议或帮助。论文指出,交互机会极其稀疏:在其ProPerSim评测中,14天、32个用户共得到160632个轮询状态,但由Qwen3.5-397B-A17B生成的人工校验标签只有1814个适合交互的时刻,占全部轮询的1.129%。因此,普通参数微调很容易被大量沉默状态淹没,LLM自我反思又往往把经验写成自然语言,难以说明某条经验只适用于哪个时间段、活动进度或语义场景。相似状态可能需要相反决策,正是全局用户偏好和文本化经验都容易失效的地方。

论文的动机是把反馈变成可检索、可计数、可更新的情境证据,而不是把反馈压缩成模糊规则。这个视角对社区搜索和推荐也有迁移价值:用户的同一兴趣在不同时间、会话阶段或行为上下文中不一定对应同一排序偏好;如果只维护一个静态用户向量,系统会把短期意图和长期偏好混在一起。

2. 方法详解

EOPA由两个证据载体和一个在线决策层组成。第一类是时间偏好锚点。系统把一天切成30分钟区间,并以当前活动在该区间内连续经历的轮询步数表示进度阶段。每个时间区间与进度阶段组合对应一个锚点A(i,r),其中保存交互适合次数N_INT和保持沉默次数N_SIL。它不是直接使用频率比,而是先用全局用户先验做Beta-Binomial平滑。全局先验采用Jeffreys平滑:p_u=(C_INT+0.5)/(C_INT+C_SIL+1);局部时间证据则为p_temp=(N_INT+κp_u)/(N_INT+N_SIL+κ),论文实验设置κ=2.5。这样在某个时间段只有少量样本时,结果会向用户总体交互倾向收缩,数据积累后再由局部统计主导。

第二类是带证据的活动原型。冻结的all-mpnet-base-v2编码器将当前活动描述映射为向量,系统保存原型中心以及每个活动进度阶段的INT/SIL计数。若当前活动与已有原型的最高相似度低于ρ=0.96,就创建新原型;否则用增量平均更新最接近的原型。决策时取相似度最高的K=12个原型,权重为exp((q_j-q_max)/γ)乘以max(0,q_max)²,其中γ=0.1。这个设计同时考虑相似度排序和整体覆盖质量:如果所有原型都不相似,即使相对排名第一,也不会大规模转移错误经验。聚合后的活动计数使用同一用户先验计算p_act,再通过后验方差把证据强度放大或削弱。方差越小,说明观察数量越充分,e_act越可靠。

时间证据与活动证据最后按s_t=e_temp+λ_t e_act融合,并以阈值δ_t决定INT或SIL。λ_t和δ_t不是固定超参数,而是从最近历史决策上回放并在线校准,使F1更高。交互时才调用LLM,且只把高质量历史回答作为少量示例;沉默决策完全不调用LLM。反馈到达后,系统更新对应锚点或原型的计数,并重新校准融合权重和阈值,不需要梯度更新、重训或LLM推理式反思。

实验协议也体现了方法的工程取舍。ProPerSim用32个用户模拟14天,每2.5分钟轮询一次;所有方法使用相同的轮询间隔、反馈协议和Qwen3-4B-Instruct-2507作为响应生成模型,LLM自我改进基线分别使用Qwen3-4B、DeepSeek-V4-Flash或GLM-5。论文将F1、F1@1、F1@2作为主指标,因为正例极少,单看Accuracy会被大量沉默状态掩盖;同时报告Recall、Precision、频率匹配、个体偏好以及沟通安全性。

3. 核心技术贡献

第一,EOPA把用户经验从自然语言记忆改造成时间锚点和活动原型两种结构化载体。前者保留时间与活动进度条件,后者保留语义相似活动之间可转移、但带有适用边界的反馈统计,解决了相似活动不一定需要同样交互的问题。

第二,用户先验平滑和不确定性缩放共同处理冷启动与稀疏反馈。仅用局部比例会让少数样本产生过度自信;Beta-Binomial平滑提供稳定基线,后验方差则区分比例相同但证据量不同的两个状态。

第三,方法把时机决策与回答生成解耦。LLM只在需要交互时生成内容,在线主链路只执行向量相似度、计数更新和阈值比较,因而把最昂贵的调用从每个轮询步骤移走。

第四,证据融合权重和决策阈值也能在线自适应。论文的增量消融显示,只有全局先验时F1为1.13;加入时间锚点后升至17.57,再加入时间证据估计升至25.81,活动分支升至28.95,最后自适应融合达到30.46,说明结构化上下文和在线校准分别提供了可分辨的收益。

4. 实验结果分析

主实验结果如下,所有数值均为论文表1报告的用户平均指标:

方法F1F1@1RecallPrecisionAccuracy
ProPerAssistant2.574.1528.821.3675.35
Reflexion + DeepSeek-V410.6611.9024.057.0495.76
EOPA30.4632.7741.1024.8997.73

EOPA相对最强Reflexion变体的F1提升为19.80点,且Recall达到41.10、Precision达到24.89,明显缓解了参数学习基线召回多但误触发多的问题。它的沟通安全性为92.71、个体偏好分为52.65,说明把LLM留在回答阶段并不牺牲生成质量。值得注意的是,LLM能力不是主要瓶颈:同一类自然语言自我改进方法换用DeepSeek-V4或GLM-5后F1仍只有2.18到10.66,说明经验适用边界的表达和检索比更换模型更重要。

消融结果揭示了组件作用的层次。GUP只使用全局用户先验,F1为1.13;时间锚点让F1跃升16.44点,时间证据估计再增加8.24点,活动证据增加3.14点,自适应融合增加1.51点。活动分支加入后Accuracy从98.21下降到97.62,但主指标F1、F1@1和F1@2都上涨,因此这是在极不平衡任务中用少量Accuracy换取更好的正例识别,而不是整体退化。

在线适应曲线显示,EOPA前四天快速上升,Days 1–3到Days 8–14的平均F1增加28.41点,而基线变化最多只有2.60点。证据可分辨性也随反馈积累提升:Evidence Gap从0.405升至2.097,交互正例超过阈值的比例从5.55%升至53.31%,沉默负例误过阈值的比例在后期仍仅2.00%。效率方面,沉默步骤平均延迟从Reflexion的688毫秒降到1.96毫秒,交互步骤从695毫秒降到65.9毫秒,每日适应时间从11.41秒降到0.39秒。

鲁棒性实验表明,保留75%反馈时F1为27.30,保留50%时为25.56,分别保留完整反馈性能的89.6%和83.9%;即使只保留25%反馈,F1仍为13.35,高于Reflexion在完整反馈下的10.66。另一方面,反馈过少会显著削弱Recall,不能把稀疏反馈当作没有成本的条件。相似状态决策准确率的平均值为38.60%,高于Reflexion的22.72%,但仍意味着大量细粒度状态无法完美区分。

5. 局限与未来方向

论文的实验限制首先来自评测环境:主体结果建立在ProPerSim的32个模拟用户、14天轨迹和LLM生成的时机标签上,而不是长期真实用户线上A/B。标签由Qwen3.5-397B-A17B根据人格偏好生成,作者另做了人工评估,但标签质量仍会影响结论。任务正例比例只有1.129%,所以F1对少数误报和漏报非常敏感。

论文还明确展示了反馈保留率下降时Recall明显下降,说明方法依赖持续反馈积累;25%反馈虽仍优于某些基线,但绝对F1下降到13.35。活动原型依赖冻结文本编码器和相似度阈值ρ,领域变化或活动描述质量变差时,原型匹配的可靠性需要重新评估。作者没有把这些结果包装成通用推荐排序收益,未来仍需要真实用户、真实业务收益、长期打扰率和不同语言活动描述上的验证。

6. 工业实践意义

对社区搜索和推荐系统,最可迁移的不是让LLM主动发消息,而是将用户行为反馈拆成可解释的条件统计。可以为用户维护时间段、会话阶段、最近查询主题或行为语义原型,并记录点击、跳过、停留、负反馈等信号在各条件下的计数;在线排序时把全局兴趣、局部条件证据和证据量共同作为特征,而不是只使用一个长期用户Embedding。对于UGC短文本搜索,同一用户在工作日与周末、首次搜索与连续改写、浏览问答与浏览评论时,查询偏好可能不同,EOPA的条件载体可作为轻量上下文校准层。

部署上可先采用时间锚点和Beta平滑,不必一开始引入LLM;活动原型使用离线或边缘编码,在线只做Top-K向量匹配、计数更新和阈值决策。最值得借鉴的是将昂贵模型调用放到需要生成内容的少数路径,沉默或普通排序请求走确定性快速路径。论文给出的1.96毫秒沉默决策与0.39秒日适应时间说明,在线个性化不一定需要每次重训。

落地时要把曝光偏差和反馈缺失单独监控:点击少可能代表内容不相关,也可能代表用户没有看到;负反馈在不同场景的含义也不相同。建议先在小流量实验中比较nDCG、CTR、长停留、跳出和打扰率,并按新老用户、活跃度、查询意图和内容类型分层。不要直接把模拟用户的F1提升当成线上CTR提升,也不要让低相似度原型传播强结论;保留证据量、置信度和回退到全局先验的逻辑,才能在冷启动和长尾场景下保持安全。

← 全部深度解读 出现于报告:2026-08-24 · Personalization #1 (4.40) 原文 ↗