HyperTrace: Hypothesis-Based Preference Tracing for Online LLM Personalization

原文：https://arxiv.org/html/2609.09835v1 。以下分析依据正文第3至5节、表2至5及附录A，实验数字均指论文报告的离线在线适应回放，不代表社区搜索线上收益。

1. 问题与动机

同一个用户在编程问题上可能要求简短可执行的回答，在开放式交流中却喜欢展开讨论。把历史压成一段固定画像容易将局部需求泛化到所有场景；只检索相似对话又可能只复用话题内容，没有学到可跨话题迁移的行为倾向。HyperTrace 把用户交互视为隐含偏好的观测，持续保留多个解释，而不是立即认定唯一画像。

论文的问题设置依赖明确的候选选择：系统知道用户在若干回答中选了哪一个，也知道哪些回答被拒绝。一次选择可能由简洁程度、语气、细节或任务限制共同决定，多假设状态用来保留这种不确定性。PRISM 的评估中，50名用户有41人在第18至22轮附近切换会话，作者据此观察长期画像能否跨会话稳定工作。这个切换区域比单轮回答更能暴露把短期需求误当作长期偏好的问题。

对社区 UGC 搜索，最有用的对应关系是“当前查询意图”和“长期内容偏好”如何分开。这里仍存在关键迁移差异：点击同时受曝光位置、候选可见性与标题吸引力影响，不能直接视为论文中的显式选择。

2. 方法详解

系统为每个用户维护两层状态：当前会话的五个自然语言假设及归一化权重，以及带主题标签的长期假设库。新会话用初始消息检索五个相近记忆，再逐槽决定复用还是新建假设。每个假设不仅描述喜欢的内容，也可以描述回答方式，因此相同倾向能够在不同主题下重新被调用。

每次更新先执行门控。附录A说明，每轮门控调用五次，按多数票决定是否跳过；问候、拼写修正等缺乏稳定偏好信息的轮次保持状态不变。候选回答会先压缩为有序摘要，并保留被选择和被拒绝的标签，提示中最多放三轮近期交互。这一步既节省上下文，也避免无效信息进入画像更新。

核心循环由修订、过滤、重采样和扰动组成。修订阶段独立判断每个槽位是否修改或替换；若多数槽位需要替换，则重新初始化工作状态，适应明显的主题改变。过滤阶段让大模型在每个假设条件下给候选回答估计效用，再用固定温度为1.0的 softmax 转为代理选择概率。新权重正比于旧权重乘以该假设赋予“用户实际选择”的概率，最后归一化。这里的概率来自大模型代理评分，不是实测的用户选择机制，也不应解释为已校准的真实后验。

当有效样本量低于阈值时，系统重采样。随后合并完全重复的假设，以及嵌入相似度至少0.8的近重复组；每组合并后释放的槽位由新的偏好维度补充，恢复五个假设。这样既保留支持较强的解释，也避免五个槽位退化成同一句话的改写。正文说明了触发机制，但此处不为未核实的有效样本量阈值填写具体数字。

会话结束后，系统按证据强度将当前状态平滑写回长期记忆。公式为“新长期权重=(1−α)×旧长期权重+α×当前权重”，其中α=(1−exp(−有效轮数))×sqrt(1−归一化权重熵)。有效反馈多、五个假设权重更分明时，当前会话影响更大；反馈不足或解释仍很分散时，长期画像变化较小。主题适用范围由标签和条件检索控制，不能仅靠α判断。

长期库使用 FAISS 内积索引和1536维嵌入。回答时最多检索30条长期记忆，仅保留权重大于0.1的至多5条，再与当前状态合成为画像。结构化输出受JSON模式约束，格式错误的输出被拒绝。主实验用 GPT-5 执行追踪与生成，嵌入使用 text-embedding-3-small；默认评估器为另一供应商的 Gemini，并用 Claude 复查趋势。方法本身不训练参数，因此不存在它自己的优化器、训练批量和梯度更新步数；不能把API推理实验写成微调实验。

3. 核心技术贡献

第一，选择反馈更新的是多个可解释假设的支持度。与每轮重写一个摘要相比，五个竞争解释能保留“为什么用户选择这个回答”的多种可能，再让后续反馈逐步区分。固定选择规则将不同假设下的效用转换为统一权重，使更新过程比完全自由生成画像更便于追踪。

第二，会话工作状态和长期主题记忆分开存储。Flat-5消融只保留五个当前假设，没有持久库，PRISM偏好预测准确率从完整模型的0.6136降到0.5489，差6.47个百分点。去掉主题信息降到0.5567，差5.69个百分点，说明跨主题复用需要范围条件，而不是越泛化越好。

第三，写回幅度同时考虑反馈数量和权重熵，减少短会话或模糊证据对长期画像的污染。去掉这一整合机制后，偏好预测准确率为0.5459，较完整模型低6.77个百分点。不过该变体的响应对齐指标更高，作者的证据支持多指标权衡，并非所有组件都会同时改善每项指标。

第四，门控明确把“没有观察到有效偏好”当作正常状态。PRISM中49.29%的轮次被跳过。删除门控使准确率降至0.5054，并增加调用成本；这对于噪声大、反馈稀疏的真实产品尤其有启发：用户的每个动作都更新画像，可能适得其反。

4. 实验结果分析

作者分别从PRISM和PersonaMem-v2中筛选总轮数超过20的用户，再各随机抽取50人。前者评估包含1206轮，后者1335轮。PRISM是实际用户反馈，PersonaMem-v2包含模拟画像，二者不能都称为真实线上实验。主指标Acc>20是第20轮之后且仍有至少10个活跃用户时的平均偏好预测准确率。

相对Cheatsheet，HyperTrace在两个数据集的准确率分别增加7.00和7.33个百分点。画像重建并非全面领先：PersonaMem-v2上HyperAlign的4.3821高于HyperTrace的4.3589。相对响应对齐衡量生成回答与用户所选回答的相似度，减去与任一拒绝回答的最大相似度；它不是点击率，也不是推荐命中率。PersonaMem-v2中所有方法的该指标都为负，不能只根据方法之间的排序就声称已充分对齐用户。

消融表4中，移除门控、长期库、主题信息、平滑整合后的Acc>20依次为0.5054、0.5489、0.5567、0.5459，均低于完整模型0.6136。门控删除影响最大，下降10.82个百分点，成本由每追踪轮0.028010美元增至0.040998美元。另一方面，无整合变体的响应对齐为0.1100，高于完整模型0.0739；无门控的画像评分也更高。这些结果说明行为预测、画像重建与响应生成的最优配置未必相同。

稀疏反馈压力测试扣除80%的可用选择更新后，HyperTrace准确率为0.5567，Cheatsheet为0.4582。频繁主题切换子集选会话数最多的20名用户，对应准确率为0.5304和0.4224。表5的完整反馈配置基准为0.5878，与主实验0.6136不同，不能将两张表的数值混为同一配置的单因素差值。

成本实验提供混合路由：预处理、分支、合并、摘要由较便宜模型承担，初始化、选择评分、扰动等保留较强模型。混合版本每轮0.0131美元，准确率0.5878；论文报告成本降低53.1%，保留主版本95.8%的准确率。这是该实验当时的调用费用，不是当前供应商报价，也未证明高并发服务的端到端延迟。

5. 局限与未来方向

作者在局限部分明确指出，当前方法假设显式比较选择，尚不能直接从口头批评或未观察到的隐式行为推断偏好。因此，UGC场景中把“未点击”当成“拒绝”，会违反原始观测设置；只有完成曝光与位置偏差处理后，才能研究是否适合使用类似权重更新。

自然语言假设的粒度与可靠性受底层模型限制。论文记录了PersonaMem用户139的具体失败：虽然系统学到“不要记住某文学兴趣”的边界，同一轮仍产生语义相近的正向兴趣假设，并写入长期画像。作者据此提出边界感知整合，而不是仅删除完全匹配的记忆项；这个失败也说明可解释文本并不自动保证记忆准确。

作者提出的后续方向包括结构化表示、用户可编辑记忆和验证机制。另从实验设计看，各数据集只有50名符合长交互条件的用户，不能覆盖真正零历史用户；论文也未提供搜索nDCG或线上CTR实验。这是本报告对证据外推范围的判断，不是作者已经验证的限制解除方案。

6. 工业实践意义

对社区帖子、问答与评论搜索，可以先把HyperTrace作为用户画像侧实验：保留当前查询的主题与短期意图，在长期库中维护有适用范围的偏好假设，再让排序或查询理解模块消费这些特征。初期应比较三种画像来源：固定历史摘要、相似历史检索、带主题的多假设更新。这样能分辨收益来自更多上下文，还是来自更好的状态更新机制。

门控和低置信度缓更新具有直接可借鉴性。查询纠错、误触、信息不足的曝光不应自动改变长期画像；可先离线标注一批明确的偏好反馈，用保留用户和时间切分检验选择预测与跨会话一致性。后续再通过线上实验测CTR和nDCG，同时观察新主题探索是否被过强的长期偏好压制。这些是建议的验证步骤，论文没有执行这些搜索实验。

部署上，该方案免参数训练，却需要多次模型调用、嵌入检索与持久状态读写。五次门控加上多个假设评分不适合未经测量就进入每次搜索请求的关键路径；可以研究在反馈到达后更新画像，排序请求只读取最近确认的状态。论文说明各假设的计算可并行、共享提示前缀可复用缓存，但未给出可直接承诺的服务延迟指标。

对是否采用混合路由，可按论文分工让较便宜模型承担压缩与摘要，让较强模型承担选择效用判断，再用自己的日志复核画像质量。最值得保留的设计是“多个解释、主题范围、证据门控和长期整合”四者的组合；业务上线标准仍应由真实曝光反馈和搜索指标决定。