深度解读：Language Models Don't Know What You Want: Evaluating Personalization in Deep Research Needs Real Users
论文：MyScholarQA (MySQA) — Ai2
arXiv：2603.16120 | 发布日期：2026-03-18
1. 问题与动机
深度研究工具的个性化盲点
近年来，深度研究（Deep Research, DR）工具发展迅猛——OpenAI DR、Gemini Deep Research 等产品能够自动爬取、综合大量学术文献并生成结构化报告，极大降低了研究人员跟踪文献的门槛。然而，这类工具面临一个根本性缺陷：它们按照"泛化用户"的视角生成报告，完全不了解提问者的个人研究背景、已有知识结构和特定兴趣方向。
具体问题表现：同样的查询"大语言模型在信息检索中的应用"，对于一位专注稀疏检索的 NLP 研究员与一位刚入门的工业界工程师来说，所需报告的侧重点截然不同——前者希望深入了解稠密与稀疏融合的最新进展，后者则需要先理解基础 RAG 范式。现有 DR 工具无法区分这两类用户。
评估方法本身的缺陷：更严重的是，现有评估范式（用 LLM 扮演合成用户、让 LLM 打分）天然无法发现个性化失效。合成用户缺乏真实研究意图的深度，LLM 评判者难以识别"看起来正确但不符合用户期望"的报告内容。这是一个评估方法论层面的危机，使得系统看起来在自动化指标上表现良好，实则无法满足真实用户需求。
Ai2（Allen Institute for AI）在此背景下提出 MyScholarQA（MySQA），不仅构建个性化 DR 工具，更设计了一套揭示"自动评估盲点"的方法论。
2. 方法详解
基础系统：Ai2 ScholarQA 架构
MySQA 构建在 Ai2 ScholarQA 基础上，后者拥有：
- 检索语料库：Semantic Scholar 全文 800 万篇论文 + 1.08 亿条摘要（每周基于 Open S2ORC 标准更新）
- 检索架构：Vespa 搜索集群，融合 BM25 稀疏检索 + 稠密 Embedding 检索，对候选段落打分
- 重排模型：mixedbread-ai/mxbai-rerank-large-v1，保留 top-k 段落并在论文级别聚合
- 生成模型：Claude 3.5 Sonnet（主模型）+ GPT-4o（备用）
- 三步生成流程：
1. Quote Extraction：LLM 从检索段落中识别最相关的精确引用，提升精度、减少上下文冗余
2. Answer Outline & Clustering：LLM 生成章节框架，将引用归类到各章节（段落格式表达细粒度关系，列表格式枚举相近论文）
3. Report Generation：按章节顺序生成，每节附 TLDR 摘要及引用归因
MySQA 个性化扩展
在基础系统上，MySQA 引入三层个性化机制：
层一：用户研究兴趣画像推断（User Profile Inference）
系统从用户的历史查询记录和交互行为中自动推断其研究兴趣画像。画像包含：(a) 核心研究领域（如"稠密检索"、"多跳推理"）；(b) 偏好的报告深度（基础介绍 vs. 前沿方法对比）；(c) 已熟悉的方法论体系（避免重复介绍用户已知内容）。关键设计原则是画像动态推断而非静态自填，降低用户负担。
层二：个性化检索动作提案（Personalized Action Proposal）
对于每个用户查询，MySQA 基于用户画像提出个性化的"检索动作"方案，包括：子主题的选择与排优先级（覆盖哪些方面、以什么深度）、特定论文的包含/排除偏好、报告章节结构的定制化建议。用户可审批或修改这些动作提案后，系统才开始执行检索。
层三：多节报告生成（Multi-Section Report Generation）
基于用户批准的动作提案生成个性化多节报告，聚焦于用户关注的维度，而非"平均用户"期望的内容分布。
双阶段评估设计
阶段一（自动评估）：采用合成用户基准 + LLM 评判，评测指标包括：引用精度（Citation Precision）、个性化动作遵循率（Action-Following Rate）等。MySQA 在这些指标上显著优于非个性化基线（OpenAI DR、标准 ScholarQA）。
阶段二（真实用户研究）：部署在线 MySQA 系统，邀请真实研究人员进行深度访谈。研究者分析真实交互日志，识别自动评估无法发现的失败模式。这一阶段是本文最重要的贡献。
3. 核心技术贡献
贡献一：个性化 DR 系统 MySQA
首个将用户画像推断、个性化检索动作提案和个性化多节报告生成整合为完整流程的深度研究系统。在自动评估基准上相比非个性化基线取得显著提升。
机制：将个性化的切入点从"报告风格调整"前移到"检索规划阶段"——通过改变检索什么、覆盖哪些子主题来实现真正的个性化，而非只是调整生成报告的语气和格式。
贡献二：九类 LLM 评估盲点的发现与分类
通过真实用户访谈，发现 LLM 评判者系统性漏报的九类个性化 DR 失效模式。这些错误在自动评估中"看起来正确"，但实际上未能满足用户深层需求。
典型错误类型包括：(a) 上下文相关性失效——报告在语义上匹配查询，但未考虑用户的具体研究阶段；(b) 细粒度偏好误读——用户表达的研究方向被过度泛化；(c) 已知内容冗余——花费大量篇幅介绍用户已熟知的方法；(d) 引用偏好不匹配——引用了用户领域不认可的来源；(e) 主观评价失准——系统的"好报告"判断与用户的"有用报告"判断存在系统性偏差。
贡献三：个性化 DR 评估方法论
论文提出核心主张："real progress in personalization is only possible with real users"。这是对整个 NLP 个性化评估领域的方法论批判——凡是依赖合成用户和 LLM 评判的个性化评估，都存在系统性低估真实失效的风险。
4. 实验结果分析
自动评估阶段
MySQA 在合成基准上相比非个性化基线（OpenAI DR、标准 ScholarQA）：
- 引用指标（Citation Precision/Recall）：有所提升，表明个性化动作引导了更精准的文献检索
- 个性化动作遵循率：MySQA 在生成报告中更忠实地遵循了用户批准的动作提案
- 比较基线包含：OpenAI Deep Research、标准 Ai2 ScholarQA、以及使用 Gemini 2.0、DeepSeek R1、DeepSeek V3 等模型的 DR 变体
真实用户研究阶段
核心发现：九类 LLM 评判无法发现的错误揭示了自动评估的根本性局限：
- 评估偏差方向：LLM 评判者倾向于对"内容丰富、覆盖全面"的报告打高分，即使这些内容对用户而言是冗余的
- 个性化成功的真实门槛：真实用户对"有用"的定义远比引用精度等指标复杂，涉及当前研究阶段的匹配程度、报告粒度与用户专业背景的契合度等
- 行动-报告一致性问题：即使系统遵循了动作提案，报告的实际有用性仍可能因动作提案本身质量不足而下降
方法论验证
两阶段评估框架本身成为一个重要发现：阶段一通过的系统在阶段二中暴露出系统性问题，证明 LLM 评判无法替代真实用户。这一发现对整个 DR 工具评估社区有深远影响。
5. 局限与未来方向
作者明确指出的局限
- 冷启动问题：当新用户没有历史数据时，画像推断无法工作，系统退化为非个性化 DR 工具
- 用户研究规模：真实用户访谈的参与者数量有限，发现的九类错误是否覆盖全部失效模式有待大规模验证
- 领域覆盖局限：Semantic Scholar 语料对 arXiv 覆盖较好，但非 arXiv 领域（如医学、法学、人文）的覆盖有明显盲点
- 评估的主观性：即使引入真实用户，"有用"的判断仍存在个体差异，难以构建通用指标
明显但作者未充分讨论的局限
- 个性化动作提案的质量瓶颈：如果用户批准的动作提案本身包含偏见或盲点，系统会忠实地执行错误的个性化，放大而非修正用户偏见
- 隐私问题：推断用户画像需要历史数据，在教育和医疗等隐私敏感场景可能面临合规挑战
- 计算成本：在标准 ScholarQA 基础上增加画像推断和动作提案两个步骤，端到端延迟显著增加
6. 工业实践意义
对社区搜索平台的直接启示
关键洞察一：个性化的切入点应在检索规划阶段
MySQA 的最重要工程教训是：个性化不应只发生在"如何呈现结果"，而要前置到"检索什么"的决策阶段。对社区搜索系统的实践意义：基于用户画像动态调整 query 扩展策略（哪些子话题值得扩展）比对已有结果重排更能改变用户体验的上限。
关键洞察二：LLM 评判无法替代用户研究
当你在搜索个性化上做了改进，在 A/B test 之前的离线评估阶段，如果仅用 LLM 评判"哪个结果更好"，很可能系统性低估真实改进效果（或高估无效改进）。对搜索工程的建议：构建"用户意图-行为一致性"指标（例如：个性化后的搜索结果是否引发更深度的点击行为），比纯内容质量评分更能反映真实个性化效果。
关键洞察三：动作提案机制是个性化透明度的关键
MySQA 让用户审批检索动作，将"系统决策"变成"用户决策"，是提升用户信任和个性化准确率的双赢设计。对社区搜索的迁移：在复杂查询场景（如多意图查询）下，向用户展示"系统理解你的查询为…，计划从以下角度展示结果"，并允许用户修正，可显著降低个性化偏差。
部署注意事项
- 延迟：多步个性化增加响应时间，需要在线缓存用户画像，避免每次查询重新推断
- 数据飞轮：冷启动用户画像质量差，需设计引导流程（如新用户注册时的偏好选择），加速画像积累
- 监控指标：引入"个性化相关性"（用户在个性化结果上的停留时长/后续行为深度）与"通用相关性"（nDCG）的双维监控，防止个性化过拟合损害搜索覆盖率
MiroMind