今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 10 篇，入选 10 篇，分数 3.45 – 4.30
Meta针对长期自动建模中实验跑完却结论无效的问题，EvoPilot用版本化技能、实验协议和产物核验约束研究智能体。37天、7个方向的研究纠正了漏斗深度不一致造成的负22个百分点误判；匹配比较获得离线命中率提升3.20个百分点，另一次7天线上实验测得GSRR相对提升0.66%。
原文：Verify, Don't Trust: Agentic Model Development for Video Discovery Retrieval at Scale。以下依据正文第3—6节和附录撰写；数字区分离线百分点、线上相对变化及运维统计，实践建议属于面向社区UGC搜索的迁移判断。
论文研究Meta Video Deep Dive的视频后续发现检索。用户打开一个种子视频后，系统结合种子、机器生成的枢轴查询和用户上下文，从每小时更新、包含数亿视频的索引中获取结果。研究不是在一个脚本里跑几分钟的小循环：一次远程训练、发布和评估通常持续1—3小时，整个研究活动跨越37天，因此代码、训练窗口、发布产物和评估器可能独立变化。
作者最有说服力的动机是一次真实的错误归因。原始自动研究尝试认定交互头使离线命中率下降22个百分点，但控制组实际输出3000个候选，处理组只输出600个。两个任务都成功结束、配置也声称深度相同，比较仍然没有有效的模型结论。此前人工探索也没有建立交互头的稳定收益。EvoPilot要解决的核心问题，是如何证明两个运行实现了同一个共同基线以及唯一获准的处理差异，而非仅仅获得两个看起来完整的数值。
这对UGC搜索尤其相关：召回深度、候选库快照和标签窗口改变都可能影响离线命中率。若Agent把这类变化误认为模型改进，就会把后续研究带向错误方向。论文因此将研究假设、工作流执行和证据准入分开管理。
系统以一轮经人工批准的实验协议为起点。协议记录假设树、基线、允许变化的字段、数据固定点、主指标和停止条件。规划Agent读取既往证据提出变体，人工审查后，基线构建器生成共享代码和配置；各实验工作器从该基线继承，只实现自己的处理差异。每个工作器在隔离环境中通过版本化领域技能和有类型接口执行训练、发布、评估，并输出终态结果和执行记录。
关键算子是比较级核验。可以把准入条件理解为：两边都产生终态，来自获准共同基线，训练及评估数据固定点一致，实际生效的差异与获准处理一致，且不受处理影响的阶段产物等价；再经过人工对指标语义的审查，才允许将数值写入科学证据。配置声明只是意图，不能替代产物证明。例如正文的交互头协议固定K=3000，控制组关闭交互头且P=3000，处理组开启交互头且P=6000，允许变化仅为交互头开关与待重排候选深度。
产物复用也服务于可比性。系统以检查点标识、代码变化、固定数据和发布设置构造等价键；经审核的纯评估字段不进入键，训练配置或模型血缘变化则禁止复用。同一检查点的候选深度扫描可以共享发布产物，减少发布时洗牌造成的候选池差异，也省去无必要的GPU工作。
论文定义六类角色：规划器、基线构建器、实验工作器、只读结果分析器、故障诊断与受控修复角色、只读取新增事件的监控器。调度与验证由确定性程序承担，角色本身不能凭自然语言声明绕过准入。跨轮持久状态包括类型化事件、原子结果、计划与总结、事件目录；目录包含38条、6类历史记录。历史教训最初只是供检索的提示，只有被实现为断言、前置检查或终态核验后才真正得到强制执行。
恢复时，阶段先持久化并同步状态，再记录完成；崩溃后重放未提交阶段，而非盲目跳过。研究报告过一次存储丢失后从未完成的基线构建阶段恢复的案例。科学角色采用Claude Opus 4.7/4.8，有限只读监控使用Haiku；工作器通常并发3个、最多5个，本地预检约40分钟。这些是被研究系统的运行设置，不是本次日报执行方式。本文贡献是控制协议与实证研究，并没有给出一个统一的新神经网络训练配方；不能据此补造优化器、批大小或训练步数。
第一，证据从单个运行上移到成对比较。单边完成、产物齐全甚至版本链条可信，都无法证明处理真实生效或两组评估语义一致。EvoPilot同时核对两侧实际候选深度、数据和评估器身份，直接针对错误归因的来源。它把那次负22个百分点的结论判为无效测量，而不是一个失败的模型方向。
第二，把记忆与约束分开。Agent可以检索事件记录形成下一轮假设，但控制程序负责验证实际差异、数据漂移、训练评估顺序和完成状态。作者明确区分控制何时出现：漏斗和评估器身份的自动比较器是在事件发生之后加固的，因此只能用事后回放评价，不能把新检查声称为当时已经自动防住了故障。
第三，将恢复和产物复用纳入实验有效性。共享发布产物既避免重复花费，也减少非目标变化；保留中断状态使下一轮规划仍能引用完整的已批准协议。深度扫描记录了约5个GPU小时节省，但论文没有把局部节省外推为整个系统的总体成本下降。
第四，显式区分科学结果、无效测量和运维失败。合法且不提升的对照可以终止假设分支；有数字但口径不一致的实验只用于诊断；OOM没有可归因的模型效果。该划分使研究Agent不会把执行失败当成负实验，或把不可比较的高分纳入排序。
下表对应正文的不同证据层次，不能把各行视为同一指标上的连续提升。
| 实验阶段或检查 | 结果 | 解释边界 |
|---|---|---|
| 原始自动研究的交互头比较 | 离线命中率 −22 个百分点 | 实际K不匹配，归因无效 |
| 修复后诊断复测 | 离线 +4.8 个百分点 | 同时更换基模型，属于组合效果 |
| 固定模型血缘的匹配比较 | 离线 +3.20 个百分点 | K=3000，交互头工作点P=6000 |
| 独立7天线上随机实验 | VDD GSRR相对 +0.66% | 估计所选模型处理，不估计EvoPilot流程 |
| 最终控制的成对回放/变异检查 | 10/10干净样例通过，10/10故障被拒 | 有限构造样例，不是线上召回率 |
漏斗问题的定位采用极端K探针。修复前，把声明K从600改为1，双塔命中率只变化约半个百分点，说明实际仍输出3000个候选。修复在进入评估链路时和指标计算前分别截断；之后K=1读数接近零，符合预期。这个检查值得借鉴：验证参数是否生效可以使用具有明确单调预期的边界输入，而非只检查配置文件。
运维统计也有严格分母。完整活动包含20轮人工批准实验和68个带指标的配置，但历史记录缺失部分启动或终态信息，作者没有用68计算完成率。只有9轮具备完整操作字段，合计29条终态记录，其中27个科学结果、2个OOM失败；包括22次训练尝试、22次发布、27次评估，共71个逻辑阶段。29/29说明终态记录覆盖，27/29说明该子集产生科学结果的比例，两者都不是全活动成功率。
这些9轮还记录24次Agent本地修复后重试、6次操作者修复、6个子工作流和1轮恢复、1次升级处理；累计调度器墙钟约97小时，不等于单次端到端延迟。两个产物支撑7次评估，避免5次发布，体现复用的作用。
方向选择并非只追求最大分数。去掉无监督分数项后命中率下降0.17个百分点，处于重复发布产生的±0.36个百分点经验波动带内，因此选择更简单的点击分数组合，但没有宣称统计等效。加入互动分数下降1.53个百分点，候选深度超过6000后效果下降；四个会话内负样本权重只带来−0.36至+0.07个百分点变化，名义最佳配置还使辅助切片下降1.23个百分点。这些有效但不利的证据支撑终止或收缩研究方向。
作者明确指出，只有9轮具备完整运维记录；调用统计仅存在于两个归档目录，因而不能外推总token成本或GPU占用。原始自动研究基线是保留下来的故障事件，并非同期随机分配的研究流程对照，因此不能认定EvoPilot比人类或另一套Agent流程平均提升多少效率。
10组成对样例只验证已知控制的行为，不提供真实生产故障检出率或错误阻断率；新身份检查仅有回放证据。评估器软件版本一致也不保证指标业务语义正确，人工审查仍必要。离线置信区间、保留的线上护栏指标和跨组织复现均不可得，±0.36个百分点只是运行波动带。作者另外说明创作者分布效应不在已研究端点内，需要单独监测。
对读者而言，迁移成本也不能忽略：可验证产物、字段抽取器和领域技能需要平台团队建设。这个判断是实践推论，不是论文已经测量的成本结论。
对以nDCG和CTR为目标的社区UGC搜索，首先可采用比较协议模板：固定查询集、标注版本、帖子库快照、训练窗口、召回数和评估器，将获准改变写成字段白名单。即使暂时不引入研究Agent，这些约束也能让现有离线实验更可审计。第一批可执行检查应覆盖实际候选数量、时间泄漏、有效代码差异与指标版本，优先处理能改变实验结论的问题。
其次，把查询理解、召回和重排的科研试验接到同一证据账本。运行可以失败或被人工允许部分结束，但未获准的比较不能进入最佳模型表。故障目录记录根因和修复证据，并逐步把高频教训变成机器检查，避免不断增加提示词却缺少执行保障。
最后，论文线上+0.66%是VDD特定指标的相对变化，与社区搜索CTR、nDCG具有不同分母，不能直接用于收益预估。合理试点是先在影子离线研究中验证比较准入和恢复能力，测量每个有效对照的人工耗时、重复发布成本和无效结论比例，再用业务自己的在线随机实验评估模型处理。自动研究的价值应通过可靠证据和实际节省分别测量。
DatabricksDatabricks把并行检索与串行多跳搜索合并，用CISPO在线强化学习学习何时继续搜索、何时停止，并惩罚无收益的额外步骤。在7个留出内部及公开基准上，官方报告平均端到端延迟5.8秒，在接近对照模型质量的情况下快两倍以上。
INSIGHTUGC复杂查询可设置检索轮数上限，并用召回质量与步骤成本共同训练停止策略，简单查询及时返回。步骤惩罚应结合线上延迟预算调节；博客中的5.8秒是企业检索测试结果，不能直接视为社区搜索的可接受时延或CTR收益。
Beihang UniversityHallucination-R1用两阶段GRPO训练保持语义却能暴露事实不稳定性的查询改写器，先稳定语义和多样性，再优化下游错误暴露。用其数据微调Qwen3-8B后，在该改写器生成的SimpleQuestions变体上，严格鲁棒准确率从6.08%升至16.93%，但至少一次答对的准确率下降。
INSIGHT可把强化学习生成的语义等价难例用于社区搜索问答Agent回归测试，检查换一种问法后检索和作答是否仍然一致。严格鲁棒准确率与偶尔答对衡量不同能力，需一起报告；该文没有训练搜索工具策略，其价值主要在查询改写与事实一致性监督。
Dialpad论文比较4个Qwen3和Gemma 3模型在客服多轮工具工作流中的SFT前后表现，发现标准答案历史下的下一轮评分改善不能预测自主执行成功。所有SFT模型的整体工作流评测均未成功，严格轨迹完成口径最高也只有10.4%，揭示单步指标与闭环能力的断层。
INSIGHTUGC搜索Agent应在自己的检索结果和错误历史上连续执行评测，避免每轮都喂入正确历史掩盖累积错误。建议分别记录查询改写质量、工具参数有效性、证据覆盖和最终任务完成率；下一轮模仿更像参考答案，不能作为多跳搜索上线的充分依据。
NVIDIANVIDIA提出把Agent评测从单个工具调用扩展到有状态环境中的任务完成，分别按执行轨迹和最终状态评分。文章建议跨3至5轮试验报告成功率范围，并同时统计每次成功成本；其Nemotron 3.5 Lightning案例报告PinchBench准确率86%、任务完成速度快30%。
INSIGHT社区搜索Agent可为每次工具调用保留输入、输出和证据状态，用过程评分定位失败，用最终答案和引用核验决定是否达标。应将成功率、稳定性、时延和每次成功成本一起报告；厂商示例的对照配置需要核实，不能只凭单一排行榜分数决定上线。
DLD-RL针对深度搜索智能体的长上下文瓶颈，把已有搜索轨迹中的摘要替换为原网页全文，形成保持证据关系的长文问答数据，再采用搜索RL、长文QA-RL、搜索RL三阶段训练。作者将61.6%的残余错误归因于长上下文理解，并报告深度搜索和长文基准分别提升7.3%与13.5%。
INSIGHT社区搜索中的跨帖子证据整合可以复用搜索轨迹构建长上下文训练集，重点保留引用关系与答案监督。应分别检查检索是否找到证据、模型是否在长上下文中正确使用证据；不能把更多检索轮数自动等同于更好的答案。原文日期早于本次RSS更新。
University of GöttingenAutoRecLab将自然语言实验要求转化为推荐系统实验代码，先生成并验证原型，再逐步扩展完整实验。系统结合文档RAG、静态类型检查和执行反馈驱动的树搜索；在6种算法、3个数据集的比较中，9次运行有8次成功，使用GPT-5.4-mini平均每次约1美元。
INSIGHT可将这套执行反馈闭环迁移到社区搜索离线实验，先明确数据切分、候选构造和评价指标，再让Agent查询内部库文档并实现原型。低成本运行值得试验，但样本只有9次；代码可执行仍需配合标签泄漏、指标口径和实验复现检查。
OpenAIV7将企业文件中的实体、关系和引用证据组织成Context Graph，供Agent查询；图中信息不足时回退到文档RAG。官方案例称，检索系统在HERB上相对官方基线提升69%，不可回答问题的幻觉降低38%；最难图查询中GPT-6 Astra准确率为89%，GPT-5.6 Sol为78%。
INSIGHTUGC跨帖子搜索可试验带原文引用的实体关系记忆，把经常重复抽取的上下文前移到索引阶段，并保留原始检索回退。案例数据来自厂商和客户自报，缺少完整独立复现材料；业务试点仍需核验更新时效、引用正确率及维护成本。
University of Tübingen
Aleph AlphaLab1141研究发现推理模型面对信息不足的问题反而生成更长思维链，因而通过SURE奖励把是否足够作答与推理资源分配共同纳入GRPO训练。对多个4B模型微调后，作者报告拒答表现平均提高12.8%、思维链平均缩短44%，同时保留可回答问题上的回答能力。
INSIGHT对社区短查询，可借鉴信息充分性判别：证据不足时触发澄清或补充检索，而非继续无效推理。该论文验证的是欠明确任务上的拒答和长度控制，尚未证明UGC检索收益；落地时必须同时监测错误拒答、可回答覆盖率以及搜索相关性。
Northeastern University论文用产出质量相对于交互成本重新衡量人机协作生产率，在2个数据集、4类任务上分析协作过程。结果显示相同质量的会话交互成本最多相差70倍，用户主观评分也不能替代生产率；高效会话更常出现智能体早期探询与较少的用户修复。
INSIGHT社区搜索Agent可以在答案质量之外，记录用户补充条件、纠正误解和重复搜索的成本，识别高质量但费力的成功案例。将澄清提前可能有价值，但应按任务类型实验；这项分析不等同于证明越少轮次越好，也没有直接提供CTR或nDCG提升。