对话式搜索需要可信用户模拟器才能规模化评测。AutoSim 的相关性判断在三年 TREC iKAT 上与 NIST 对受控检索系统排序一致（Kendall τ=0.66 / 0.91 / 0.91，均 p≤0.002），去掉人设后仍成立。相对真人 held-out 自改进：权重级自改进把真伪判别 AUC 从约 0.85 压到 0.45，并抬检索 +0.136 nDCG，57% 轮次返回相关段落。模拟器可信的标准是能排出和 NIST 一样的系统名次，而不只是话说得像人。

1. 问题

提示式模拟器常「像人」但系统排序漂；每次改检索器都重开人评不可扩展。需要：对真人不可区分 + 能复现 NIST 名次。

2. 方法

AutoSim 在对话搜索环里发查询、读结果、给相关性；用人评 held-out 信号自改进（提示级 vs 权重级）。评测用 condensed nDCG@5 等对真实系统排序，并报与 NIST 的 Kendall τ。

3. 核心贡献

把模拟器验收从「分类器骗过」提升到「名次对齐」。AUC 到 0.5 只说明话像，τ 对齐才说明评测可用。

4. 实验

三年 iKAT：τ 0.66 / 0.91 / 0.91。少样本/默认提示下真伪 AUC 仍 ≥0.85；权重自改进 → AUC 0.45，+0.136 nDCG，57% 轮次命中相关段落。去掉 persona 后名次一致性仍在。

5. 局限

受控系统池；τ 在第一年较低；自改进依赖 held-out 真人信号，不是零标注。

6. 实践意义

对话搜索回归可用 AutoSim 类模拟器做日更；上线前仍用一小撮 NIST/人评锚点校准 τ。

补充：数字来自论文实验节与表格；图为 HTML/PDF 原图或页渲染。

补充细节：实验协议与主表数字均按论文正文抄录；若与附录小数有出入，以正文主表为准。配图用于帮助定位架构与主结果，不替代表格中的精确值。

多观点查询的 RAG 必须在固定上下文预算下保住不同答案与立场。LMVU 学的是「当前选集上再加这篇能带来多少边际观点覆盖」，用开发集观点标注在同一选择状态下对比候选；推理时反复给预算内候选打分。Perspectrum 覆盖率 94.6%，并在 WVS/ESS10 等上达到或接近满覆盖，优于最强基线。多观点检索的排序目标应是边际覆盖，而不是单篇相关性。

1. 问题

按相关性贪心会反复覆盖同一观点，预算耗尽后对立立场缺失。需要显式优化观点覆盖的边际收益。

2. 方法

训练：同一选择状态下比较候选的边际覆盖增益（类 AUC/concordance）。推理：算法 1 在预算 B 内贪心选仍装得下且分数最高的证据。可用 MMR 过采样池（如 4×）再精选。

3. 核心贡献

把「多样性」从两两相似惩罚，改成对标注观点单元的边际覆盖效用。相关但不增覆盖的证据应让位。

4. 实验

WVS / ESS10 / Perspectrum / ArgKP 等。Perspectrum 94.6% 覆盖；WVS 上相对 MMR 的 ΔRVC 置信区间常不含 0。开发集 within-state NDCG@5 上 LMVU 型排序优于 MMR 启发式（如 0.6575 vs 更低）。去掉状态特征会让 WVS 开发排序 NDCG@5 从约 0.66 掉到 0.44。

5. 局限

依赖观点标注；预算与分词器相关；迁移到无标注域需启发式代理。

6. 实践意义

争议/多立场问答的 RAG 选证，把目标从相似度改成边际观点覆盖，并在开发态上做 within-state 对比训练。

补充：数字来自论文实验节与表格；图为 HTML/PDF 原图或页渲染。

补充细节：实验协议与主表数字均按论文正文抄录；若与附录小数有出入，以正文主表为准。配图用于帮助定位架构与主结果，不替代表格中的精确值。

示意走查：预算还剩 200 token，候选 A 与当前集观点重叠高，候选 B 带来一个尚未覆盖的反对立场。LMVU 给 B 更高边际分，即使 A 的单篇相关性更高也会让位。训练时这种「同状态下的成对比较」直接对应推理时的贪心选择。

嵌入与生成常是两个目标不兼容、并排部署的专用模型；GritLM 一类统一模型要么切换注意力模式，要么把两目标当并行损失。ULME 用预测耦合：在因果解码器的 query 与 answer 之间插入可学习槽，从指定槽读语义嵌入与推理嵌入，在同一因果骨干上训三个目标。相对 LLM2VEC-GEN，BRIGHT（重推理检索）上 nDCG@10 提升，AdvBench-IR 有害检索率在 Qwen3-1.7B / 8B 上分别降 25.3% / 20.3%。统一嵌入-生成的关键是目标耦合，而不是共享权重后再切换模式。

1. 问题

RAG/agent 常对同一 query 先嵌后生成，两套模型目标冲突、部署翻倍。简单多任务或模式切换不能让两边互相强化。

2. 方法

后训练框架：可学习槽链插在 query 与 answer 之间；两槽分别读出 embedding 与 reasoning embedding；共享因果骨干上联合训练（含生成侧 AdamW 1e-5、跨 rank in-batch 负例等）。推理时按任务读对应槽。

3. 核心贡献

用「预测耦合」替代「并行损失 / 模式开关」，让嵌入表征服务后续生成，生成信号反哺嵌入。同一前向里的槽，比两套头各训各的更贴 RAG 用法。

4. 实验

BRIGHT nDCG@10：ULME > LLM2VEC-GEN；AdvBench-IR：有害检索 −25.3%（1.7B）、−20.3%（8B）。说明耦合在重推理检索与安全相关检索上都有方向一致的收益。

5. 局限

后训练成本；槽位数与位置敏感；与特定基座（Qwen3 等）绑定的超参需重扫。

6. 实践意义

已有解码器要兼做检索向量时，优先试槽式预测耦合，而不是再部署一个独立 embedder。

补充：数字来自论文实验节与表格；图为 HTML/PDF 原图或页渲染。

重排器越接近，依赖稀疏离散人工标的 nDCG 越分不开它们；LLM 相对判断能分清接近文档却跨 query 无统一刻度，绝对分又太粗。Cohere 的 Rubric-Calibrated Preferences（RCP）用项目反应理论做跨 query 校准：Stage A listwise Bradley–Terry，Stage B 用量表准则当「考题」。RCP-nDCG 替换离散标：有用/无用 AUC 0.910（基准标签 0.651）；185 次对比里唯一同意方是 RCP-nDCG 占 72.4%；TREC-DL 上每当 NIST 等级可分时都与之同侧。NanoBEIR / BRIGHT 分别有 45.6% / 30.7% query 落在 nDCG 失效模式。重排器评测要从离散 nDCG 换成可跨 query 校准的稠密判断。

1. 问题

nDCG@k 在近并列重排器上饱和、触底或压缩；失败模式在 NanoBEIR 45.6%、BRIGHT 30.7% 的 query 出现。需要稠密、跨 query 共刻度的标签。

2. 方法

RCP：文档当考生，量表准则当题目；IRT 校准到同一能力尺。Stage A 锦标赛式相对比较；Stage B 绝对准则。得到的连续增益代入 nDCG 即 RCP-nDCG。候选池标定一次后可打分任意重排器。

3. 核心贡献

把 LLM 判断从「不可比的相对分」变成「IRT 校准后的共刻度效用」。相对判断的分辨力 + 绝对准则的共刻度，缺一不可。

4. 实验

有用 vs 无用 AUC 0.910 vs 标签 0.651。185 次「仅一指标同意」中 RCP-nDCG 占 72.4%（随机约 53%）。TREC-DL：与 NIST 可分对全部同侧；解很多 nDCG 平局，分离次数约 1.9×。

5. 局限

依赖 LLM 裁判与量表设计；标定候选池有成本；对非英语/特殊域准则要重写。

6. 实践意义

重排器迭代接近时，用 RCP-nDCG 替代或并行于 nDCG；先在 TREC-DL 类有 NIST 锚的集合上校准裁判。

补充：数字来自论文实验节与表格；图为 HTML/PDF 原图或页渲染。