嵌入与生成常是两个目标不兼容、并排部署的专用模型;GritLM 一类统一模型要么切换注意力模式,要么把两目标当并行损失。ULME 用预测耦合:在因果解码器的 query 与 answer 之间插入可学习槽,从指定槽读语义嵌入与推理嵌入,在同一因果骨干上训三个目标。相对 LLM2VEC-GEN,BRIGHT(重推理检索)上 nDCG@10 提升,AdvBench-IR 有害检索率在 Qwen3-1.7B / 8B 上分别降 25.3% / 20.3%。统一嵌入-生成的关键是目标耦合,而不是共享权重后再切换模式。
1. 问题
RAG/agent 常对同一 query 先嵌后生成,两套模型目标冲突、部署翻倍。简单多任务或模式切换不能让两边互相强化。

2. 方法
后训练框架:可学习槽链插在 query 与 answer 之间;两槽分别读出 embedding 与 reasoning embedding;共享因果骨干上联合训练(含生成侧 AdamW 1e-5、跨 rank in-batch 负例等)。推理时按任务读对应槽。

3. 核心贡献
用「预测耦合」替代「并行损失 / 模式开关」,让嵌入表征服务后续生成,生成信号反哺嵌入。同一前向里的槽,比两套头各训各的更贴 RAG 用法。
4. 实验
BRIGHT nDCG@10:ULME > LLM2VEC-GEN;AdvBench-IR:有害检索 −25.3%(1.7B)、−20.3%(8B)。说明耦合在重推理检索与安全相关检索上都有方向一致的收益。
| 面 | 观察 |
|---|---|
| BRIGHT nDCG@10 | 优于 LLM2VEC-GEN |
| AdvBench-IR(1.7B) | 有害检索 −25.3% |
| AdvBench-IR(8B) | −20.3% |

5. 局限
后训练成本;槽位数与位置敏感;与特定基座(Qwen3 等)绑定的超参需重扫。
6. 实践意义
已有解码器要兼做检索向量时,优先试槽式预测耦合,而不是再部署一个独立 embedder。
补充:数字来自论文实验节与表格;图为 HTML/PDF 原图或页渲染。