今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 68 篇，入选 10 篇，分数 3.00 – 3.55
需要判断候选是否合适时，模型未必需要生成一段回答。作者用一次前向计算读取候选字母的分数，再归一化为概率，统一支持判断、分类与评分。完成训练的八亿参数模型在通用中文决策测试上准确率为 72.24%。
Meta推荐数据管道接入涉及多个代码库，把全部知识塞给一个代理容易混用规则。Meta 把流程路由和检查固定下来，让专业代理各自处理领域任务。新数据列的配置准备从人工三至四天，缩短到一小时以内。
INSIGHT把确定性的流程约束放在路由层，把领域知识按需交给专业代理，可以减少上下文相互干扰。新增场景主要通过组合已有工作流实现，不必不断扩大中央代理的提示词。
UTS医院之间共享用药经验时，既要保留共性，也要尊重各院差异。作者把跨院共识和本院残差分开存储，检索后再约束药物集合的生成。在 eICU 多中心数据上，推荐 F1 达到 0.4532。
INSIGHT可迁移经验与本地习惯分开存储，能避免把大机构的偏好直接复制给小机构。生成阶段还要同时检查集合内部冲突和本地可用性；这个设计适合有硬约束的推荐任务。
内容编辑会改变生成式搜索的引用与推荐，但现有评测允许的改写范围并不一致。作者用三个维度描述修改位置、修改动作和目标信号，并提出控制比较条件的协议。本文提供分类与评测规范，没有报告统一实验的性能增益。
INSIGHT比较内容优化方法时，要把编辑权限和优化能力分开。固定允许修改的范围、调用预算和原任务质量，再比较引用变化，才能避免把更宽的改写权限误当成算法进步。
语言模型改写短文本时，通常需要把未修改的内容重新生成。作者让模型输出带位置指针的编辑指令，直接指定插入、删除或替换的位置，同时保留原上下文。测试深度下，新增定位组件只增加约 0.34%–0.41% 的参数。
INSIGHT局部改写可以表达为一个可执行程序。模型给出修改内容和地址，执行器负责应用；这样既能检查编辑是否合法，也能保留原文与缓存，适合观察查询改写到底改了哪里。
并行生成文本时，过早确定某个词会限制后续修正。作者保留一份可反复编辑的草稿，让模型预看并修订未来位置，再把词写入最终序列。七十亿参数版本在八项基准上的平均得分，比标准掩码扩散微调高 11.4 点。
INSIGHT把“尝试一个答案”和“正式确定答案”分开，可以保留并行生成的修订能力。额外计算花在草稿上，训练仍沿用掩码噪声过程；效果收益需要与新增推理轮数一起衡量。
扩散语言模型不仅要猜下一个词，还要决定先填哪个位置。作者用小模型预测位置提交顺序，一次提出多条候选路径，再由目标模型并行核验。在报告的最佳配置下，吞吐达到标准解码的 3.2 倍。
INSIGHT位置顺序本身就是值得学习的对象。已有输出分布常常足以猜对词，却不能确定下一步先写哪里；预测顺序后再严格核验，可以把这部分信息变成推理加速。
输入里出现错误内容时，扩散模型往往仍把它当作可信上下文。作者在训练中轻微扰动已知位置，让模型学习识别并修复噪声。在随机破坏两成上下文的设置中，填补任务的词级 F1 提高 6.4 点。
INSIGHT“已观察到”不等于“完全可信”。给上下文保留小幅可修订空间，比一律冻结更能处理明显污染；对语义合理的错误收益较弱，随机噪声的结果不能代表所有输入错误。
长上下文推理要反复寻找值得关注的历史词，索引计算本身也很耗时。作者先共享粗略候选位置，再在各层局部修正，减少重复搜索。在十二万八千词元上下文下，端到端解码速度达到 FlashAttention 的 3.4 倍。
INSIGHT跨层共享候选，不必意味着各层使用完全相同的注意力位置。保留稳定的核心区域，只修正变化边界，可以同时减少索引开销与静态共享带来的信息损失。
Jane Street
NVIDIA长序列模型的数学表达紧凑，实际执行却可能反复读写中间结果。作者用 Python 编写分块算子，融合矩阵运算并调整内存布局，优化 Mamba-2 前向计算。在 B300 上，核级速度达到 Triton 对照的 1.14–1.82 倍。
INSIGHT把状态传递与块内计算拆开，再让临时矩阵留在寄存器中，可以减少显存读写。这里的收益属于前向算子；完整训练还取决于反向实现，不能把核级加速直接当作整条服务的加速。
已录用 NeurIPS 2026