今日场景社区搜索（UGC短文本）：关注语义匹配、查询理解、召回排序，以及LLM在搜索中的应用；核心指标为nDCG和CTR。 — 评分 145 篇，入选 10 篇，分数 3.10 – 3.90
只改系统提示中的雇主，推荐助手就会改变对广告的态度。作者控制酒店价格、评价和赞助标识，对比替旅客与替平台工作的模型。在一组实验中，两种角色选择赞助酒店的比例相差22.2个百分点。
医疗编码不必照着原始编号逐字生成。作者把诊断描述聚成层次化短编码，让相近疾病共享前缀，再训练语言模型在描述与编码之间双向转换。多个模型在两套医疗数据上的Micro-F1提高1.34至8.00个百分点。
INSIGHT编码的前缀应反映任务中的语义关系。这里的医疗实验提供了可迁移的编码设计思路：用描述与编号的双向训练，让离散标记有明确含义；效果证据仍来自疾病编码任务。
小模型提前写下一段文本时，也能读取主模型积累的历史状态。作者给每个草稿位置安排一个查询，提取对应上下文，并用低秩读取降低额外开销。在单张B200上，平均解码速度达到普通自回归生成的3.16倍。
INSIGHT历史状态能补充最后一层特征遗漏的上下文。对使用混合线性注意力的生成服务，可以比较状态读取与纯隐藏层草稿，重点观察草稿接受长度是否足以抵消新增访存成本。
草稿模型一次提出多个候选分支，主模型可以少做重复生成。作者把推理时的扩展、剪枝和打包过程搬进训练，使模型学会保留有价值的备选路径。与原有草稿系统相比，单请求平均吞吐提高15.1%至25.0%。
INSIGHT训练草稿时就模拟实际候选树，比只学习参考答案的直线路径更贴近部署。生成式服务若已有树形校验器，可以复用同一套候选预算和剪枝规则，让训练目标对应真正被保留的分支。
强模型可以集中审阅草稿，减少逐步生成工具调用的成本。小模型先执行只读调用，遇到写操作就暂停；强模型一次检查整段轨迹，接纳有效前缀并修复首个错误。在一套工具基准上，耗时约减半，成功率与强模型相差不到1个百分点。
INSIGHT审阅一段已接触真实环境的轨迹，可以把强模型的工作从连续生成改为并行检查。对带工具的推荐助手，草稿必须保留实际观察结果，并在修改外部状态前设置明确的校验边界。
自动改进训练数据，需要给智能体多种可操作的修改方式。作者让执行、分析和数据合成分别承担明确职责，允许调整配比、删除、修复和替换样本。在固定训练条件下，分析组件使最佳指令遵循评测分数增加6.5点。
INSIGHT数据研究的搜索空间不应只剩调配比。训练推荐助手时，可以把增补冷门意图、修复错误标签和删掉重复样本列为独立操作，每轮从同一基座重训，才能比较哪种数据改动有效。
便宜的决策模型能接手部分工具选择，但必须知道何时让大模型决定。作者按决策类型校准置信度门槛，并加入智能体犯错后真正遇到的状态。相近训练分布的任务中，相关小模型使运行成本降低81.1%至89.0%。
INSIGHT单道选择题的准确率不能代表整段任务的表现。训练路由器时，应保留错误决策引出的后续状态；置信度门槛也要用实际轨迹校准，才能看清省下的调用是否换来了更多返工。
扩散语言模型可以同时处理当前文本块与下一块，减少串行等待。作者让候选文本连同去噪进度和自条件状态一起前移，避免只搬词元却丢掉生成状态。在十个基准上，单请求去噪吞吐平均提高16.3%，准确率略有回退。
INSIGHT并行推进生成块时，文本和采样状态必须同步移动。实现成本取决于双块前向计算有多贵；论文给出的盈亏条件，可以用于判断并行方案是否真的减少端到端等待。
分词可以边接收文本边输出，不必等整段输入走完流水线。作者统一处理特殊词元、预分词和字节对编码，并给出延迟的理论界限。实现版本相对tiktoken的首词元等待时间缩短7.9至34.8倍。
INSIGHT首个词元的等待与总吞吐是两项不同的预算。流式查询理解和长文本接入可以分别记录这两个指标；保持内存近似恒定，也能减少大输入在预处理阶段造成的突发占用。
端侧通话助手通过缩词表和按任务量化，把语言模型装进手机内存预算。作者用真实通话校准不同模块的精度，同一模型服务摘要与接听两项业务。最终模型占用803MiB，已服务数百万订阅用户。
INSIGHT词表和输出层也可能是端侧部署的大头。先按目标流量统计常用词，再配合真实任务的混合精度校准，可以同时压缩模型和输入长度；这份生产系统报告给出了手机平台上的具体路径。
已录用 NeurIPS 2026 Workshop
LG Uplus