今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 222 篇，入选 10 篇，分数 3.40 – 4.35
模型压到极低位宽后容易掉精度，这项工作用成组权重共同编码来减少误差。它用规则化的格点代替显式码本搜索，让训练时的量化计算更直接。在各自最大可用批量下，解码吞吐达到半精度基线的 1.97 倍。
语言模型逐词输出限制了生成速度，作者把现成模型改造成能并行生成一块文本的形式。块内用连续流逐步修正预测，再由同一个模型按逐词方式验证草稿。在相近质量下，吞吐达到逐词生成模型的 2.54 倍。
INSIGHT草稿和验证可以共用一个模型。保留原有逐词能力，让并行生成负责提案、逐词计算负责校验，可把新的生成形式接入已有推理路径，同时减少维护独立草稿模型的成本。
稀疏专家模型只调用少量专家，却仍要存下全部权重。作者把保留哪些专家写成可优化的选择问题，再轻量调整剩余权重以还原原层输出。在 Qwen3-30B-A3B 上，相对最强专家裁剪基线，准确率最多提高 15.05 个百分点。
INSIGHT选择专家时，要看一组专家共同保留了多少输出信息。单独按调用频率或权重大小排序会漏掉互补关系。把选择与保留权重的修复连起来，尤其适合裁剪幅度较大的部署。
模型压到极低位宽时，表示方式和训练数据都会决定能否正常工作。作者联合选择向量码本、校准数据与恢复数据，并只微调码本来修复压缩误差。实验保留了全精度问答准确率的 89%–97%，而普通标量量化已接近随机水平。
INSIGHT校准数据与恢复数据需要一起选。极低位宽下，前一步留下的误差会改变后一步需要修复的内容。比较压缩方案时，问答正确率之外还要单独看生成任务，这部分损失更集中。
请求该交给哪个模型，既要看回答质量，也要看实际等待时间。这个评测把路由器放进只能观察部分模型结果的环境，并用硬件延迟标注替代易变的价格。作者比较了 13 种路由基线，发现多数方法仍过分追求准确率而忽略延迟。
INSIGHT路由决策会改变后续能收集到的训练数据。离线拿到所有模型答案的评测，容易高估线上路由效果。保留冷启动与持续流量两种环境，才能看清探索成本及延迟代价。
稀疏注意力虽然少读缓存，寻找该读哪些内容仍会重复耗时。作者让一层先给出较大的候选集合，后续层在集合内独立挑选，避免逐层完整搜索。在长上下文评测中，报告的加速范围为 1.14–1.40 倍。
INSIGHT共享候选池比共享最终选择更宽松。不同层可以复用搜索成本，同时保留各自的注意力偏好。共享层数增加会带来任务相关的质量损失，因此候选覆盖率比最终集合重合率更有参考价值。
草稿一次提出更多词，不一定让生成更快，因为早期出错会浪费后面的预测。作者按连续前缀被接受的过程设计训练损失，并联合选择草稿深度和输出块大小。在 Qwen3-8B 上，相对逐词生成的平均加速达到 4.14 倍。
INSIGHT草稿模型的优化目标应接近实际吞吐。平均接受词数只是收益的一半，每轮耗时同样关键。把训练目标对齐连续前缀，再按并发量选择推理配置，比固定追求更长草稿更合理。
专家模型不同层可能重复存储相似能力，作者让多层共享一组专家以减少冗余。实验固定激活数量和专家粒度，比较独立专家与跨层共享专家的效果。共享设计只用原来 70%–80% 的专家，就能达到普通专家模型的表现。
INSIGHT参数复用不必局限在同一层。跨层共享把存储预算用在更少的重复内容上，但它属于模型架构调整，需要配套训练；对已有检查点做部署优化时，应与直接裁剪方案分别评估成本。
按词切分会丢掉部分字符细节，这项工作把已有语言模型改造成直接处理字节。模型先把字节聚合成短块，交给原有主干计算，再还原为字节输出。作者用低于通常预训练预算 1% 的额外训练完成改造。
INSIGHT复用成熟模型能降低探索新文本表示的成本。字节级模型不必从零追赶整套预训练配方，可把资源集中在字符理解与压缩粒度上；短文本中的拼写变体是值得具体评测的应用点。
Amazon业务数据和向量分开存储，会增加同步链路与更新延迟。DynamoDB 把向量索引加入原有表，支持相似度检索及条件过滤，减少独立向量库的数据复制。AWS 宣称召回率超过 99%；这是厂商发布指标，文章未给出完整对比实验。
INSIGHT减少同步链路本身就是检索基础设施收益。已经使用这套数据库的团队，可以把向量更新与业务数据更新放进同一存储体系；迁移决策仍要根据过滤条件、写入频率和查询规模计算成本。