The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with HELMSMAN
大规模向量检索一直放在内存里跑 HNSW,因为 SSD 太慢。小红书的经验是,SSD 慢主要慢在图索引一步等一步的串行读:召回要上千个候选时,改用聚类索引,先在内存里选好要读的簇,再一次性把读请求全部发出去,多块高速 SSD 的带宽就能接近内存方案。
查找解读请用站内搜索。
大规模向量检索一直放在内存里跑 HNSW,因为 SSD 太慢。小红书的经验是,SSD 慢主要慢在图索引一步等一步的串行读:召回要上千个候选时,改用聚类索引,先在内存里选好要读的簇,再一次性把读请求全部发出去,多块高速 SSD 的带宽就能接近内存方案。
GEM 将“理解查询”和“生成向量”合并到一个因果语言模型中:模型先生成用户意图与相关性标准,再用专用 embedding token 编码查询,并与文档向量做对比学习。
论文针对CTR预估中用户兴趣的时序变化与频率模式难以同时利用的问题,提出频率增强Deep Interest Network(FEDIN),在时间域和频率域联合编码行为序列,并用频域分支提取周期性兴趣。
CADiff面向扩散式序列推荐中长期兴趣表示不完整、长短期兴趣权重固定的问题,提出非对称感知编码器APE与自适应多兴趣融合AMF:前者让序列上下文注入用户特定表示,后者按当前场景动态生成扩散引导信号。
APAO 针对生成式推荐训练采用 teacher forcing、推理却采用 beam search 所造成的前缀错配:正确物品可能因早期 token 概率低而提前出局。
快手想让生成式推荐模型先写一段推理再推物品,但之前的尝试里,思考模式并不比直接输出更准。OneReason 先用大规模预训练让物品编号和文字含义对齐,再用固定结构的推理做 SFT,最后按业务域分别做 RL 再合并。
论文比较原生多模态向量与视觉大模型零样本排序在跨模态检索中的效果,覆盖文本、图像、视频和音频共享表示。
论文发现序列推荐中的点积注意力存在相似性偏置:它偏爱相似物品,却会漏掉对下一物品预测有因果作用的异质关系。
GALLM 针对 LLM 推荐器难以利用协同过滤信号的问题,把文本 token、物品 token 和全局共现关系组成协同图,并把 Text–Text、Item–Text、Item–Item 三类结构转成轻量注意力偏置注入 LLM。
HCGRec 针对 Semantic-ID 生成式推荐在 GRPO 后训练中的稀疏奖励问题:早期 token 一旦走错分支,rollout 很难到达真实物品,整组样本会得到零优势。
Sona 面向 Yandex Music,将 15 个以上候选生成器、预排和排序模型组成的级联压缩为单一生成式推荐模型。共享用户序列编码器同时驱动自回归解码器与 Ranking Module,并用 next-token 预测和教师蒸馏联合训练,线上不使用手工特征。
ConnectionMind 将用户、物品、好友、群组和创作者页组织成异构图,把推荐转成从用户到候选物品的个性化路径推理;LLM 策略负责在图上选择和解释关系路径。系统先用大规模用户—物品轨迹做监督微调,再用端到端强化学习优化图推理策略。
Shape Your Feed 将对话式推荐拆成感知、服务和自演化三条流:感知流抽取文本、语音与界面操作中的细粒度意图,服务流借助持久语义画像进行智能体重排和裁剪,自演化流用 DPO 与 LLM-as-a-Judge 对齐行为。
淘宝搜索想把排序模型做大,发现瓶颈在数据:他们把未曝光候选和推荐、店铺里的行为改造成搜索样本,训练数据扩到 5 倍,再配一个按场景隔离梯度的 Transformer。同样的扩充数据放到旧结构上 AUC 反而下降 0.43%,放到新结构上提升 0.32%。
agent 选工具时,用户说的是口语,工具库写的是技术说明,单靠微调检索编码器在模糊查询上会掉得很厉害。SAP 的做法是让大模型改写器把用户的话写成工具说明书风格的描述,编码器只用这些描述重训,改写器再按编码器的检索得分做 DPO,两边轮流训三轮。
MetaStrategy 不直接生成物品序列,而是让 LLM 根据请求上下文输出受约束的 JSON 排序策略,控制 CTR/CVR/GMV 权重、内容偏好、体验约束和位置规则;验证器与编译器把策略隔离接入现有重排链,LLM 推理放在近线。
针对推送推荐中长行为序列难压缩、生成式模型难解释且在线成本高的问题,PushDualGen 用并行 Semantic ID 压缩历史,先生成 SID,再按需复制文本解释,并把 Top-20 SID 与用户特征融合做 ANN 召回。
IntHQ 针对多任务推荐中共享表示造成的 source、relation、hierarchical 三类信息坍缩,设计双流解耦、任务交互建模和分层查询:任务 token 从第一层注入,跨任务注意力动态建依赖,再按任务从不同深度读取表示。
推荐基础模型通常把点击或点赞等稠密标签当作最终目标,难以对齐真正决定推荐质量的业务指标。
TM20K 面向电商广告中的超长用户行为序列,用全注意力教师和学生模型配合两阶段知识蒸馏,再通过 token merge 压缩学生序列。
论文提出 SAGEO Arena,把检索、重排和生成串成可复现实验环境,覆盖 9 个信息检索数据集、2700 个查询和 171003 篇网页文档,并保留标题、摘要、层级标题与 Schema 等结构字段。
论文提出 LIME-Rec,用可审计的轻量融合检验序列推荐中的语义收益究竟来自何处。系统独立组合 SASRec、ItemCF 共现专家和冻结 BGE item embedding 语义专家,在验证集学习分数融合与有界历史校准,不依赖线上语言模型推理。
论文指出,Semantic ID 生成器能捕捉行为共现,却缺少“当前需求下应该推荐什么”的策略知识。方法先由反馈驱动的智能体区分用户意图与推荐策略,再通过双空间关系蒸馏把两类知识压缩成轻量生成器的两个潜变量,线上无需调用 LLM。
美团外卖把排序模型换成 Meta 的 HSTU 生成式架构,但没有照搬,而是保留了全部交叉特征,并把同一用户一天的曝光压成一行训练。单样本计算量涨到 65 倍,靠这种压缩和长度采样,训练成本与旧模型持平;首页订单量提升 1.22%。
论文针对搜索 Agent 强化学习依赖昂贵在线 Web API、离线快照又会产生数据错配和错误奖励的问题,构建了可验证知识图谱与对齐文档语料的 SearchGym 环境。
针对直播推荐中观看、聊天、关注、消费等行为并发且反馈延迟、不同生命周期用户分布偏置的问题,论文用延迟窗口补齐反馈,融合新鲜与延迟信号,并以分段目标模块和 MMoE 联合多目标排序。
论文指出长期个性化不能用语义相近替代情境相关,提出 Proximity Advantage (PA) 衡量语义邻近偏差,并构建 LUCid 诊断集,含 1,936 个用户查询及长行为历史。
RAG 在上下文预算很紧时,召回率高不代表模型读到了答案:HotpotQA 上检索已找全标准文档的题里,27% 在打包裁剪时把答案丢了,这些题的精确匹配率只有 0.11。
给 agent 召回 skill 时,单个 skill 相关还不够,召回的几个还得能一起用。
工业推荐在行为分布持续漂移时,传统 next-token 预训练会把跨兴趣会话的相邻物品当成依赖,迁移后还会与 CTR/排序目标争抢同一参数。KGD 用 BMTP 只预测协同或语义相关的未来物品,并以可刷新编码器、只读交叉注意力和正交 ACR 分离知识与任务几何。