Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval
推荐系统的 ANN 索引通常为每个用户/物品学习单点 embedding,但稀疏交互数据使表示充满噪声,检索因此系统性偏向少数 embedding 估计良好的热门头部物品,牺牲长尾、多样和惊喜内容。论文提出 DINOSAUR:为每个 embedding 引入分布式(带不确定性)表示,并设计与现有 ANN 基础设施兼容的检索框架,在召回阶段显式考虑表示不确定性,从而缓解头部偏置、提升长尾覆盖与多样性。
INSIGHT直指 UGC 社区召回的头部偏置问题——冷门优质帖子因 embedding 估计不准而被结构性埋没。亮点是“基础设施兼容”:不必替换现有向量库,而是在 embedding 层引入不确定性建模。可借鉴其分布式 embedding 思路改造短文本召回,在不重建索引的前提下缓解长尾内容曝光不足。