Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction
排序模型每次改动都跑完整训练,成本很高。Predictable Scaling用缩小的数据和网络预测改动收益,再用历史学习曲线估计误差;两个工业排序模型的训练计算量分别减少88%和79%。
INSIGHT小模型要保留改动之间的好坏次序,低预测误差本身不够。缩放方案必须按架构选择;论文公开实验中,单独压缩向量宽度可能把方案排序打乱。
今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 48 篇,入选 10 篇,分数 3.35 – 4.30
把读过的文章分别编码,再学习哪些文章更重要,可以避免长历史被截断。LSNR将词项加权与用户级语义扩展合并成稀疏向量,在MIND上的NDCG@10比稀疏基线STAR高约11%。
排序模型每次改动都跑完整训练,成本很高。Predictable Scaling用缩小的数据和网络预测改动收益,再用历史学习曲线估计误差;两个工业排序模型的训练计算量分别减少88%和79%。
INSIGHT小模型要保留改动之间的好坏次序,低预测误差本身不够。缩放方案必须按架构选择;论文公开实验中,单独压缩向量宽度可能把方案排序打乱。
新广告没有点击历史,仍可借相似内容共享学习信号。Meta把内容与行为表示量化成稳定语义编码,再接入广告模型;与现有模型组合后,内部统计的转化提升为0.35%。
INSIGHT编码质量可以先用簇纯度、分布均衡和码本利用率诊断。文章比较多版编码器,发现这些指标与下游CTR准确性相关;公布的转化收益属于组合系统,测量时间是2026年2月。
用户模拟器像不像真人,取决于画像是否记录了真正影响行为的信息。UserRepGen把重建对话产生的反馈蒸馏进画像生成器,评估覆盖700段对话,并检查跨任务和人群多样性。
INSIGHT用画像引出的行为来评估画像,比检查描述是否详尽更直接。训练闭环需要比较真实对话与重建对话的差异,让画像保留影响选择的信息,避免堆积无关人物细节。
只给商品短编码,模型也能重排,但需要专门训练。ReRankID发现未训练模型常照抄候选顺序;用分级排序奖励训练后,模型可接近读取商品文本的强基线,而后者提示约长20倍。
INSIGHT排序正确和理由忠实是两件事。短编码能承载行为信息,却未必支持准确描述商品;评估要同时打乱输入顺序、检查重排结果,并核对理由中的商品事实。
有限记忆不该对所有用户用同一套保留规则。论文把未来是否检索并使用某条事实作为反馈,用离线初始化和在线探索学习个人策略;短历史基准预算500时,微平均覆盖分达到84.48。
INSIGHT没保存的事实通常没有后续标签,反馈因此天然偏向已保存内容。保留策略需要处理这种单侧反馈和延迟,不能把暂时未用到直接当作无用。
个性化模型可以先问少量关键问题,再据此调整回答。VISTA从问卷推断用户价值偏好,控制冻结模型的隐表示;在世界价值观调查上,仅用6%的问卷保留94%的完整问卷收益。
INSIGHT问得少的前提是知道下一个问题能减少多少偏好不确定性。把用户表征、回答控制和主动提问连接起来,比固定收集一大段画像更节省交互成本。
不同用户对回答质量的要求不同,统一路由会浪费推理成本。论文在线学习个人满意度,并用约束队列调节模型选择;真实模型概念验证覆盖100条查询,满意反馈仍由模拟器生成。
INSIGHT成本控制要记录累计欠下的满意度,而不只看单次预测。约束队列会在反馈变差时提高质量权重;论文的保证依赖偏好模型假设,真实用户反馈尚未替代模拟满意度。
多步任务只要缺一个工具就可能失败,因此检索要衡量整套工具是否齐全。系统先推荐工具,再让智能体调用;在ToolRet上,前十结果覆盖全部所需工具的频率比BM25高57%。
INSIGHT把逐项相关性换成整组覆盖率,能看见传统召回指标漏掉的失败。对有多个子意图的搜索,也可以统计一次召回是否包含每类必需信息,而非只奖励某个高相关结果。
推荐理由也可以搜索和积累,而不只生成一份固定榜单。QD-Rec从候选池挑物品,沿已有理由改写,并保留新颖或更好的组合;实验覆盖并购、客户、论文与图书四类任务。
INSIGHT把物品与推荐理由当作一个整体存档,能保留同一候选的不同价值。多样性来自理由空间中的局部比较;论文也有图书任务质量不升的情况,不能把档案变大等同于推荐更准。