RedParrot: Accelerating NL-to-DSL for Business Analytics via Query Semantic Caching
小红书提出 RedParrot:面向企业级 NL-to-DSL 业务分析场景的语义缓存框架。
查找解读请用站内搜索。
小红书提出 RedParrot:面向企业级 NL-to-DSL 业务分析场景的语义缓存框架。
CTR 预估高度依赖用户历史行为序列,但实际系统中行为稀疏、序列残缺普遍存在。
针对 rationale-based 检索需要对 query-document 联合编码导致计算成本过高的问题,提出 Rabtriever:先训练一个把 document 放在 query 之前、用 log p 生成相关性分数的 LLM 生成式重排器作为教师,再通过基于 JEPA(Joint-Embedding Predictive Architecture)的 on-policy 蒸馏,把教师能力压缩到独立编码 query 与 document 的双塔模型,从而保留对查询-文档的深度理解但显著降低线上推理成本。
针对动态数据分析 Agent 任务,作者发现通用 PRM 难以发现执行无异常但结果错误的「静默错误」,且会错误惩罚必要的探索性步骤。
论文聚焦 LLM 作为 IR 相关性评估员能否给出可解释的判断。作者基于 INEX Wikipedia 测试集,要求 LLM 不仅判断文档相关/不相关,还高亮文档内回答信息需求的相关段落,并与人工评估员标注的段落对比。
针对 LLM 语义 embedding 与协同过滤表示的融合范式,论文质疑了主流的“全局对齐”假设——即两者编码同一隐变量、对齐越强效果越好。作者将其形式化为“全局低复杂度对齐假设”并证明该假设过强,常与真实推荐场景结构错配。
论文从理论视角分析了用 RL 优化 LLM 推荐器时为何 beam-search 负样本比随机负样本好。
论文提出 Utility-Aligned Embeddings (UAE),把稠密检索的目标从语义相似度转换为分布匹配——让 bi-encoder 通过 Utility-Modulated InfoNCE 直接拟合 LLM 视角下的 “效用分布”(基于困惑度下降衡量哪些 passage 真正帮助生成)。
SPLADE 用 BERT 词表作为稀疏表征基底,存在多义/同义词膨胀的问题。作者用稀疏自编码器(SAE)从 LLM 隐层中提炼出"概念维度",再以这些概念替换 SPLADE 的 vocab 投影头,得到 SAE-SPLADE。
针对长用户行为序列里『session hopping』(兴趣在 session 间突变、不连续)的问题,提出 Mixture of Sequence (MoS):用 codebook+EMA 的主题感知路由保证语义一致的子序列被同一 expert 处理(Proposition 1),并以 Global/Item/Window 三类 expert 多尺度融合。
本文提出 IG-Search,一个基于步骤级信息增益(Information Gain)奖励的强化学习框架,用于训练搜索增强推理模型。
针对向量搜索中传统 recall 指标的缺陷——惩罚未检索到语义无关的近邻——提出 Semantic Recall 新指标,仅计算语义相关的近邻召回率。同时提出 Tolerant Recall 作为实用近似指标。
针对 LLM 增强推荐模型中骨干模型优化困难的问题,本文首次从局部优化曲率角度建立理论分析框架,识别出 LLM 表征的大范数差异和语义-协作错位角度聚类两个关键瓶颈。
提出 PURPLE 框架,将 LLM 个性化中的用户画像构建建模为上下文多臂老虎机问题。核心发现是语义相关性并非检索用户历史记录时的可靠效用代理——相似的记录未必有助于生成质量。
针对指令遵循检索(IF-IR)场景中检索器只关注语义相关性、忽略用户显式约束(如属性要求、排除条件)的问题,提出基于极性反转的双视角数据合成策略。核心思路是对同一文档对生成互补指令使其相关性标签互换,迫使检索器通过指令视角重新评估候选文档而非依赖固定的主题信号。
针对 Transformer 类 CTR 模型通过堆叠参数扩展带来的计算和存储瓶颈,提出 LoopCTR 循环缩放范式。核心思路是通过共享模型层的递归复用来增加训练时计算量,从而将计算量与参数量增长解耦。
针对双塔模型在大规模候选召回中表达能力受限、embedding 空间对齐不足和特征交叉缺失的问题,提出 Capability Synergy (CS3) 在线框架。
本文揭示了推荐系统 Scaling Law 中一个关键盲区:虽然 MetaFormer 架构在增加深度和维度后性能提升,但 token 表征的有效秩(effective rank)并未随参数增长而线性扩展,甚至在深层出现退化。
本文发现一个反直觉现象:LLM 中间层表征在推荐任务上优于最终层输出,说明 LLM 的深层语义压缩可能丢失了推荐所需的特征多样性。
Shopify 将购买旅程建模为因果序列,采用自回归模型预测用户下一个交互商品。
针对 UGC 平台 RAG 系��中相关性评估的两大挑战——用户意图模糊和非对称相关性(相关性由局部答案片段驱动而非全局相似度),提出 R3A 框架。
MEDA 提出首个通用可靠的深度 CTR 模型多轮训练策略。工业界 CTR 模型普遍面临多轮训练过拟合问题(样本重复暴露导致 embedding 层过拟合),现有方案需针对特定模型调参。
提出 Sample-Level Token 范式,突破工业推荐模型的两大瓶颈:样本信息扩展(通过更深更长行为序列丰富训练信号)和模型容量扩展(在单一 Transformer 骨干中统一序列建模与特征交互)。
本文首次严格证明了生成式推荐(GR)中 k-token 自回归下一 token 预测(AR-NTP)范式与全物品词表最大似然估计(FV-MLE)在数学上严格等价,前提是物品与其对应 token 序列之间存在双射映射。
该论文提出 Search-R3(Reasoning-Reinforced Representation for Search)框架,首次将大语言模型的链式推理(CoT)能力与搜索 embedding 生成统一在同一模型中。
该论文提出迭代重排序(Iterative Reranking)作为 LLM 排序模型的推理时计算扩展策略。核心思路是利用 LLM 的非确定性,通过反复应用 listwise 排序器来逐步优化排序结果——每次迭代可以修正前一次的排序误差。
提出 DMF(Decoupled Multimodal Fusion)方法,增强 ID 协同表征与多模态表征之间的细粒度交互。核心设计包括 target-aware 特征桥接不同 embedding 空间的语义鸿沟,以及解耦注意力机制降低计算开销。
理想汽车发布的多智能体深度研究框架技术报告。系统采用三智能体协作架构:Planning Agent 负责任务分解与规划、DeepSearch Agent 负责多轮搜索与信息抽取、Report Agent 负责生成结构化研究报告。
针对广告转化率(CVR)预测中 Deep Hierarchical Ensemble Network (DHEN) 的工程实践问题,本文提出了以 DHEN 为统一 backbone 的多任务学习框架,同时预测多种 CVR 任务。
推荐系统长期存在两个独立范式:多域特征交互模型(建模类别特征相关性)和序列模型(捕捉用户行为动态)。本文揭示了朴素统一两者会导致“序列坍塌传播(SCP)”——非序列域的维度不匹配导致序列特征的维度坍塌。