LLM4AIGQ: LLM-based AI Guidance Query Generation Framework for Multi Interest Mining

原文：LLM4AIGQ: LLM-based AI Guidance Query Generation Framework for Multi Interest Mining。作者来自阿里、华中科技大学与南开大学，首发于2026年9月3日。以下实验数值来自正文第4、5节及表1—4；业务迁移建议为本文分析。

1. 问题与动机

这篇论文解决的是购物助手入口的“用户还不知道该问什么”。系统根据用户资料和行为，主动展示若干导购问题，用户点击后启动商品咨询。推荐对象是可执行的自然语言问题，而非商品ID或最终搜索结果。既有链路先用多个召回通道推断用户的主查询，再通过规则改写为导购问题；作者认为这一中间查询会丢失上下文，且过度依赖用户与商品的共现，容易只覆盖最显眼的单一兴趣。

例如，近期行为同时涉及家电与运动装备时，系统需要拆分兴趣并解释其购买意图，再分别生成有信息增量的问题。仅将整段历史交给大模型，既可能被高频商品词牵引，也可能产生与购买意图无关的新颖表达。论文特别强调导购问题没有唯一标准答案，因此不能只靠文本相似度训练，也不能只靠大模型规模解决问题。

正文提供了支持这一判断的离线现象：未经领域适配的Qwen3-30B-A3B在其加权相关性协议下NDCG@10为0.1754，Qwen3-235B-A22B为0.1641，教师DeepSeek-V4-Pro为0.1582。作者将大模型相关性较差部分归因于更倾向生成新颖问题；这是一种解释，并非已由独立因果实验完全证实的结论。

2. 方法详解

整体链路由内容压缩、单兴趣SFT、多兴趣强化学习、DPO以及近线服务组成。用户上下文包含相对稳定的画像和最近50次交互；行为保留序号、距当前的时间、行为类型与内容。搜索行为使用查询词，其他行为使用商品标题。论文的数据定义列出点赞、收藏、加购、购买和搜索等类型，近线触发示例还包含点击。

内容压缩使用商品原标题、CPV属性和品牌类目信息，生成保留核心卖点的短标题。教师DeepSeek-V4-Pro提供目标文本，Qwen3-30B-A3B学习该任务。短标题不只是节省上下文：作者在案例中发现，输入标题的长度和表达方式会影响输出问题的冗长程度，因而清理营销词也改变了后续生成的风格。

SFT阶段先让教师将混合历史拆成时间有序的单兴趣子序列，每条样本只保留某个兴趣及相应导购问题。优化仍采用目标文本的自回归负对数似然。作者的关键选择是先让学生学会“怎样表达一个好的问题”，把多个兴趣之间的取舍留到后续阶段；直接用混合兴趣做SFT容易让模型围绕主兴趣反复生成，低频兴趣得不到充分学习。

强化学习阶段恢复混合历史，并要求模型按三步推理：最多拆出三个兴趣子序列；为各兴趣推断消费意图和可能的下一物品；每个兴趣生成三个问题及归一化置信度，最终输出JSON。奖励按四层组织，而不是给整段输出一个笼统评分。

思考层检查三步结构和JSON字段，并比较学生、教师的兴趣拆分。匹配算法用动态规划，在保持兴趣顺序的前提下选择跳过教师兴趣、跳过学生兴趣或匹配当前两者，取累计得分最大路径。配对分数以行为重合的Dice形式衡量一致性，并乘以两子序列总长度的对数，使较主要兴趣的对齐获得更高权重。最终匹配奖励将行为重合度与兴趣标签的语义相似度相乘，再在配对集合上取均值，标签编码器为mge-small。

问题层有长度和导购价值奖励：问题不超过15个汉字；人工标注训练出的评审模型给S、A、B三档，分别映射为1、0.5和0。兴趣层用学生预测置信度加权问题与教师参考问题的语义相似度，以Type-Token Ratio鼓励表达多样，并要求每组恰好三个问题。全局层对每组问题向量均值求两两相似度，用一减去组间平均相似度奖励跨兴趣差异。

各奖励加权后进入GRPO：在同一输入的八个采样输出内标准化奖励形成优势，再用裁剪策略比值与KL约束优化。权重依次为思考格式0.5、兴趣匹配2.0、长度0.2、价值0.8、语义0.5、风格0.3、数量格式0.2和跨兴趣差异0.5。最重的兴趣匹配信号也与后文消融中较明显的相关性下降相呼应，但奖励权重本身不能作为贡献大小的证据。

DPO阶段让线上输出摆脱显式思考。用RL模型的思考模式生成答案，去掉推理过程，作为偏好正例；负例中70%来自RL检查点的非思考输出，30%来自基础模型。对正负答案计算语义相似度，删去相似度最高的30%配对，减少难以区分的监督，再用标准DPO目标扩大正负答案的相对概率差。这里所谓“蒸馏”通过答案偏好实现，并没有逐步复制教师的推理文本。

训练数据来自2026年6—7月淘宝、天猫日志：短标题任务8000条，5000条高活用户记录拆出11259条SFT样本，RL用3000条，DPO由5000条过滤至3500条，离线测试1000条。各阶段按不同时间分区取样。SFT在4张H20上训练500步，每卡批量2、梯度累积8、LoRA秩16、学习率1e-5；RL使用ROLL、16张H20、100步、学习率1e-6和vLLM；DPO在4张H20上做500步LoRA训练，梯度累积4。输入与输出上限分别为8192和2048。正文没有清楚给出优化器种类及DPO全部超参数，不能将未披露部分补成默认配置。

3. 核心技术贡献

第一，训练任务按难度拆分。单兴趣SFT把表达学习与兴趣选择分开，多兴趣RL再学习历史拆分和意图推断。完整单兴趣分支的NDCG@10为0.2377，混合兴趣分支为0.2364，差距较小；在SFT阶段二者为0.1956与0.1914。结果支持这一路径在本文设置下有效，但不能据此声称单兴趣训练带来数量级提升。

第二，奖励覆盖中间依据与最终产物。行为子序列对齐检验“为什么推荐这个问题”，价值评审检验问题是否有导购意义，局部及全局多样性分别约束同兴趣内的措辞和跨兴趣的内容。这比只对最终文本做偏好排序更便于诊断：思考奖励被移除时，相关性受损最大；问题奖励移除时，高价值问题比例下降更明显。

第三，偏好配对本身需要筛选。单兴趣完整模型的NDCG@10为0.2377，去掉配对过滤后为0.2182。模型可以在不输出思考链时保留较多推理训练收益，但DPO并没有在所有评测上继续提高质量，评审胜率反而比RL阶段低，体现了不同指标之间的取舍。

第四，训练与部署共同控制时延。短标题压缩减少输入负担，DPO减少显式推理输出，近线缓存进一步将秒级生成移出实时请求路径。可迁移的重点是这几个环节如何连接，而不是直接套用某一模型规模。

4. 实验结果分析

表1的相关性实验每条样本保留最近10个交互物品作为正例、从全物品池随机取500个负例，再按生成问题与物品的语义相似度排序。指标还用历史与正例的平均语义相似度进行样本加权。因此，下表反映的是论文特定抽样和加权协议，不等价于全库检索，也不能与其他论文直接横向比较。

据表1计算，完整模型相对未适配的同底座，NDCG@10提高约35.5%，Recall@10提高约38.9%；这些相对变化是本文按表中数值计算的，不是线上收益。S档比例由64.05%升至86.16%，提高22.11个百分点。不同阶段均有收益，不过比较对象主要是零样本大模型与自有训练分支，不能当作同等领域数据训练预算下对所有推荐模型的胜出证明。

表3支持奖励的作用分工。移除思考层奖励，RL分支NDCG@10从0.2034降为0.1942，绝对下降0.0092；移除问题层奖励，S档比例从0.8360降至0.8168。移除兴趣层或全局层奖励后，NDCG@10分别为0.1972、0.2001，S档比例分别为0.8207、0.8195。所有组件都有效，但这里是组合系统内逐项删除的结果，不能简单相加各项损失。

偏好过滤也值得单独检查。单兴趣分支取消过滤，NDCG@10由0.2377降至0.2182，S档比例由0.8616降至0.8426；混合兴趣分支取消过滤，NDCG@10从0.2364降至0.2127。作者认为语义过近的正负配对导致无效或不稳定学习。论文没有进一步完整比较按真实偏好分歧而非语义相似度筛选，因此过滤规则仍有改进空间。

效率实验取100条测试样本比较标题压缩。输入从3210约降至2350 token，报告降幅26.8%；响应时间由3.18秒降至2.84秒，减少10.7%；首token时间仅由114降至110毫秒。主要变化在总生成时间，不能把2.84秒误写成线上推荐接口时延。

表4使用Gemini-3.5-Flash做位置随机化的答案两两评审。相对教师，基础模型胜率34.63%，SFT后50.25%，RL后57.53%，DPO后54.95%。DPO虽然提升表1的非思考模式相关性，却在综合评审上低于RL，说明不能用单一指标概括“质量完全无损”。这还是模型评审，不是人工用户满意度实验。

线上实验覆盖天猫导购、搜索和商品详情页：10%流量阶段uCTR相对提高4.46%；扩至40%流量后，六天验证为相对提高2.53%。两个阶段基线、流量组成和周期可能不同，不能把变化直接解释为效果衰减。正文未给用户总数、置信区间、显著性或转化率结果，应把它视为作者报告的点击收益，而非已经核验的GMV或长期留存收益。

5. 局限与未来方向

论文没有独立的局限性章节，结论也未系统列出未来工作。作者明确讨论的边界包括：导购任务没有通用评价指标；复杂兴趣使未来正样本与历史兴趣可能不一致；大模型偏好新颖表达可能损害相关性；偏好答案过于相似会削弱DPO学习；去掉思考链后综合评审胜率有所回落。这些是正文给出的观察，不能扩写成作者未声明的结论。

进一步看，私有日志、私有标注及教师调用使复现门槛较高。1000条离线测试采用随机负采样和语义置信度加权，可能弱化兴趣突然变化的样本；这是对评估方式的分析，需要单独分桶验证。奖励中的语义相似度、价值评审和后续评价可能存在共享偏好，应以独立人工判断和真实点击验证其泛化。

线上服务的更新阈值N、缓存过期策略、生成失败回退、在线延迟分位数及完整资源消耗均未充分披露。论文的线上规模表述无法替代这些工程数据。未来若复现，优先补齐不同活跃度、冷启动、兴趣转向用户的结果，并比较轻量生成模型与简单规则建议的增量价值。

6. 工业实践意义

对社区UGC搜索，最直接的试验是生成用户可能愿意继续探索的问题：以帖子、问答、收藏、搜索历史形成兴趣分组，每组产生少量有明确内容依据的追问或建议。这里需要将导购价值判据改成社区任务完成度、信息价值和与真实帖子的可关联性；广告式措辞或购买导向不应照搬。真正的用户意图仍应以当前查询为主要依据，历史只作为辅助。

实施时先建立单兴趣样本与可审计的兴趣对应关系，用小批量SFT验证建议是否比现有入口更有用，再决定是否投入强化学习。奖励可以借鉴四层分工，但其2.0、0.8等权重应通过本业务消融选择。DPO筛选也应记录被删除样本的类别，避免把语义近似但质量差异明确的配对一起移除。

线上可将预生成问题放在用户级缓存，在新增行为达到阈值时更新，实时请求只做读取、适用性过滤与排序。需要额外测量缓存命中、建议重复率、过期兴趣比例及P95/P99响应延迟；这些是社区上线所需的补充检查，论文未提供对应结论。无历史用户可保留已有入口作为回退，避免把推断不充分的建议强行个性化。

收益判断应分开观察建议入口CTR、点击后的搜索nDCG、有效阅读及负反馈。天猫uCTR的2.53%是其特定流量和六天窗口结果，不能转换为社区收益预期。该工作的实用价值在于展示了如何让兴趣拆分、偏好训练和近线生成形成完整系统，同时提醒实施者：离线检索分数、模型评审和线上点击衡量的是不同方面，必须分别验证。