1. 问题与动机
论文针对 LLM 序列推荐的三个具体失败点:完整历史会混入误点和随意探索;既有方法通常只用长期、短期或协同偏好之一;分别罗列多种偏好既增加 token,又没有帮助模型理解它们的关系。作者提出 UCGRec,先筛选与目标用户高度相关的时序与协同信号,再统一成用户中心图并注入 LLM。与 TALLRec、LLaRA、A-LLMRec、LLM-SRec 相比,它把多偏好之间的结构关系而非单一 item embedding 作为核心。
2. 方法详解
给定用户序列 Su=[i1,...,in],长期偏好不是随机抽样。作者先让 LLaMA 3-8B 根据 item 标题生成包含类型和摘要的描述,再用 Sentence-BERT 编码为向量;对每个 item 计算它与序列内所有 item 的平均余弦相似度,取 top-k 构成长周期兴趣。短期偏好直接取最近 r 个 item。
协同分支把所有用户的相邻 item 转移构成加权有向全局图,边权是转移频次。从目标用户的每个节点出发做 m 次长度 z 的游走:以 α=0.6 选择最高边权邻居,否则随机选择,从而兼顾强关系与多样性。长期、短期和协同序列与原序列节点连接,重合转移增加边权,形成局部用户图。
注入阶段以 SASRec 的 64 维 item embedding 初始化节点。GNN 按边权聚合邻居,MLP projector 映射到 LLM token 空间,再把 embedding 拼到长期、短期和完整历史的 item token 后。联合更新 GNN、projector 和 LLaMA 2-7B 的 LoRA adapter。默认 k=r=3,m=6,z=10;LastFM 用 1-hop,其余用 4-hop;LoRA rank=8。Adam 学习率 3e-4,最多 8 个 epoch。Toys 的 batch/梯度累积为 1/128,MovieLens 和 LastFM 为 8/16,Steam 为 4/32。数据按 8:1:1 切分,过滤少于 20 次交互的用户,序列保留最近 10 条;测试候选为真值加 19 个随机未交互 item,温度为 0,五个随机种子取均值。
3. 核心技术贡献
第一,用语义一致性选择长期行为,避免随机抽样或全量历史把偶发点击当成稳定兴趣。第二,交互加权游走从全局图抽取目标用户相关协同路径,局部图比全局图小,也比预训练 item embedding 更显式。第三,长期、短期、协同偏好在同一图里通过加权边发生关系,再经 GNN 进入 token 空间。第四,端到端联合训练使模型真正使用结构 token;注意力分析显示最终层多个 head 对 UCGRec item embedding 的注意力高于 LLaRA。
4. 实验结果分析
四个数据集规模分别为 MovieLens 943 用户/1,682 item/100,000 交互,Steam 11,938/3,581/274,726,LastFM 1,220/4,606/73,510,Toys 97,682/45,497/118,940。
| 方法 | LastFM HR@1 | MovieLens | Steam | Toys | 平均 |
|---|---|---|---|---|---|
| SASRec | 0.2233 | 0.3444 | 0.4010 | 0.4157 | 0.3457 |
| TALLRec | 0.4974 | 0.4695 | 0.4356 | 0.4843 | 0.4717 |
| LLaRA | 0.4803 | 0.4758 | 0.4886 | 0.5133 | 0.4895 |
| UCGRec | 0.5447 | 0.4949 | 0.5040 | 0.5574 | 0.5252 |
UCGRec 四个数据集均第一,平均 HR@1 比 TALLRec 高 11.3%,比 LLaRA 高 7.3%,提升达到 p<0.05;有效输出率 0.96–0.99。消融中,仅长期、仅短期、仅协同的平均 HR@1 为 0.4995、0.4967、0.5027,三者融合为 0.5252。MovieLens/Steam 的长期分支更强,LastFM/Toys 更受近期流行影响,短期分支更有效。
长期筛选的完整框架结果为 0.5447/0.4949/0.5040/0.5574,超过随机长期抽样和全历史。协同分支中,用户中心图相对全局图从 0.4391/0.4765/0.4897/0.5179 提升到 0.5447/0.4949/0.5046/0.5574。LastFM 的局部图平均 192.22 节点,全局图 4,606 节点;训练每 epoch 77.82 分钟对 104.57 分钟,但仍高于 LLaRA 的 46.47 分钟;单用户推理 2.34 秒,与 LLaRA 2.31 秒接近。游走从 5 增至 10 有益,超过 10 后因吸收无关信息而下降。
5. 局限与未来方向
作者明确承认两点:依赖 LLM 带来更多参数和训练时间;当前只利用文本,没有纳入图片、类别等多模态信息。实验主评测每次只有 20 个候选,不能完全代表百万 item 在线排序;虽然补充 Hit@K、NDCG@K 和冷启动实验,仍无线上 A/B。用 LLaMA 3-8B 预生成描述也会给快速变化的 UGC 带来成本。未来应研究增量图更新、轻量编码器、多模态节点,以及全量候选和真实延迟预算下的验证。
6. 工业实践意义
社区搜索/推荐最可落地的是“先过滤、再结构化融合”。长期画像可由帖子主题、作者和文本一致性筛选;短期画像取当前会话查询、点击与停留;协同信号从 item 转移图有限步游走。三类信号形成小型用户图后,可先注入现有双塔或精排网络,不必直接部署 7B 模型。
消费方式决定参数:音乐、短视频增加短期权重;长文、课程或游戏扩大长期窗口。游走必须限长,z=10 后下降说明扩散过远会稀释个性化。工程上应缓存局部图和 item 描述,增量更新近期行为,监控节点数、构建耗时、推理延迟和冷启动覆盖。37.1M 可训练参数的 LoRA/GNN/projector 比全参训练现实,但约 2.34 秒/用户仍远高于常规推荐 SLA,更适合作为离线蒸馏教师、候选重排器或高价值低 QPS 场景。