University of IllinoisMaking Collaborative Signals Count: Graph-Aware Large Language Models for Sequential Recommendation
GALLM 针对 LLM 推荐器难以利用协同过滤信号的问题，把文本 token、物品 token 和全局共现关系组成协同图，并把 Text–Text、Item–Text、Item–Item 三类结构转成轻量注意力偏置注入 LLM。四个真实数据集上平均 HR@5 提升 9.76%、NDCG@5 提升 7.62%，且无需额外图编码器。
INSIGHT把全局共现统计直接变成注意力结构偏置，比把外部推荐器 embedding 粗暴拼接到 LLM 输入更稳健。落地时可先离线计算 item–item 共现矩阵，再只训练关系偏置与少量适配层；消融显示三类关系缺一都会降效，但 LLM 推理成本和数据泄漏风险需要单独压测。
1. 问题与动机
GALLM 关注 LLM 推荐器的结构性缺口：语言模型预训练擅长文本语义，却不会自然获得用户—物品交互中隐含的协同过滤（CF）信号。已有方法大致有两种做法：把外部推荐模型的协同 embedding 注入 LLM，或只在单个用户的行为序列内部建模。这两类方案分别存在表示不兼容和缺少跨用户全局模式的问题，尤其难以利用“很多用户共同消费过某两个 item”这种 item–item 依赖。
论文把这个问题放在顺序推荐里验证。四个数据集为 Amazon Toys、Clothing、Books 和 MovieLens-10M，用户数分别为 19,124、39,230、16,559、11,230，交互数为 165,247、277,534、151,928、165,126，稀疏度只有 0.0308%–0.1446%。序列按时间 8:1:1 切分，评估使用完整 item 空间而不是负采样，指标是 HR@5/10 和 NDCG@5/10。GALLM 在四个数据集上平均 HR@5 比最强基线提升 9.76%，平均 NDCG@5 提升 7.62%，说明协同信号并非可有可无的辅助特征。
论文的动机并不是给 LLM 再接一个图神经网络，而是把图结构转成 attention 内部的关系偏置，让预训练语言能力和全局行为结构在同一个信息流中交互。这样可以保留 LLM 的文本理解，同时让“共现越强的 item”在注意力计算中获得有依据的结构先验。
2. 方法详解
GALLM 首先构造 hybrid prompt。对历史中的每个 item，将标题或描述拆成 Text tokens，并在其后追加一个专门的 Item token。完整输入可以写成 instruction Text tokens 与多组（item 的 Text tokens + Item token）的串联。Item token embedding 可以从 SASRec 等推荐模型初始化，再用轻量 MLP 投影到 LLM 隐空间，从而给协同侧一个可用先验。
然后将 prompt 组织成异构协同图 G=(V,E)。节点分为 Text token 与 Item token，边分三种。Text–Text 边保留语言模型已有的语义依赖；Item–Text 边连接每个 Item token 和它自己的文本描述，负责 item 语义—协同对齐；Item–Item 边来自全局用户行为共现。对 item i、j，作者计算 C(i,j)=Σ_u 1(i∈S_u)1(j∈S_u)，再对高度稀疏且偏斜的频次做 equal-frequency binning，得到离散关系类别 r_ij。这样模型不直接学习每个巨大频次，而是学习“弱/中/强共现”等关系桶。
核心改动是 graph-aware attention injection。普通 attention logit 为 QK^T/√d，GALLM 变成 a~_ij=QK^T/√d+b^l_phi(x_i,x_j)。b 是按层学习的标量；Text–Text 使用 b_TT，Item–Text 使用 b_IT，Item–Item 则按共现关系桶使用 b_II,r。原始 causal mask 保留，只在可见位置加偏置。多层堆叠后，结构相关 token 的信息会逐层传播，效果等价于在 LLM 中形成隐式的多层图聚合，但不引入独立图编码器。
实验使用 LLaMA3 不同规模 backbone 做对照，并与 SASRec、LightGCN、BIGRec、LLMRec、CORONA、HeLLM、LLaRA、HatLLM、TCA4Rec 等比较。四个数据集的全空间评估在 4 张 NVIDIA RTX 5090 上完成，Item–Item 共现只使用训练集，避免时间泄漏。训练目标仍是 LLM 推荐的自回归目标，新增结构偏置参数量很小，主干结构不改。
3. 核心技术贡献
第一，论文把全局 CF 从“额外向量”变成 attention 的结构条件。LLaRA 等方法只注入协同 embedding，而 GALLM 让每一对 token 的交互类型参与注意力打分，因此能同时区分文本语义、item 归属和跨用户共现强度。
第二，三类关系实现互补信息流。去掉 Text–Text 会损伤语言语义；去掉 Item–Text 会切断 item token 与描述的对齐；去掉 Item–Item 则会损失全局 CF。以 Toy 为例，完整 GALLM H@10/N@10 为 0.0386/0.0206，去掉 T–T 后为 0.0353/0.0187，去掉 I–T 后为 0.0367/0.0191，去掉 I–I 后为 0.0375/0.0200，LLaRA 仅为 0.0365/0.0186。
第三，方法在不同 LLM 尺度上保持增益。LLaMA3-1B 在 Toy 上 GALLM H@10=0.0315，相比 LLaRA 0.0298；3B 时为 0.0386 对 0.0365；8B 时为 0.0461 对 0.0419。它说明结构偏置不是只对某个尺寸的模型有效，而是给不同规模 backbone 提供了稳定的协同先验。
第四，注意力模式发生了可解释改变。Toy 上 Item–Text 平均注意力从 LLaRA 的 0.0039 提升到 GALLM 的 0.0060，相对增加 54.2%；Book 上从 0.0053 到 0.0059，增加 10.0%。Item–Item 注意力也随共现强度提高，证明模型不是只获得数值收益，而是在按协同关系重排信息流。
4. 实验结果分析
主结果表明 GALLM 在四个真实数据集均胜出。部分数据如下：
| 数据集 | 指标 | 最强基线 | GALLM | 相对提升 |
|---|---|---|---|---|
| Toys | H@5 | 0.0232（HatLLM） | 0.0252 | 8.62% |
| Toys | N@5 | 0.0154（TCA4Rec） | 0.0163 | 5.84% |
| Clothing | H@5 | 0.0090（TCA4Rec） | 0.0096 | 6.67% |
| Books | H@5 | 0.0135（HeLLM） | 0.0157 | 16.30% |
| MovieLens | H@5 | 0.0376（G2Rec） | 0.0404 | 7.44% |
Book 上 H@5 的提升最大，可能与协同共现能补足文本描述不足有关；Clothing 的绝对提升较小，但所有关系消融仍会下降，说明稀疏度极高时即便弱信号也有价值。全空间评估比常见负采样更严格，也避免模型只在小候选池上获益。
消融实验把三种关系逐一去掉。Toy 上去掉 I–I 的 H@5 从 0.0252 降到 0.0244，N@5 从 0.0163 降到 0.0157；Clothing 上去掉 I–T 的 H@5 降到 0.0058、N@5 降到 0.0032，表明文本—协同对齐对跨模态语义较弱的数据更关键。完整模型还优于只注入协同 embedding 的 LLaRA，说明关系类型和位置比单纯追加向量更重要。
模型规模对比揭示另一个结论：放大 backbone 仍有收益，但结构注入同样有效。LLaMA3-8B 的 GALLM 在 Toy 上比 1B 更强，但相对 LLaRA 的提升也存在，说明结构偏置可以作为低侵入改造。论文没有报告线上延迟、显存峰值或工业 A/B，且共现图在真实大目录上可能很大；因此离线 HR/NDCG 不能直接换算成 CTR。
5. 局限与未来方向
作者在结论中明确提出下一步是研究更自适应的图构建策略，说明当前 equal-frequency bucket 的共现图仍是相对固定的。论文还没有解决动态兴趣、时间衰减、跨域 item 新增和在线更新的结构问题。四个公开数据集虽然覆盖电商与电影，但无法代表高并发、长尾极重、强实时的生产推荐。
从作者未充分展开的角度看，Item–Item 共现可能受到热门物品和曝光策略影响，若不做去偏，它会把平台已有的流量偏好重新写入 LLM。结构偏置加入每层 attention 后也可能增加长序列的显存访问；Item token 的初始化依赖外部推荐模型，冷启动 item 的 embedding 与共现边都可能缺失。生产上还需要对关系桶更新频率、隐私合规和跨业务迁移进行验证。
6. 工业实践意义
对社区 UGC 搜索/推荐，可以把 GALLM 的思路拆成不依赖 LLM 的第一阶段实验：先在训练集计算 query–post、post–post 或用户 session 的共现关系，按时间窗口和曝光校正分桶，再把关系桶转成精排 attention bias 或 pairwise feature。只有当结构先验在普通 Transformer/DeepFM 上带来稳定增益，才值得把同样的 bias 注入 LLM 推荐器。
如果采用 LLM，推荐的最小实现是：每条历史内容保留一个语义文本片段和一个协同 ID token；只训练 Item token embedding、relation bucket bias 和 LoRA/adapter；保留 causal mask；把共现统计严格限定在训练时间窗。上线时，近线更新 item–item 共现和热点衰减，在线只查小型关系桶，不要在请求内构造全图。
验证应覆盖热门/长尾、新老用户、短/长历史、跨主题 query，并同时看 nDCG、CTR、长尾曝光、重复率和延迟。论文的消融结果说明三类关系是互补的，但不是每个业务都需要完整三类：如果 UGC 文本质量差，先保证 Item–Text 对齐；如果文本很短但共现密集，Item–Item 可能更关键。最大的风险是把历史曝光偏差伪装成“用户偏好”，因此需要随机探索流量或反事实校正来构造更可信的共现图。
Alibaba
Zhejiang University
Google
Westlake University
Tencent
Indiana University
American Express