1. 问题与动机

GenLI 针对工业级 CTR 预估中超长用户行为序列建模的两阶段范式 (GSU 检索 top-k 行为 → ESU 注意力建模) 提出三个具体失效模式。第一，target-centered 的 GSU 只检索与目标 item 相关的行为，"ignore other latent user interests"，导致兴趣特征不完整且有偏。第二，基于 pairwise 相似度的匹配检索需要把目标 item 与每条历史行为逐一打分，随着行为序列增长 (工业数据集序列长达 1000) 在线服务计算开销不可承受。第三，pairwise 架构"overlook the interaction information among user behaviors"，丢失行为间交互信号。论文用 Meituan 广告系统的生产规模佐证问题严重性：240M 用户、1.1B 样本、序列长度达 1000，TWIN 这类 SOTA 在该规模下检索延迟成为瓶颈。这使得"如何在不牺牲精度的前提下把长序列检索复杂度降下来"成为亟待解决的工业问题。

2. 方法详解

GenLI 由三个模块组成。兴趣生成模块 IGM：从近期行为 (l=10~100) 生成三个目标无关的兴趣分布。显式兴趣 p^E 直接拟合用户点击，损失 ℒ_explicit = -∑ 𝕀_{y=1} log s(t_i, p^E)；隐式兴趣 p^I 建模平台曝光但无反馈的 item，损失 ℒ_implicit = -∑ log s(t_i, p^I)；相对兴趣 p^R = softmax(p^E − p^I) 编码点击与曝光的差异、刻画决策动态。生成过程用多头注意力 h = MHA(Q_G, K_G, V_G)，其中 Q_G=[e_1, e_q] (当前行为 + 可学习 query)，K_G=V_G 为近期行为序列，再 p = softmax(MLP(h))，输出维度 N=4096。行为检索模块 BRM：用一次查表实现 O(1) 打分，s(b_i, p) = LOOKUP(b_i, p) = p_{ID(b_i) % N}，对每个分布取 top-20，三分布共 K=60 条行为 (与基线对齐)。兴趣融合模块 IFM：对每类兴趣分别用 MHA 聚合 z^I = MHA_F(e_t, 选中行为, 选中行为)，再门控融合 g=σ(MLP(z^F))，x_l=(g⊗z^F)W^g，z^F=concat(z^I,z^E,z^R)。端到端训练 ℒ = ℒ_ctr + α·ℒ_implicit + β·ℒ_explicit (α=β=1.0)，Adam lr=0.001，batch 256，正负 1:1，整体复杂度 O(L + (l+K)d_h) ≈ O(L)。

3. 核心技术贡献

(1) 首个把生成式方法引入 CTR 长期兴趣建模的工作——用"生成目标无关兴趣分布"替代"目标-行为匹配检索"，从范式上消除了在线 pairwise 打分。(2) 把逐行为打分复杂度从 O(d_h) 降到 O(1)：BRM 的模哈希查表把昂贵的相似度计算退化为可缓存的索引操作，这是延迟收益的根本来源。(3) 三类兴趣分布 (显式/隐式/相对) 显式建模"点击 vs 曝光"差异，缓解 target-centered 检索的兴趣偏置，消融显示移除 p^E 在 Amazon 掉 2.17%、TaoBao 掉 1.88%，是贡献最大的分布。(4) 可插拔设计：x_l 与短期特征、side info、目标 embedding 拼接进下游 MLP，无需重训下游即可替换现有 GSU/ESU。

4. 实验结果分析

三数据集：Amazon (75K 用户/100 序列)、TaoBao (988K/500)、Industrial (240M/1000)。离线 AUC：GenLI 在 Amazon 0.7564 (vs TWIN 0.7503，+0.61%)、TaoBao 0.9552 (vs 0.9449，+1.03%)、工业集 0.7463 (vs TWIN 0.7441，+0.22%)。消融：移除 p^E 影响最大 (−2.17%/−1.88%)，p^I 次之 (−1.31%/−1.46%)，p^R 最小 (−0.42%/−0.27%)，验证三分布层级贡献。检索数 K 敏感性揭示关键现象——K=15 时 GenLI 比 TWIN +1.65%，K=75 时仅 +0.88%，说明 GenLI 在检索预算受限时优势最大 (恰是在线场景)。推理效率：每 8192 样本 GenLI 4.6ms，TWIN 7.9ms，SIM-soft 6.8ms，比 TWIN 快 41%。在线 A/B (6 天、30% 流量) CTR +0.776%、RPM +1.567%，带来显著营收增长。

5. 局限与未来方向

作者明确承认的局限：(1) 开放数据集 (Amazon/TaoBao) 缺曝光日志，用"序列中采样一个相近 item"近似曝光 item 来训练 p^I，是 p^I 训练的噪声源。(2) 分布维度 N=4096 是碰撞概率与计算开销的折中，超过该值性能饱和。(3) IGM 依赖近期行为 (l=10~100) 生成分布，超过 ~100 条收益边际、成本上升。(4) 三类兴趣是领域特定设计，迁移到其它场景需重新设计。(5) 模哈希 (ID % N) 缺乏哈希碰撞对检索质量影响的形式化分析——这是最值得后续补强的理论缺口。

6. 工业实践意义

对搜推从业者最直接的可借鉴点：把"目标-行为匹配检索"重构为"目标无关兴趣分布生成 + O(1) 查表"，在序列长达千级时把检索延迟降 41%，且越是在线检索预算受限 (K 小) 收益越大——这正契合社区 feed/搜索排序的长行为建模痛点。已在 Meituan 广告系统生产部署 (240M 用户、1.1B 日样本)，模块可插拔、不需重训下游，落地复杂度低。在线 RPM +1.567% 对 CPC 计费模型直接转化为广告营收，CTR +0.776% 可迁移到内容点击场景。需注意的部署权衡：O(1) 查表牺牲了哈希碰撞的可解释性换取延迟，生产系统中可接受；隐式兴趣 p^I 依赖曝光日志，若平台无完整曝光埋点需先补数据基建。建议先在离线/长尾场景验证三分布设计，再灰度替换现有 SIM/TWIN 检索链路。