IntHQ: Task-Interactive Hierarchical Query on Dual-Stream Representations for Generative Recommendation

1. 问题与动机

多任务推荐通常把一段用户行为编码成一个共享表示，再在末端接 CTR、转化、目的地或其他任务 head。论文认为，这种范式在生成式推荐中会出现三类坍缩。Source collapse 是任务信号注入太晚，任务相关信息在共享压缩时已经丢失；relation collapse 是任务间依赖被 backbone 隐式吸收或被固定 funnel 锁死；hierarchical collapse 是不同任务需要不同层次的特征，却被迫从同一深度读出。

作者以地图和出行推荐为例：一次会话同时决定何时出发、去哪里、如何出行以及途中经过哪个 POI。Where 依赖当前会话和即时场景，When 依赖长期周期，How 可能受出行模式和目的地共同影响，Via 则依赖具体路线和沿途兴趣。把它们压进一个 task-agnostic 向量会让主导任务占据容量，弱信号无法恢复。论文因此不只改 loss 或多任务 head，而是把任务身份放入 encoder 早期，并允许任务彼此交互、从不同深度检索信息。

2. 方法详解

IntHQ 采用 context stream 与 task stream 双流结构。原始行为被组织成场景 token、item token、feedback token，另外加上长期用户 profile token。每个会话附加四个可学习 task token，对应 when、where、how、via。task token 和 context token 使用分离的参数，不让同一套 attention 权重同时承担行为压缩和任务查询两种互相冲突的角色。

每层先在 context stream 内做标准因果 self-attention，得到对历史和场景的上下文摘要；并行地，每个 task token 对 context stream 做 task-to-context cross-attention，Q/K/V 的 task 侧投影只受 task stream 梯度更新，context 的 K/V 来自当前层输入。随后 task token 之间再做带因果约束的 self-attention，从而允许任务信息互相影响，但不允许未来标签泄漏。因果索引同时处理跨会话可见性和会话内顺序，例如 where 的信息可以影响 via，反过来不能让前置决策看到后置结果。

Task-Interactive Modeling 是任务流内部的显式交互层。它不预设固定的任务顺序，而是根据当前会话让 task token 通过 attention 学习动态关系。这样，通勤场景中目的地可能强烈约束交通方式，旅游场景中目的地不确定时这种关系会变弱。这个设计把“任务之间有关系”从一个静态结构变成输入依赖的权重。

Hierarchical Querying 在每一层保存 task stream 的状态，形成从浅到深的 task representation bank。对任务 k，使用任务 embedding 构造 query，把每一层状态加上对应的 depth embedding 作为 key/value，通过 softmax 在深度轴上加权，得到最终 task representation。浅层更保留当前会话的高分辨率信号，深层更适合长期规律；每个任务、用户和会话都可以选择不同深度，不再强制统一读最后一层。

每个任务有自己的 InfoNCE loss，小标签空间的 when/how 可用全类 softmax，where/via 这类 POI 空间则使用正样本加采样负样本的 sampled softmax，最终损失是各任务损失之和。训练数据 IntTravel 来自真实地图与导航平台，约 4.1B 交互、163M 用户和 7.3M POI，覆盖四个耦合任务。实验还将 encoder 深度 L 从 2、4、8、16、32 和宽度 D 从 24、48、96、192、384 做网格扫描。

在线部署把重计算移出请求路径：离线任务从原始日志预构建用户的 session structured history，写入 KV store；请求到来时按 user ID 取回 prefix，在 GPU 节点打分，where/via 的表示再去 POI ANN 索引检索；反馈回写日志用于下一轮训练。生产配置能处理长度 300 的序列，其中包含最近 100 个行为，在 150 张 96GB GPU 上支持峰值 30K QPS。

3. 核心技术贡献

第一，DSD 把 task token 从第一层注入并使用独立 attention core，直接缓解共享表示带来的 source collapse。第二，TIM 用输入依赖的任务间 attention 取代固定 funnel，能表达目的地、交通方式、出发时间和沿途 POI 的条件关系。第三，HQ 在深度轴做任务特定的查询，让即时意图和长期偏好分别从更适合的层读取。

这些贡献不是简单增加参数。作者的 pilot 分析显示 fine-grained retrieval 任务通常在第 1–3 层更可解码，而 coarse intent 更依赖第 5–7 层；这解释了为什么单一末层表示会牺牲任务差异。消融也表明，去掉 DSD 会在四个任务上普遍下降；去掉 TIM 对 when/where 影响较小，却明显伤害 how/via，符合任务依赖的解释；去掉 HQ 则四个任务都会降，说明层级选择本身不可省。

4. 实验结果分析

IntTravel 的任务规模和离线结果如下。以 PLE head 为例，IntHQ 的 when accuracy 为 0.8348、how accuracy 为 0.6907、where HR@1 为 0.6842、where HR@5 为 0.8707、via HR@1 为 0.6839、via HR@5 为 0.8706；相近的 shared/one-stream 编码器通常在 when 约 0.831–0.833、how 约 0.57–0.677、where HR@1 约 0.64–0.695、via HR@1 约 0.65–0.705，IntHQ 尤其改善了依赖任务和细粒度 POI 任务。

消融表更能说明机制：

DSD 的缺失造成全局且一致的下降，证明任务信号如果晚注入会在源头丢失；TIM 的缺失主要伤害 How/Via，说明显式任务交互确实在承担条件依赖；HQ 的缺失让所有任务下降，说明不应把最后一层当成所有任务的统一最优表示。深度/宽度扫描中 L∈{2,4,8,16,32}、D∈{24,48,96,192,384} 均呈现随容量增加而变好的趋势，双流结构不需要随规模变化重新设计。

工业部署结果是论文最强的证据。高德线上每个 bucket 使用 20% 流量进行 7 天 A/B，IntHQ 的 UVCTR 相对提升 1.60%，而且按日切片稳定。服务当前已全量上线，平均 RT 40ms，P99 RT 100ms，峰值 30K QPS，序列长度 300，部署在 150 张 96GB GPU 上。这个结果说明结构设计不只是离线指标优化，而是可以嵌入大规模用户序列和 POI ANN 服务。

5. 局限与未来方向

论文主要把实验集中在地图出行场景的四个耦合任务，虽然使用了大规模真实数据和线上 A/B，但没有证明同一组 task token、可见性规则和 head 设计能直接迁移到内容推荐、广告或社区搜索。任务数量固定为四个，任务之间的标签关系也相对清晰；在动态新增任务、强噪声标签或任务目标冲突更大的平台上，TIM 的稳定性需要额外验证。

论文还显示容量增加能继续改善指标，但没有给出更完整的成本—收益曲线；150 张 GPU、30K QPS 的部署规模对中小团队并不轻。作者把重计算移到离线 KV 和 GPU 服务，解决了请求时延，却增加了用户序列更新、模型发布、索引同步和特征新鲜度运维。可能的外部局限是：InfoNCE 的负采样仍影响长尾 POI 的学习，且 UVCTR 提升不等于长期留存或多样性一定改善。

6. 工业实践意义

对社区推荐，IntHQ 提供了一个比“共享底座加多个 tower”更具体的多目标建模路线。可以把 CTR、长停留、收藏、负反馈、搜索后点击等任务各自变成 task token，context stream 负责压缩用户历史，task stream 负责按目标查询；对强耦合目标再允许 task self-attention，而不是用固定的串联 funnel。不同任务的最优深度可通过 probe 或可学习的 depth attention 找到：即时 query 意图可能偏浅层，长期兴趣和稳定偏好可能偏深层。

工程上应先离线物化用户 session history，在线只取可版本化的 prefix，再做 GPU 打分和 ANN 召回；对于短文本 UGC，序列 token 可以同时编码内容、场景、反馈类型和时间间隔。上线验收不能只看平均延迟，至少应复现论文的 sequence length、QPS、平均 RT/P99 以及模型刷新周期。若资源有限，可先在精排而非全召回层试双流结构，逐个增加任务，并用每任务离线指标、跨任务负迁移、长尾覆盖和线上 UVCTR 共同决定是否扩大流量。