Query-Mixed Interest Extraction and Heterogeneous Interaction: A Scalable CTR Model for Industrial Recommender Systems
HeMix 面向工业级 CTR 排序,提出 Query-Mixed 兴趣抽取模块,联合建模上下文相关与上下文无关的用户兴趣;并用 HeteroMixer 模块替代自注意力,高效完成跨特征的异构交互。在高德(AMAP)平台相对 DLRM 基线线上取得 +3.61% GMV、+2.78% PV_CTR、+2.12% UV_CVR,且随模型规模增大精度稳定提升,展现良好的 scaling 行为。
INSIGHT把'用户兴趣抽取'与'特征交互'放进同一 backbone,用 query-mixed + HeteroMixer 统一处理,避免传统 DLRM 中两者割裂。对社区搜索排序的借鉴:上下文相关(随 query/场景变化)与上下文无关(用户稳定偏好)兴趣分离建模,有利于短文本 query 下的个性化排序;HeteroMixer 替代自注意力是控制异构特征交互算力的实用手段,其 scaling 表现也说明该结构能吃下更大模型容量。