Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
论文在十亿级支付宝用户行为数据上研究用户表示学习的扩展瓶颈:原始行为文本继续扩展时收益递减,而 token 化容量如何随数据规模增长缺乏定量规律。作者提出 User Behavioral Densing Law,发现最小充分 token 化容量与输入 token 数的对数近似线性,并据此设计自适应变长 token 化方法 ALGN;实验覆盖多种数据源、token 化方式和下游任务,ALGN 优于既有基线。
INSIGHT工业用户建模的关键不只是堆长序列和大模型,而是让 token 化容量与行为数据规模匹配。对社区 UGC 推荐,可先按用户活跃度和行为来源估计最小充分容量,再用变长历史压缩替代一刀切的截断;这能把表示能力扩展与线上内存、序列长度预算绑定起来。