KuaFu: Compressing Long User Behavior into Understanding at Billion Scale

同一件内容被很多用户看过，KuaFu就只压缩一次，再把这些压缩结果拼成各自的行为历史。这样，兴趣提取、职业画像和人生阶段识别可以复用物品侧计算。腾讯的目标是让十亿级用户的长历史画像更便宜，也更快更新。

1. 问题与动机：重复发生在用户与任务之间

传统画像往往按任务独立建设。内容兴趣读一遍用户历史，电商兴趣再读一遍，职业识别还要重新读取。即使这些任务都用大模型，同一物品的文字仍然被不同用户、不同任务反复编码。

直接压缩整段用户历史也有代价。历史变长或新增行为后，可能需要重新生成摘要；少量向量还可能丢掉罕见兴趣和时间关系。论文记录了编造、遗漏、日期归错和推理断裂几类错误，说明压缩是否成功不能只看最后的推荐指标。

KuaFu把共享计算的位置前移到物品侧。公共内容负责共享，动作和时间顺序在用户侧重建。它是一套离线理解与画像更新系统，不是要求每次线上排序都调用大模型。

2. 方法：物品压缩、紧凑缓存、按时间解读

压缩器先读取单件物品的文本，在末尾追加可学习的记忆标记。模型把文本信息写入这些位置的隐藏状态。这里的记忆标记是训练得到的连续向量，不是给物品分配的离散商品编号。

紧接着，投影器同时压缩两种维度。一种减少向量个数，另一种降低每个向量的宽度。论文给出的例子，是把8个记忆向量减为2个，把宽度从2560减到128。缓存只保存压缩核心，需要解读时再用轻量投影恢复到解码器可接收的宽度。

训练初期还有一条池化残差，帮助优化稳定。它逐渐衰减，前一阶段训练结束后不再依赖完整隐藏状态。这个细节很关键：若服务时还必须读取原始宽向量，低维缓存省下的空间就不能真正兑现。

解码器接收按时间拼接的物品表示，以及普通指令、动作等文本信息。它可以回答用户兴趣问题，也可以生成结构化画像。物品表征共享，并不意味着不同用户最终拿到相同的画像；用户消费了哪些物品、以什么顺序和动作消费，仍然决定输入。

训练分四阶段推进。先让冻结的解码器从记忆中重建原文，训练压缩器保留基本信息；再加入问答任务和投影器，让记忆保留用户理解需要的证据。随后联合更新压缩与解码两端，使接口彼此适应。

最后用强化学习减少幻觉。此时冻结压缩器和投影器，只更新解码器。奖励既惩罚几种具体错误，也奖励回答完整度，防止模型靠少说话来规避错误。奖励判断仍会对照原始文字，而非只在压缩结果内部自我检查。

长序列训练还按难度逐步增加物品数量。消融显示，把所有长度一开始混在一起，会让优化停滞；不同阶段继承参数，也有助于避免训练损失下降而验证误差上升。学习如何压缩与学习如何读压缩输入，需要同步安排。

3. 核心贡献：缓存能否共享，取决于表示依赖什么

KuaFu的共享收益来自物品表示不依赖具体用户和目标任务。物品变了才需要更新物品缓存，用户新增互动则主要改变拼装后的序列。这让表示库随物品规模增长，而不是为每个用户、每个任务各存一套长历史表示。

论文强调的另一点是直接检查保真。它除了看画像准确率，还测试压缩后能否找回藏在长历史中的事件，以及能否避免把事件日期和结论弄错。这些中间指标比等待完整线上实验更快暴露压缩损伤。

不同“压缩倍数”对应不同对象。按向量元素数计算，上述投影前后为8×2560和2×128，两者比值是80。与原始文本输入相比，解码器看到的序列缩短又是另一种口径。存储、文本长度和整条服务成本不能混在一个倍数里。

4. 实验：效率如何转化为更新质量

下面选取四个生产指标。F1衡量兴趣提取的查准与查全，分类准确率用于相对稳定的画像属性；它们不是同一个任务的统一分数。

内容兴趣任务的单卡吞吐从每分钟40个请求升到180个。按(180−40)/40计算，增加350%；也就是原来的4.5倍，而非3.5倍。论文报告多个任务合计节约190张解码侧GPU，不能把单一任务的倍数套到全部硬件。

公开推荐评测里，压缩后的4B模型超过同规模骨干，说明收益不只来自增大模型。但在CDs子集它也出现退步，这提示压缩优势会随领域变化。通用阅读理解和私有画像任务各有自己的协议，不能把不同评测的提升数字拼成一个统一效果。

强化学习评测中，编造率从33.5%降到4.5%。完整回答程度基本维持，支持奖励不只是把模型训练成少答。评分依赖模型裁判，论文另给人工评审与第二裁判的一致性分析；这比只用训练奖励报告成功更有说服力，但仍不等于所有生产错误都被覆盖。

线上按独立访客随机分组，并保持相同资源预算。实验组用压缩省下的资源把历史覆盖拉长、画像更新加快；整体GMV提高1.37%，置信区间为正。对照组仍是较短历史、较慢刷新，因此这个结果支持整套画像升级，无法单独归因于投影器或某一个训练阶段。

5. 局限：共享表示也会固化取舍

作者指出，目前不同任务族使用固定压缩比例，内容差异很大时未必最合适。信息密集的物品可能需要更多记忆空间；极短内容则可能不值得分配同样预算。自适应压缩仍是未来工作。

工业日志和生产训练数据不能公开，外部只能复核公开基准及已披露的实现细节。部分私有任务用大模型打分，也会继承裁判的偏差。数字看起来覆盖多个任务，并不意味着它们都是独立人工标注的客观真值。

工程上还要考虑缓存版本。物品内容更新、压缩器升级或解码器接口改变后，旧向量是否仍兼容，需要明确策略。跨用户复用降低重复计算，也放大了单个物品缓存错误的影响范围。这是从架构推导出的部署注意点，不是论文报告的线上故障。

6. 工业实践意义：从重复编码最严重的地方切入

对社区帖子、商品和视频，如果同一内容频繁出现在不同用户历史里，可以统计重复文本编码占比。以物品为键复用表征是否划算，取决于真实共享率、内容更新频率和向量存储成本，不能只看用户数巨大。

评估时可并列检查兴趣标签、时间归属和证据找回。一个表示也许足够判断职业，却不足以回答最近为何点击某类帖子。任务粒度的保真测试能决定哪些画像适合共享压缩，哪些仍需读取原始证据。

上线实验应把表征、历史覆盖与刷新周期作为清楚的变量。先固定其中两项观察第三项，再考虑组合升级，才能解释节约的资源究竟通过什么路径改善结果。KuaFu提供了把算力节省转成更新能力的实例，也提醒我们将效率指标与业务因果归因分开。

原文：https://arxiv.org/html/2609.31045v2 。首次发表于2026年9月25日，本期发现的是10月更新版；计算示例与部署建议为本文分析。