DuoLM: Fast and Effective Personalized Recommendation with Language Models
语言模型逐个阅读物品全文,在线推荐成本很高。作者把每件物品预先压成一个向量,再让排序模型结合用户历史和反馈打分;同一请求的候选共享历史缓存。在单张 H100 上,吞吐约为每秒 2.64 万个候选分数。
INSIGHT可复用的内容表示和个性化判断可以分开计算,再用同一个推荐目标联合训练。压缩模型只是第一步;把重复的历史预填充、输入传输和调度一起削掉,才会兑现端到端吞吐收益。