ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling
针对数十亿低活用户缺乏交互历史、LLM 在稀疏 profile 上推理不可靠且全量推理算力不可承受的问题,ScaleToT 先用 LLM 在小样本上构造带类型的 user-state chain(有界熵引导的 Tree-of-Thought 精炼),再用 SFT + OSIPO(Outcome-Driven Segment-Aware Implicit Reward 策略优化)把推理蒸馏进 student,最后迁移到轻量 profile encoder,使其余用户无需 LLM 推理即可获得推理信号。广告 LTV 场景在线 A/B 使 LT30 +6.738%,离线只对 7.32% 人群跑 LLM 推理,大幅压低算力。
INSIGHT给 LLM 推理 + 蒸馏到轻量 encoder 提供了一条可上量的路径:仅对 7.32% 高价值人群跑 LLM、其余靠 encoder 共享推理表征,把算力压到可接受范围。对低活/冷启用户建模,typed user-state chain 比自由文本 CoT 更可控;OSIPO 这类按 segment 给隐式 reward 的策略优化,值得在 LTV/留存类目标上借鉴。