Miles v0.1: Production-Level Post-Training
Miles 将后训练拆为 SGLang 采样、Megatron-LM 或 FSDP 训练,以及适配不同拓扑的三种权重同步通道,并支持 LoRA RL 与在策略蒸馏。报告在 64 张 GB300 上运行 GLM-5.2 744B-A40B 的异步智能体强化学习,前 30 个测量步骤的中位耗时为 263 秒。该数字是特定配置的运行记录,并非相对基线的加速比。
INSIGHT对社区 UGC 搜索,可借鉴采样、训练与权重同步解耦的结构,搭建查询改写或相关性模型的后训练实验。应先在小模型上验证 rollout 与训练概率的一致性,再比较同步开销和单位有效样本成本;大模型编码任务上的吞吐不能直接推导搜索 nDCG 或 CTR 收益。