原文：https://arxiv.org/html/2610.16415 。以下数据来自全文第 3、4 节，区分作者测量与迁移建议。
1. 问题与动机
工业推荐排序器常通过增加宽度、独立层数与数据规模提高质量，但这些轴会同时扩大参数与分布式训练成本。作者首先定位生产短视频多任务排序器的瓶颈：特征交互模块占据主要参数和训练时间。在 ZeRO-3、FSDP 一类分片训练中，每增加一个独立参数层，都可能引入参数 all-gather 与梯度 reduce-scatter；计算更深和需要同步更多参数因而被绑定在一起。问题并非简单的模型太大，而是独立参数块的数量使通信代价随深度增长。
CDS 因此问：能否保持有效计算深度，却减少独立参数层？这一出发点与单纯减少 FLOPs 不同。论文承接 Universal Transformer、ALBERT 和循环深度模型的参数复用思路，但把工业排序的通信成本拆开测量。生产任务包含参与度与满意度，部分尾部任务正例率低至十万分之一到万分之一，沿用已有多任务损失权重。这样的方法必须在稀疏业务目标、实际在线流量和训练吞吐之间一起评估，不能只看参数压缩率。
2. 方法详解
输入特征先变为同维度 token 序列，包含稠密、稀疏以及长短期行为特征。基线依次调用 L 个独立的特征交互块，然后接共享投影与各任务输出塔。CDS 改为 L' 个独立块，每块连续重复 C 次；有效深度为 L'×C，独立参数数量主要随 L' 变化。论文允许用 HSTU 点式注意力等实现交互块，论证并不依赖某一种块。输入层、共享投影和任务塔保持原设计，便于把实验聚焦在交互瓶颈。
每次迭代把上一步状态送进同一个块。关键不是直接以块输出覆盖状态，而是加入迭代内残差：新状态等于块对旧状态的变换加上旧状态。这个恒等路径让长链的梯度传播更稳定。块一旦完成 C 次循环，最终状态再交给下一个独立块。实现时应确认多次调用共享同一组参数，不能复制出多个数值相同却分别更新的模块。否则既改变方法，也失去优化器状态压缩的收益。
论文还比较跨迭代残差：每次使用链起点作为跳连来源，以及两类残差同时使用。实验支持优先采用迭代内残差，额外跨迭代路径没有稳定增加收益。压缩模式选择 L'=L/2、C=2，使有效深度与原来一致；更激进时可设 L'=L/6、C=6。质量扩展模式则固定 L'，只增加 C，让计算深度增长而参数不变。两种模式的比较目标不同：前者问等质量能节省多少训练成本，后者问固定参数下能多取得多少质量。
训练使用内部推荐框架、分片数据并行和分布式加速器集群，数据来自生产交互日志。线上每组实验持续 10 天，离线分类任务使用 AUC。全文没有公开可复现的精确样本量、集群卡数、批大小、优化器种类或学习率，不能据此补写完整训练配方。实践复现需要自行补齐这些条件，并记录参数驻留与重分片策略；循环复用能否节省通信，还要由实际执行轨迹确认。
3. 核心技术贡献
第一项贡献是把链长度作为明确的独立轴，而非笼统地说权重共享能压缩模型。固定独立块数时，重复次数提供更多非线性交互计算；在相同有效深度下，则用更多复用替代独立层。作者因此同时给出压缩和质量扩展两种工作区间，使方法可以围绕业务预算选择 operating point。
第二项贡献是通过残差消融证明共享参数本身不够。无残差压缩配置的第一任务 AUC 为 0.7622，相比基线 0.7635 下降 13 个基点；加迭代内残差后达到 0.7634，仅差 1 个基点。第二任务也从无残差的 0.6775 恢复到 0.6787，略高于基线 0.6786。这说明稳定优化是质量保持的必要部分，不能只复现循环而省略残差。
第三项贡献是系统测量：作者将总耗时分为前向、反向、优化器，再分为计算、内存及通信操作。结果把收益指向通信和参数更新，而不是把参数减少直接等同于计算量下降。这种证据能指导工程团队优先在通信占比较高的训练环境验证，而非预期所有硬件条件都等比例加速。
4. 实验结果分析
| 配置 | 参数变化 | 吞吐变化 | 离线质量 | 线上参与度变化 |
|---|---|---|---|---|
| 生产基线 | 0 | 0 | 两任务 AUC 0.7635 / 0.6786 | 对照 |
| 半深度共享、无迭代内残差 | 与共享压缩配置相近 | 与共享压缩配置相近 | 0.7622 / 0.6775 | -0.09%，95% CI [-0.18%, 0.00%] |
| 半深度、链长 2、有残差 | -26.6% | +6.4% | 0.7634 / 0.6787 | +0.06%，95% CI [-0.03%, +0.15%] |
| 六分之一深度、链长 6、有残差 | -44.4% | +12.3% | AUC 下降 9 个基点 | -0.04%，95% CI [-0.15%, +0.07%] |
这个表支持较温和压缩取得更好成本质量平衡，但不能证明参与度显著增加。尤其两组压缩配置的置信区间都覆盖零。更激进压缩虽然快，却牺牲更多离线质量，线上也没有给出确定的正向证据。因此生产决策应采用非劣阈值和成本收益联合判断，而不是对正的点估计做收益外推。
质量扩展实验以一层模型为归一化参考，独立层从 1 增至 6 时参数由 316M 增至 568M，训练速度降至 0.77 倍。三层模型共享两次保持 417M 参数，速度从三层原本的 0.92 倍降至 0.90 倍；相对三层模型，AUC 增加 3 个基点，线上参与度再增加 0.07%。与六独立层相比，共享配置 AUC 相对一层基线为 +10 个基点，对方为 +11，线上参与度点估计分别 +0.11% 与 +0.05%。该部分没有足够统计区间来支持两者显著优劣判断。
残差设计比较中，同时加入迭代间残差后第一任务 AUC 为 0.7633，第二为 0.6786；只用迭代内残差分别为 0.7634、0.6787。线上 +0.05% 与 +0.06% 的区间高度重叠。额外连接没有带来清楚收益，简单方案更适合作为复现起点。
时间拆解中，前向减少 2.62ms、反向减少 0.96ms、优化器减少 0.56ms，合计每步约少 4.14ms。操作级参数 all-gather 少 1.33ms，梯度同步少 1.08ms，而 Conv Fusion 时间反而多 2.92ms。阶段拆解与操作拆解是不同视角，不能把各数字再相加得到新的总收益。它们共同说明，增加复用计算与降低墙钟耗时可以同时成立。
5. 局限与未来方向
作者没有单列系统的 limitations 章节。结论明确把结果放在分片分布式训练背景，并预期推广到其他参数共享架构；这种推广仍是待验证方向。文中实验显示激进压缩会损害质量，说明共享计算不能无限替代独立参数。参数不增加也不代表循环计算和激活内存完全免费，质量扩展实验已显示速度小幅下降。
读者额外应注意：生产数据、框架、训练配方没有完整公开，难以在公开数据上复现同样吞吐；通信驻留策略可能影响收益大小。多个在线估计缺少显著性或区间跨零，不能把“neutral-to-positive”改写成确定增长。论文也未直接报告社区搜索 nDCG、CTR 或端到端在线排序延迟，因此这些指标都需独立验证。
6. 工业实践意义
对于社区 UGC 搜索的个性化重排，可先分析训练 profile，确认特征交互层及参数同步是否占主导，再选择独立块减半、每块调用两次的保守试验。基线、无残差共享、有残差共享和等有效深度独立层应共同比较，以识别收益到底来自参数量、优化稳定性还是计算深度。评估维度至少包括 nDCG、CTR、尾部用户质量、训练吞吐、显存及线上时延。
工程实现应检查模块对象共享、梯度累积、优化器参数去重、分片层封装边界与参数是否在循环内重复 all-gather。论文的机制预期是复用参数减少通信，但实际框架若每次前向都重新拉取相同权重，收益可能消失。这是从机制推导出的验证建议，并非作者报告所有框架都已解决该问题。
部署门槛可设为先满足质量非劣，再争取训练成本收益；如果为了多 12.3% 吞吐接受 9 个基点 AUC 损失，必须显式测量对业务的代价。对单卡或计算主导模型，优先级应低于已经定位的热点优化。该文最可取之处是提供一条可测量的排序扩容路径，以及把参数、通信和算力成本分别算清的方法。