1. 问题与动机
搜索排序模型的研发一直是高度人工密集的过程：从特征工程、模型架构设计到超参调优，每一步都依赖资深工程师的经验和直觉。尽管 AI agent 在软件工程（如 SWE-bench）和科学发现（药物发现、材料科学）领域已展现出强大能力，但将其应用于商业搜索引擎排序模型的研发尚属空白。现有的排序架构——FM、DCN、Transformer 等——仍然完全依赖人工设计。作者指出，学术界对「AI 能否指导研究」持怀疑态度，但在计算机科学领域，AI agent 至少可以管理假设生成和实验验证等核心科研环节。这项工作的核心动机是：验证多 LLM agent 能否自动化搜索排序模型的完整研发流水线，从创意产生到代码实现再到 GPU 训练调度。
2. 方法详解
系统采用五模块架构：
Memory 模块采用两层记忆系统：第一层是三个 markdown 文件（JOURNEY.md 记录研究历程、EXPERIMENTS.md 追踪实验、FLOWS.md 管理训练流程）；第二层是版本特定文档（如 Vx.y_IMPLEMENTATION.md）存储详细实现记录。记忆在每个迭代周期后更新。
Idea Generation 模块是核心创新点，采用多 LLM 共识机制，同时调用 GPT 5.2、Gemini Pro 3 和 Claude Opus 4.5 进行创意生成和结果分析。其基础假设是：在高噪声、大数据、低模型容量的排序场景中，判别式模型优于生成式模型。agent 分析先前成功的改动并提出新的架构改进方案。
Code Implementation 模块使用单 LLM agent 实现代码改动，支持读取错误日志后的二次调试。Experimentation 模块在代码提交到 git 分支后调度 GPU 训练任务。Results Analysis 模块使用聚合指标 ℳ（6 个 AUC 分数的平均值，覆盖点击/转化/分组转化三种行为类型、两个场景）评判实验结果：若 ℳ > 0 则创建新分支继续迭代；若 ℳ < 0 则通过多 LLM 共识决定是坚持还是回退。
问题形式化方面，输入包括 D 维稠密特征向量、S 组序列特征（每组最大长度 L）、以及 J=10 维用户行为信号。输出映射到点击率和转化率的预测。
3. 核心技术贡献
统一序列拼接（Unified Sequence Concatenation）：AI 发现将原本独立堆叠的多组序列特征合并为单一长序列（从 40 tokens 扩展到 200 tokens），配合 slot type embedding 区分特征来源、temporal embedding 捕获时间模式。这一设计突破了人类工程师「分别处理各类序列特征」的常规思路。关键在于：单纯合并序列（V3.1）实际上导致性能下降，必须同时将学习率降低到 1/5 才能使统一序列有效学习——这种「架构改变 + 训练策略同步调整」的关联，恰恰是 AI agent 通过系统实验发现的。
四阶段学习率调度：AI 发现了非单调的学习率策略——Phase 0（1-16天，5e-5）→ Phase 1（17-19天，1e-5 降温）→ Phase 2（20-23天，1.5e-5 回升逃离局部最优）→ Phase 3（24-28天，8e-6 精调）。其中 Phase 2 的「plateau escape」设计是人类工程师通常难以直觉发现的优化景观导航技巧。
注意力池化替代均值池化：V3 用 attention pooling 替代 mean pooling 进行序列聚合，更好地捕获关键 token 的信息。
4. 实验结果分析
实验在商业搜索引擎的排序任务上进行，使用 7 天未见数据进行评估。性能以聚合指标 ℳ 衡量：
| 版本 | 关键改动 | 序列长度 | 学习率 | ℳ vs V2 |
|---|---|---|---|---|
| V1 | Mean-Pooling + DCN + MOE（基线） | — | 5e-5 | -0.118% |
| V2 | Transformer + 独立序列（人工设计） | 40 | 5e-5 | 0.000% |
| V3.0 | + 位置编码 + Attention | 40 | 5e-5 | -0.047% |
| V3.1 | 统一序列 | 200 | 5e-5 | -0.050% |
| V3.2 | V3.1 + 降低学习率 | 200 | 1e-5 | +0.041% |
| V3.3 | + Slot Type Embedding | 200 | 1e-5 | +0.061% |
| V3.4 | + Temporal Embedding | 200 | 1e-5 | +0.063% |
| V3.5 | + 四阶段学习率 | 200 | 自适应 | +0.083% |
最终 V3.5 相对 V2 提升 +0.083%，相对 V1 提升 +0.201%。作者指出「0.1% 的 gain 对应约 0.1% 的转化提升和数百万美元的收入」。
值得注意的失败实验：V3.0 说明单纯加位置编码反而损害性能；V3.1 的失败暴露了学习率是统一序列架构的瓶颈——这些「有意义的失败」恰恰展示了 AI agent 系统实验的价值。
5. 局限与未来方向
作者明确列出六大局限：（1）代码可靠性问题——silent bug 可能导致架构有缺陷的代码因指标偶然提升而被误判为成功；（2）研究品味依赖——AI 缺乏对「优雅、有原则性设计」的追求，倾向于短期指标优化；（3）GPU 资源浪费——对无根据的想法缺乏过滤，需要人工监督防止「灾难性失败」；（4）短视反馈——系统容易优化短期指标而忽视长期研究方向；（5）知识缺口——无法访问科学数据库和最新文献；（6）安全考虑——生产部署需要额外的安全机制。
特别值得注意的是，本研究仅使用了 200+ 可用序列特征中的 5 个，表明扩展空间巨大但也意味着当前结论可能不够全面。
6. 工业实践意义
直接可借鉴的点：（1）多 LLM 共识机制——在关键决策节点（创意生成、结果分析）使用多个 LLM 交叉验证，降低单模型偏见风险。这一模式适用于任何需要高质量决策的 ML 研发流程。（2）统一序列处理——对于搜索排序中的多源序列特征（用户历史点击、查询历史、商品浏览序列等），合并为统一序列并用 slot embedding 区分来源，是一种值得尝试的简化方案。
需要注意的风险：+0.083% 的提升虽然在商业搜索中有价值，但需要大量 GPU 算力（H20 集群）。对于中小型搜索团队，直接复制该框架的性价比可能不高。更实际的借鉴是其发现的具体技术：统一序列拼接 + 学习率调度协同优化。
部署考量：系统并非全自动，需要 expert-in-the-loop 提供高层指导。训练在 H20 GPU 上进行，评估窗口为 7 天。对于需要快速迭代的场景（如社区搜索），这个周期可能偏长，需要根据实际规模调整。