MetaPrompt Generation Technical Report
Alibaba📖 有深读 · 9 分钟论文把生成式搜推的特征处理从模型代码中解耦，以两份声明式 JSON 统一离线训练和在线服务，并用四类特征、三种可组合组件完成组装与压缩。该框架已部署于淘宝搜索，线上 A/B 实验使成交笔数提升 0.47%、GMV 提升 0.51%，并复用于多个搜索推荐团队。
INSIGHT最值得借鉴的不是某个网络结构，而是把特征契约设为训练与服务的唯一事实源，从根源上减少特征不一致和场景定制代码。社区搜索若采用生成式召回，可先统一行为、内容、数值与向量特征的配置式 token 化，再在同一标准接口上做序列压缩和推理优化。
Prompt Generation Technical Report 深度解读
1. 问题与动机
生成式检索把 query、用户行为和候选信息编码进 LLM，并直接生成文档或商品标识。但工业系统真正拖慢迭代的常常不是模型，而是异构特征工程：原始文本、预计算 embedding、组合特征和时间行为序列各有不同的数据处理与 token 组装逻辑；每次增删特征都可能同时修改数据加载、训练、服务和推理优化代码。更严重的是离线与在线若采用不同实现，会产生 training-serving skew。淘宝团队观察到特征集合和组合方式的变化频率远高于模型主干，因此提出 Prompt Generation（PG），目标是把特征处理从模型代码中抽离，使同一份配置成为训练和服务的事实源。
2. 方法详解
PG 由两份声明式 JSON 驱动。prompt_feature.json 描述 feature_name、feature_type、数据 expression，以及预处理器、投影器、合并器和空值策略；prompt_template.json 负责最终 prompt 结构和占位符。系统只保留四类特征：text、embedding、combo、sequence。text 进入 LLM tokenizer；embedding 以 [N,D] 形式绕过 tokenizer，可经 MLP 对齐到模型 hidden size；combo 把多个子特征聚合；sequence 表示时间行为，并支持长度控制和压缩。
所有变换分成三条正交轴。Preprocessor 在 token 化前做映射和分桶，例如年龄按 18、25、35、45、60 划分；Projector 用 MLP 等结构调整 embedding 维度，示例将 256 维向量经 512、896 隐层映射，并支持 ReLU、bias 和 dropout；Merger 负责 mean、sum 或 concat-MLP 聚合，同时明确 output_token_len。mean/sum 无参数且固定输出 1 个 token；concat-MLP 更灵活，但输入必须先投影到相同维度。Merger 因而不仅融合特征，还直接控制 prompt token 预算。
离线侧由数据处理 pipeline 解析同一配置，生成模型输入；训练框架用 wrapper 在 forward 前执行 PG，使模型结构无需知道每个业务特征。在线侧采用两层架构：通用 PG 引擎负责特征解析、投影和合并，模型服务消费统一请求协议。事件追踪会记录线上原始源特征，离线可重放同一请求，借此排查并消除离在线偏差。新场景只需遵循 schema 与通用 pipeline 对接，不再复制场景专用处理代码。
论文未给出统一优化器或 batch size，因为 PG 是框架而非单一模型。实验覆盖淘宝搜索、淘宝推荐与 S1-tiny、RecIF、Amazon Reviews 三个公开基准；训练与推理优化包括并行化特征处理、合并小 kernel、缓存静态项、减少 host-device 传输和按场景控制 token 数。作者强调配置抽象必须保持窄：每增加一种 feature type，都要在离线与在线同时实现和验证，类型膨胀会重新制造维护成本。
3. 核心技术贡献
第一，PG 将 prompt 特征工程变成可版本化的声明式协议。两份 JSON 同时驱动训练和服务，配合线上事件重放，直接针对生成式搜推最危险的离在线不一致，而不只是提供方便的配置文件。
第二，四类特征与三类组件形成小而完整的组合空间：特征类型回答数据是什么，preprocessor/projector/merger 回答如何变换、对齐和压缩。这个分解允许团队按特征选择策略，而不是对所有信号使用一种统一融合器。
第三，Merger 把信息融合与 token 成本放在同一接口中。实验发现参数免费的 mean-pool 在固定 prompt 预算下常常不输 MLP 或 attention；SID 等关键标识若与文本、embedding 一起压成单 token，性能反而会崩塌。这提供了可操作的工程原则：先保护高辨识度 token，再压缩冗余文本。
第四，配置化让自动研究代理只编辑安全、局部的 schema，而无需修改训练代码。内部 autoresearch 在20轮配置实验后将 hitrate@20 提升3.05%，展示了框架对自动特征探索的放大作用。
4. 实验结果分析
论文报告五类离线场景都能仅通过配置适配获得增益，并给出多项生产结果。最关键的定性结论是不存在通用特征配方：item SID 加辅助信号通常有效，但最佳组合随淘宝搜索、推荐和公开数据集变化；不同信号需要不同处理。文本可大幅 mean-pool 而损失较小，SID 若与其他特征过度合并则会显著掉点。
| 场景 | 设置或指标 | 结果 |
|---|---|---|
| 淘宝搜索线上 A/B | 成交笔数 | +0.47% |
| 淘宝搜索线上 A/B | GMV | +0.51% |
| 淘宝生成式召回 autoresearch | 20轮后 hitrate@20 | +3.05% |
| 淘宝搜索、淘宝推荐、3个公开基准 | 配置适配 | 5/5 场景优于基线 |
| 融合器比较 | 固定 token 预算 | mean-pool 通常匹配或优于 MLP/attention |
线上成交与 GMV 同时显著为正，比只报告离线 hitrate 更能说明框架没有以业务价值换取召回率。20轮自动搜索获得3.05% hitrate@20 增益，也证明声明式接口确实扩大了可试验空间。不过这不是严格的单组件消融：增益来自代理探索出的组合，不能完全归因于某个 merger。论文还报告经过训练与推理优化后 PG 额外开销降到可忽略水平，但公开正文没有给出统一的毫秒级 P50/P99 数字，外部无法核验不同特征数和 token 长度下的伸缩曲线。
一个值得注意的反直觉结果是 learned merger 并非总优。输入已被强压缩时，可学习参数的剩余表达空间很小，mean-pool 的稳定性和零参数成本反而占优。失败模式同样明确：把 SID、文本和 embedding 粗暴压成一个 combo token 会破坏标识信号。论文没有报告显著负向的线上实验，但通过这一现象说明配置自由度需要约束和自动验证。
5. 局限与未来方向
作者在结论中明确承认，当前评估只覆盖电商，向内容推荐和广告的泛化仍待验证；现有 merger 库也有限，mean/sum 完全忽略交互，concat-MLP 只能做固定前馈融合。计划中的方向包括把图像加入第五类特征：将视觉编码器 patch embedding 视作 embedding 序列并复用 projector/merger 压缩；增加 attention 或低秩跨特征 merger；让 autoresearch 同时探索特征组合、merger 和序列长度。论文未充分讨论的限制包括 schema 演进与向后兼容、配置错误的权限边界、线上事件记录的隐私与存储成本，以及自动代理可能对离线指标过拟合。
6. 工业实践意义
PG 最适合作为生成式搜推平台层，而不是单个模型技巧。落地可先定义最小 schema：文本、数值/稠密 embedding、组合特征、行为序列四类；每类只开放少量可审计 preprocessor、projector、merger；训练和服务必须共享解析器与版本号。随后加入线上源特征采样和离线重放，建立逐字段一致性检查，再允许业务团队通过配置迭代。
对社区搜索，可把 query、帖子文本、作者与社区属性、内容 embedding、用户短长行为序列分别声明，避免把所有信息拼成不可控的自然语言。token 预算应成为配置的一等约束：保留 query、内容 ID 或关键 SID 的独立 token，对冗长画像和历史用 mean-pool 或可学习压缩。评估除 nDCG、CTR 外，还应记录 PG 解析耗时、投影与 merger 耗时、最终 token 数、P99 推理延迟及离在线字段差异率。
自动研究应在这套安全边界内运行：代理只能修改 JSON，配置需通过类型、维度、token 上限和敏感特征校验，实验必须有预算与回滚。论文的淘宝结果表明，即使线上提升只有0.47%至0.51%，统一特征契约带来的长期价值还包括减少场景专用代码、缩短部署路径和让多个团队复用优化；但在非电商业务复制前，应先用一到两个真实场景验证 schema 是否覆盖内容供给、社交关系和强时效特征。
UCSD
University of Glasgow