Migrating Data Ingestion Systems at Meta Scale
Meta 工程团队披露了将整个数据摄入(data ingestion)系统从『客户自管道』模式迁移到『自管理数仓服务』模式的过程:覆盖数万个摄入 Job、PB 级 MySQL → 数仓增量同步。迁移采用三阶段生命周期(shadow → reverse shadow → cleanup),通过持续行数/校验和对比、自定义调试工具、按问题区分批量回填策略、以及在元数据中标记问题分区实现快速回滚,最终 100% 平滑切换。
INSIGHT推荐/搜索系统对每日特征拼接、行为日志归档、画像维表的稳定性极度敏感,是『管线坏一点就全链路连环报警』的典型场景。Meta 这一套 shadow→reverse-shadow→cleanup 三段式迁移、双跑校验、分区级回滚的标准方法论,可以直接套到自研 Hive/Iceberg 升级、特征库换代或 ODPS 跨集群搬迁,避免一次性切换带来的特征断流和模型评估错位风险。