Token Optimization and Context Window Management in Multi-Agent AI Workflows
该论文从生产工作流总结多 Agent 的 token 与上下文管理方法,包括上下文分层、一次抓取本地处理、schema 约束提示、token 感知 fallback、语义缓存和 Agent 间通信压缩。生产仪表盘将冷加载延迟从约 3.5–10.5 分钟降到 61–116 秒,估计 token 减少 60–70%;另有 11 种模型配置、2,420 次受控试验和 661 条匿名工作项。
INSIGHT搜索 Agent 的成本瓶颈通常来自重复抓取、长上下文和无效中间状态,而不只是模型单价。可将检索结果先规范化成证据卡片,按任务阶段分层加载,用语义缓存复用相同子查询,并给每轮设置 token/延迟预算;这些改造能直接服务 UGC 搜索的高峰流量,同时保持复杂查询的多步能力。