Streaming Tokens and Tools: Multi-Turn Agentic Harness Support in NVIDIA Dynamo
NVIDIA Dynamo 推出多轮 agentic harness 支持,针对 Claude Code、Codex 等 agent 框架在交错推理-工具调用场景下的服务问题给出系统级方案:通过 --strip-anthropic-preamble 去除会话相关 header 实现跨会话 KV-cache 复用;保留 reasoning span 与工具调用的语义绑定;流式 tool dispatch 在解析完成时立即执行;同时全面适配 Anthropic Messages API 与 OpenAI Responses API。在 52K-token prompt 上 TTFT 从 912ms 降至 169ms(约 5×);正确处理 reasoning 可减少约 155ms/请求开销。
INSIGHT工程视角看:agentic 服务的瓶颈不在生成而在 prompt 不稳定 + 串行 tool dispatch,对 UGC 场景的 search agent 同样适用。把 KV-cache 友好性、reasoning-tool span 绑定、token-tool 并行流作为一等公民设计,能让 agent 推理整体延迟下降一档。Anthropic/OpenAI 双 API 兼容层也降低了团队接入开源/自研模型作为 agent 后端的门槛。