1. 问题与动机
CopT 直击主流 chain-of-thought (CoT) 推理范式中一个被普遍忽视的低效现象：模型常常在内部其实已经能识别出答案的情况下，仍然机械地走完冗长的 thinking 步骤，作者称之为 "performative reasoning"。论文给出的直接数字证据是在 GSM8K 上，标准 CoT 用约 2,100 tokens 才达到 95.75% 准确率，而 CopT 仅用约 960 tokens 就达到 96.36% — token 量直接砍掉 55% 而准确率反而提升 0.61 个百分点。在更复杂的 LeetCode-Contest 上差距更大，CoT 59.44% 而 CopT 提升到 66.11%。
这个问题对生产环境意义重大：on-line agentic search 类应用对延迟和 token 成本极其敏感，但目前没有可靠的 inference-time 信号告诉模型 "这个 query 不需要再多想了"。已有的 latent CoT (SwiReasoning、Soft-Thinking) 试图用连续 embedding 直接生成，牺牲了可读性，CopT 给出了第三条路：保留显式 CoT 的可读性，同时用 continuous embedding 当作 inference-time 验证器。
2. 方法详解
CopT 把推理流程倒过来：先 draft answer，再按需 on-policy thinking。整体由两个阶段、两个 contrastive 量决定。
Stage 1 — Draft Answer: 强制模型跳过 thinking 直接产出答案 a₁:Tₐ（数学任务限 1024 token，多轮限 512）。在生成过程中并行计算 reliability estimator：
κₐ(a₁:Tₐ) = (1/Tₐ) Σₜ [log p_θ(aₜ | q, a<t) − log p_θ(aₜ | q, e<t)]
其中 e_t = Σ_v p_θ(v | q, a<t) · E(v) 是按下一 token 分布加权的 embedding 期望，相当于把不确定性以连续向量形式注入 prefix。κₐ 在理论上等价于离散 prefix 与连续 prefix 下答案分布的 reverse KL；作者在 mixture-linear 假设下证明它的期望恰好等于潜在推理状态 S 与答案 token A 之间的互信息 I(S;A)，所以这个量度量的是 "answer-relevant uncertainty" 而不是任意 embedding entropy。
Stage 2 — On-Policy Thinking（条件触发）: 仅当 κₐ > τₐ（reliability 阈值）时才启动反思链。反思过程以 chunk 为单位（chunk 大小 max(1, ⌊Tₐ/4⌋)），每个 chunk 用类似形式的 κᵣ^(k) 度量当前 thinking chunk 在看 / 不看 draft answer 时的稳定性差异：
κᵣ^(k) = (1/C) Σₜ [log p_θ(rₜ | …) − log p_θ(rₜ | …, e_{sₖ:t−1})]
当 κᵣ^(k) < τᵣ（稳定阈值）时把 draft answer 在下一个 chunk 暴露给模型，否则继续隐藏，让模型独立思考再合并。最终输出由 thinking 结束后的修正答案给出。
关键设计要点：(1) 训练 free，纯 inference-time。(2) 仅需要可获取 next-token 概率分布，与开源模型完全兼容；闭源 API 不能用。(3) 用 expected embedding 而非采样，保留概率分布而非塌缩成一个 token，这是连续 verifier 优于 token-level reflection 的关键。(4) 阈值 τₐ、τᵣ 任务可调（BFCL 上 τₐ=0.3，ZebraArena 上 τₐ=1.5）。
训练设置：作者在 Qwen3 (2B / 8B / 35B) 与 Qwen3.5 (2B / 35B-A3B Gated-DeltaNet) 上做实验，单 H200 GPU，采样 temperature 0.6 / top-p 0.95 / top-k 20。
3. 核心技术贡献
(1) Performative reasoning 的可量化诊断：κₐ 在识别错误 draft 的实证 precision 达到 80–90%，相比均匀 baseline 的 10–15% 是数量级提升 — 这意味着 "什么时候停止想" 第一次有了可靠的 inference-time 信号。
(2) 连续 embedding 作为 verifier 而非 generator：以往 latent CoT (SwiReasoning、Soft-Thinking) 都把 embedding 作为生成空间，必然牺牲可读性。CopT 的洞见是 embedding 真正的价值是 "保留分布的不确定性"，把它当作 contrastive 参考量比当生成媒介更合理。表 2 显示 CopT 比 SwiReasoning 平均 +0.30~0.61% 准确率同时还少用 8–36% token。
(3) Visibility control for self-correction：分 chunk 的 κᵣ 实现了一种 "独立思考 vs 看草稿" 的自适应切换，避免模型一开始就被错误 draft 锚定。消融显示更严格的 τᵣ 提升 draft 修正率但增加 thinking token，这是显式 trade-off。
(4) 数学证明 contrastive 估计的语义性：在 mixture-linear 假设下证明 E[κₐ] = I(S;A)。这把一个看似 ad-hoc 的工程量提升到了信息论解释，理论稳健。
4. 实验结果分析
数学 & 编程任务（Qwen3-8B）：
| Benchmark | CoT 准确率 | CopT 准确率 | Token 变化 |
|---|---|---|---|
| GSM8K | 95.75% | 96.36% | −55.1% |
| Math500 | 96.00% | 97.60% | −2.7% |
| AIME 2024 | 75.83% | 79.17% | −4.6% |
| HumanEval | 92.68% | 96.34% | −22.2% |
| LeetCode-Contest | 59.44% | 66.11% | +4.1% (准确率 +6.67%) |
GSM8K 的极端 token 节省（55%）说明在简单数学题上 performative reasoning 现象最严重 — 直觉合理。LeetCode-Contest 上 token 略增但准确率大涨，说明对真正困难任务 CopT 在节省与正确之间做出了合理偏向，没有为了省 token 牺牲难题正确性。
Agentic 任务（BFCL v4 & ZebraArena）—这是与搜索/推荐场景最相关的部分：
- BFCL v4 (single-turn function calling)：Qwen3.5-2B 上 +0.84% 准确率 / −29.9% token；35B-A3B 上 +0.68% / −28.5%。
- ZebraArena (multi-turn) Large split：CoT 59.21% → CopT 82.24%，提升 23.03 个百分点；Medium split 也有 +13.14。
ZebraArena 上随任务难度增加 CopT 收益放大（Small +2.98 / Medium +13.14 / Large +23.03），强烈说明 on-policy thinking 的核心价值在 hard cases — 这与作者宣称的 "easy 走 draft，hard 才 think" 的设计哲学完全吻合。
Latency：实际 wall-clock 时间在 GSM8K −37% / Math500 −20% / HumanEval −69%，对生产部署直接有价值。
消融重要观察：(1) κₐ 仅对答案 span 计算比对整段答案计算多 7–10% 效率提升，准确率几乎不变 — 实践中可只在 answer extraction 区域算。(2) 最大 draft 长度超过 2,048 后无收益 — 给出了实际部署上限。(3) τᵣ 更严能提高 draft 修正率但增加 thinking token，可作为按业务 tradeoff 调参点。
5. 局限与未来方向
作者自述的局限主要有三：
(1) 方差：KL 估计仅基于单条轨迹，没有多采样平均，token-level 平均缓解了方差但仍高于 ensemble 方案。
(2) API 兼容性：必须能拿到 next-token 概率分布，纯文本输出的闭源 API 不能用。作者把这列为重要的未来方向。
(3) 校准问题：某些 reasoning-tuned 的 LLM 在 "直接给答案不思考" 模式下校准变差，draft 阶段会出现重复输出，目前靠 length cap 兜底，但不是根本解法。
未做但显而易见的 follow-up：(a) 把 τₐ / τᵣ 改成 query-conditional 学习而非全局阈值；(b) 把 contrastive 信号纳入 RLVR 训练阶段而不仅仅是 inference；(c) 把 verifier 蒸馏到一个小模型避免主模型自己跑两次。
6. 工业实践意义
对做社区搜索 / agentic search 的团队，CopT 是少数能直接落地的 inference-time 推理优化：
(1) 直接落地的 token 经济：BFCL v4 上 single-turn function call 节省 28–30% token，这对每天数百万次 agent 调用的成本意义巨大。社区搜索 agent 链路里 query rewrite → tool selection → answer 这三步都可以套用：每步先 draft，再用 κₐ 判断是否触发反思，预算按 query 难度自适应分配。
(2) 不需要训练，第一周就能上线：相比 RLVR 或 SFT，CopT 是 plug-in 的，只要后端模型自部署（能拿到 token 概率）即可立刻接入。这是与 GoLongRL 等需要大规模训练的方法相比的最大优势。
(3) 对高 QPS、短 query 场景特别合适：社区搜索 query 大多是短 UGC 查询，绝大多数不需要复杂多步推理。CopT 在 GSM8K 上 55% token 节省的现象暗示在 "简单 query 偏多" 的工业场景节省比例会更高。
(4) 多轮 agent 任务上的爆发性收益：ZebraArena Large 上 +23 个百分点的提升说明对 deep research / 多轮工具调用类任务收益最大 — 正好是社区里 "为我找到关于 X 的所有相关帖子并总结" 这类多轮 agent 检索的形态。
(5) 部署考量：(a) 需要主模型暴露 logits / token-level 概率，闭源 API 路径暂时无解。(b) 阈值 τₐ / τᵣ 需要离线在自家评测集上调，不同任务最佳值差几倍。(c) draft 阶段 length cap 必须设，避免某些模型校准差导致重复输出。(d) latency 节省 20–70% 对在线服务 SLA 直接友好，不引入额外服务依赖。
(6) 可借鉴的范式：哪怕不直接用 CopT 算法，"connecting continuous-embedding distribution to discrete-token output 作为不确定性 verifier" 这个思路对自研 ranker / re-ranker 的置信度估计有启发 — 用对比两种 prefix encoding 下的 likelihood 差异作为不确定性，比 softmax max-prob 更稳。