The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
论文提出 Bicameral Model:两个冻结的 LLM 通过可训练的翻译网络和门控(约总参数 1%)以隐状态形式双向耦合,跳过文本 token 化以协同完成任务。实验中:耦合两个 0.5B 模型并接入计算器后,算术任务准确率从 36% 提升至 96%;耦合两个 0.6B 模型并接入 Z3 求解器,在 ZebraLogic 上达到 baseline 的 1.7×;辅助模型甚至能仅凭隐状态信号生成可执行的 Python 求解代码,而无需看到原始问题文本。
INSIGHT对多 Agent 协同范式提出根本性挑战:以文本 token 作为 Agent 间通信介质会丢失大量上下文信息,可训练的连续隐状态通道效率显著更高。对搜索/推荐工业系统的启示是 —— 当多个 LLM 子模块需要协作 (例如 query 改写 Agent + 排序 Agent,或 RAG 中的多个工具调用模块),未来可探索用 adapter 级别的隐状态耦合替代纯文本协议,潜在带来推理成本与质量双优。短期落地难点是需要联合训练,与目前主流的 frozen-LLM + Prompt 工程范式不兼容。