KARLA: Knowledge-base Augmented Retrieval for Language Models
KARLA 让 LLM 在生成 token 的过程中自动从知识库拉取事实知识。核心做法是训练模型产出特殊 token,触发对知识库的查询;由此带来三个好处:(1) 输出中的事实知识可通过编辑知识库更新、无需重训 LLM;(2) 输出里的事实可追溯回知识库,具备透明性与可解释性;(3) 小模型借此能达到大模型的事实准确率。实验显示该方法在短文本与长文本生成中都提升了事实 grounding,且事实修订可通过 KB 编辑而非参数更新生效。
INSIGHTKARLA 把“何时检索”交给模型自己学——训练它在需要事实时吐出触发 token 去查 KB,类似 Toolformer 的思路用在知识库检索上。对搜索/问答系统有两点启示:一是事实更新走 KB 编辑而非重训,运维代价低;二是输出可溯源到具体 KB 条目,适合需要可解释、可审计的场景。不足是摘要未给出具体数据集与提升幅度,证据偏弱,落地前需自行验证 trigger token 的训练稳定性与 KB 查询的召回质量。