CoinRAG: Contextualized Information Nugget KV Cache Reuse for Long-Context RAG
CoinRAG 将长文档离线拆成带上下文的信息 nugget,在线用两阶段检索选择相关片段,再组合可复用的 KV cache,减少长上下文预填充噪声。LongBench 三个多跳问答数据集在 P99 TTFT 100ms 约束下,平均 F1 为 41.7,相比 TurboRAG 的 39.6 提升 5.3%,平均上下文长度缩短 1.84 倍;无延迟约束时平均 F1 仍提升 5.2%。
INSIGHT对 UGC 搜索的 RAG 化摘要或答案生成,可以把高频帖子中的事实、实体和可引用句子预抽取为 nugget,并在查询时按需拼装上下文。关键不是盲目扩大 top-k,而是保留 nugget 的局部语义与原文位置;同时要把离线抽取、缓存存储和内容更新成本纳入整体 SLA。