COMI: Coarse-to-fine Context Compression via Marginal Information Gain
本文提出 COMI,一个基于边际信息增益的粗到细自适应上下文压缩框架,可联合优化语义保留和长度压缩,解决 LLM 在长上下文场景中的计算低效和信息冗余问题。
INSIGHT利用边际信息增益自适应确定压缩粒度,从句子级到 token 级分层压缩,既保持语义完整性又大幅降低上下文长度,对搜索场景中的大规模文档排序有参考价值。
业务关联社区搜索中 LLM 排序阶段需处理大量候选文档的上下文信息,COMI 的压缩方法可降低 LLM-as-ranker 的延迟和成本,同时保持排序质量。
证据在多个 QA 和摘要任务上,COMI 将上下文压缩至原始长度的 10-20%,同时保持接近无损的任务性能,计算开销降低约 5 倍。