RAISE: RAG Design as an Architecture Search Problem
RAG 流水线包含 query 改写、分块、检索深度、重排、上下文压缩等大量设计选择,实践中多靠经验配置,难以系统评估与复现。RAISE 把这一问题形式化为“RAG 架构搜索”,提供统一搜索空间与预算下的 RAG 超参优化框架与基准,实现 13 种搜索算法,在 7 个公开文本/多模态数据集上用 3 个随机种子评测。核心结论:优化效果高度依赖任务,某数据集上强的方法未必跨数据集泛化,警示不要把聚合排名当作普适最优证据。
INSIGHT把 RAG 调参当 AutoML/架构搜索问题,对工程团队是务实视角:与其手调 chunk size、检索深度、重排开关,不如在标准搜索空间内自动搜索。RAISE 提供可复现的实验底座。最关键的实践警示是“无普适最优配置”——社区搜索落地 RAG 时必须在自己的数据与指标 (nDCG/CTR) 上做超参搜索,照搬论文配置风险高。