Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations
该研究在真实业务数据构造的问答集上评估 RAG 指标,把 Ragas、DeepEval、RAGChecker、Opik 四个库的 response 与 retrieved span 指标,同两名人工评估者以及 recall 等标准指标做相关性分析。论文重点不是提出新模型,而是暴露 RAG 指标在应用环境中的相关性、局限和方法学约束。对于依赖自动评估的团队,它提供了“指标是否真的贴近人工判断”的实证检查框架。
INSIGHT对 UGC 搜索尤其重要的是,RAG 质量不能只看检索 recall 或答案流畅度。搜索团队可以复用这类实验设计,把 query、召回片段、生成答案拆开标注,定期校准自动指标与人工相关性;若某个库的 faithfulness 或 context precision 与人工点击/满意度弱相关,就不应直接作为排序或发布门槛。