PEIR: Modeling Performance in Neural Information Retrieval
PEIR 针对神经检索延迟高度依赖硬件、不同模型难以公平比较的问题,引入面向 Learned Sparse Retrieval 的硬件无关性能建模框架。它为 BlockMax-MaxScore 等查询执行方式估算内存访问与浮点运算量,并证明这些代理指标对模型效率优劣的判断与实测延迟结论相近,从而减少反复占用多套硬件基准测试的成本。
INSIGHT对搜索团队,PEIR 的价值是把“效果—效率”筛选提前到模型评审阶段:在 nDCG 之外统一记录访存量、FLOPs 与稀疏倒排执行特征,再只对候选方案做真实压测。论文较早,但用户偏好的工程可实施性很高;应把模型预测用于横向筛选,最终上线判断仍需生产硬件上的 P95/P99 延迟。