Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers
论文针对同一提示多次询问时品牌推荐结果漂移的问题,用交叉随机效应将噪声拆成重复采样、提示改写、模型身份和查询语言四部分,并据此计算达到目标可靠性所需的采样预算。实验覆盖12,933条回答、20个中东欧品牌、8种语言和3个模型,比固定重复5次更能定位不稳定来源。
INSIGHTLLM 推荐评测不能只对同一 prompt 重采样,否则会把改写、语言和模型差异混进随机噪声。社区搜索若用 LLM 做品牌或内容推荐,应把评测预算分配到多改写、多语言和多模型维度,并用方差分解决定每维采样量,才能让离线指标具备可复现性。