USTC02 3.10
Verifiable User Simulation for Search and Recommendation Systems
RMIT基于 LLM 的用户模拟越来越多用于评测搜索引擎、推荐系统与 RAG，但多数模拟器不透明：难以判断模拟用户为何做出某选择、是否符合预设画像，且 LLM 会因语言、教育程度、文化背景产生有偏响应。该 tutorial 提出把用户模拟器当作可审计的工程制品，由 7 个可审计组件构成（结构化 Persona、任务感知 Contract、人-机匹配 Execution、可审计 Trace、画像对齐 Verification 等），形成一套设计-审计框架，保证模拟的可验证性与对弱势群体的公平对待。
INSIGHT离线评测越来越依赖 LLM 模拟用户，但“模拟器本身是否可信”常被忽视。该框架的价值在于把模拟拆成可逐项验证的组件——Persona 是否被忠实执行、Trace 能否复盘决策、Verification 能否检出画像漂移，给出了搜推团队搭建仿真评测台的审计清单。对社区搜索而言，可借此在灰度前用可控、可解释的模拟用户压测排序 / 生成策略，并把“模拟用户对少数群体是否公平”纳入验收，避免用有偏模拟器得出有偏结论。
Chenglong Ma, Xinye Wanyan, Danula Hettiachchi, Ziqi Xu, Yongli Ren, Jeffrey Chan
arXiv·2026-06-15·Relevance 3 · Novelty 3 · Practical 3 · Evidence 2 · Timely 5