SHIELD: A Diverse Clinical Note Dataset and Distilled Small Language Models for Enterprise-Scale De-identification
论文针对临床文本去标识化任务的企业级落地难题,构建了 1394 篇标注笔记、10505 个 PHI 跨度的多样化数据集 SHIELD,并将四个 LLM(含两个开源、两个商用)的能力蒸馏到可本地部署的小模型 SLM。采用集合覆盖(set-cover)多样性采样和人在回路审校,最终用 Frechet 距离做分布对齐评估。SHIELD 验证了:在合规要求严格、PHI 不能上云的场景下,蒸馏 SLM 可以替代大模型 API。
INSIGHT对社区 UGC 搜索的启示:当数据敏感(用户隐私、风控)或推理预算紧(亿级 QPS)时,由教师 LLM 标注、再蒸馏到学生 SLM 部署,是跑得通的工业范式。论文用集合覆盖采样保证训练数据多样性,避免长尾下分布漂移;这种分布感知蒸馏的思路可迁移到 query 改写、实体识别、内容审核等高 QPS 在线模块。