IntentGrasp: A Comprehensive Benchmark for Intent Understanding
针对 LLM 助手中长期缺乏统一意图理解评测的问题,论文从 49 个开源高质量语料合并出 IntentGrasp,覆盖 12 个领域,统一了意图标签上下文化与任务格式。基准包含 262,759 条训练集、12,909 条 All Set 测试集以及精选的 470 条 Gem Set。对 7 个家族 20 个 LLM(含 GPT-5.4、Gemini-3.1-Pro、Claude-Opus-4.7 等前沿模型)的评测显示,All Set 得分均低于 60%,Gem Set 低于 25%,且 20 个模型中有 17 个表现不及随机基线,表明意图理解仍是 LLM 的显著短板。
INSIGHT对社区 UGC 搜索 query 理解管线来说,这是首个跨 12 个开放领域、规模足够大的意图基准,可直接用于评测线上 query intent classifier 的横向能力差异。关键启示是即使最强 LLM 在结构化意图分类上的失败率也很高,说明搜索侧不应盲目把 query 意图改写交给基础大模型,而要保留专用 intent 模型;同时 262K 训练集可用于蒸馏一个轻量 BERT/小模型作为线上意图分类基座,对应短文本召回阶段的多通道触发策略。