SWE-chat: Coding Agent Interactions From Real Users in the Wild
SWE-chat ��首个大规模真实编码 Agent 交互数据集,从开源开发者的实际使用中采集。数据集揭示了用户如何与 AI 编码 Agent 交互、Agent 输出中多少内容在实践中真正有用等关键问题。研究发现真实用户行为与实验室基准存在显著差异,为 Agent 设计提供了宝贵的实证依据。
INSIGHT首次大规模量化真实用户与 AI Agent 的交互模式,揭示了实验室基准与真实使用之间的差距。对搜索/推荐系统启示:在设计搜索 Agent 时,应优先收集真实用户交互数据而非仅依赖离线基准;用户的实际使用模式往往与预设假设不同,real-world 数据对 Agent 迭代优化至关重要。