MuninAI: A Self-Hosted Agentic Framework for Independent Research Groups
研究助手把文献留在本地,再按问题调用阅读、检索和计算工具。系统同时索引语料与引用关系,并附带可重跑的评测套件。在配对文献问答上,准确率从38.7%升至87.4%。
INSIGHT固定取回几段文字,可能比不给资料更差。真正有用的是让模型按需要读原文、追踪引用并在缺证据时弃答。对内部知识助手,验收集应同时检查答案、证据位置和资料缺失后的行为。
今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 80 篇,入选 10 篇,分数 3.35 – 4.30
搜索代理答对问题,也可能没用上查到的证据。作者把找证据和写答案分别归因,再用可核验的子结果修正奖励。在较大的测试模型上,平均精确匹配率比原搜索训练方案提高6.3个百分点。
研究助手把文献留在本地,再按问题调用阅读、检索和计算工具。系统同时索引语料与引用关系,并附带可重跑的评测套件。在配对文献问答上,准确率从38.7%升至87.4%。
INSIGHT固定取回几段文字,可能比不给资料更差。真正有用的是让模型按需要读原文、追踪引用并在缺证据时弃答。对内部知识助手,验收集应同时检查答案、证据位置和资料缺失后的行为。
模型说得笃定,不代表答案有证据。作者在检索覆盖不同的条件下,检查生成概率能否识别无依据的内容。在人为插入无证据陈述的测试中,困惑度的判别曲线下面积达到0.81至0.91。
INSIGHT置信度要和证据覆盖一起看。资料缺失时,模型仍能从参数记忆生成高概率答案;多取一段真正有用的证据,风险分数才可能恢复意义。这个结果支持把证据完整性单列为监控信号。
商品改写代理把有效经验存成可复用的字段规则。编辑器应用规则,反思器按排名反馈修订,审核器去重并停用持续有害的行为。正文实验中,改写后排名改善的成功率比提示优化基线提高17.5个百分点。
INSIGHT把经验写成可检查的操作,比不断加长提示词更容易维护。每条规则注明能改哪些字段,再记录使用后的得失,既能去重,也能淘汰有害建议。排名收益来自实验排序器,仍受反馈模型偏好影响。
长期记忆可能把外部说法误当成用户授权。作者为每条声明标记类型、权限和适用范围,再按这些标签检索。对保留正常记忆功能的防御方案,攻击成功率比其中最强基线至少降低77%。
INSIGHT记住一句话,不等于获得执行它的权限。把来源与使用范围附在单条声明上,能让检索阶段阻断越权影响,同时留下正常事实。对社区知识助手,帖子内容与用户偏好应拥有不同的记忆权限。
工具太多时,先试哪个工具会影响后续判断。作者把候选工具放进独立分支执行,再由主代理检查结果,只吸收有用证据。在工具评测集上,平均声明得分比对照提高14.37个百分点。
INSIGHT试工具的失败过程不必进入主任务上下文。隔离探索能保留不同候选的机会,也减少失败结果对后续推理的干扰。工具路由因此可以根据执行证据更新,而不是只比较名称和说明的相似度。
长任务常到最后才知道成败,中途动作很难分到有效奖励。作者从共同前缀展开多条后续路径,把最终奖励逐层回传,再用有界的教师分布约束更新。在深度研究任务上,平均准确率比GRPO提高4.97个百分点。
INSIGHT同一个中间状态的不同后续,可以互相提供信用参照。树状回传让早期动作获得更细反馈,有界更新目标则限制旧轨迹上的过度训练。这条路线不依赖额外价值网络或更强的外部教师。
多代理搜索只看最终答案,难判断子代理哪一步做得好。作者先训练搜索与作答教师,再给学生的搜索和摘要词元提供局部监督。在跨数据集评测上,宏平均四次尝试指标比提示式评论器高4.06个百分点。
INSIGHT团队训练需要区分分工带来的不同反馈。领导者看任务成败,搜索者看局部信息质量,答题者看候选答案是否正确。教师评分落在学生实际生成的内容上,能缩短最终奖励到搜索动作之间的距离。
研究型代理要保留很长的上下文,却常在工具执行时让显存闲置。作者分析真实生产轨迹,并用公开模型布局回放缓存保留策略。设置一小时空闲上限后,估算的显存需求上界缩小3.6倍。
INSIGHT缓存该保留多久,要看下一次调用何时发生、会落在哪个部署。生产调用数据是真实的,显存容量则用公开模型布局估算。只做淘汰会增加重算,降低缓存精度和保持部署亲和性提供了另外两条路径。
多轮知识库检索上线后,需要看清代理每步查了什么。AWS用托管知识库、工具网关和运行时串起检索循环,并用模板部署监控。示例覆盖七层观测信号;这是可复现的工程演示,没有报告答案质量提升幅度。
INSIGHT把检索质量、调用链和每次问题的成本放进同一套部署,排查才有共同依据。知识库之间的路由与库内迭代由不同层负责,错误也能分层定位。示例语料规模较小,证据质量评分因此保守。