02 4.00
医学问答要先从大量文献里把相关段落找出来,可现在常用的稠密向量几乎无法解释,针对某一批语料微调后又容易在新的临床文集上掉点。作者用稀疏自编码器把稠密文本向量拆成可解释的特征,训练时既要能重构原向量,又用对比损失保住查询和文档之间的相关性。在医学训练集 CURE 上,用 BGE 向量时,排序指标 NDCG@10 从原来的 53.06 提到 61.87。
03 3.75
政府正在给人工智能定规则,可受影响的人往往还没来得及追问,条文就已经写成自动化决策或伤害的定义。作者做了一个面向公众的系统,把城市到国家的数千份治理文件做成保留页码和版本的段落,并用有范围的智能体检索来核对每一句引用。居民可以查本市招聘用人工智能的规定,也可以上传本国战略并起草修改。在需要先找到相关文件的新问题上,宏平均召回率达到 83.0%,不做迭代检索则只有 73.7%。用户研究里,多数人提出的修改是在问条款到底会怎么落实。检索要绑定到公文的原文和版本,人们才敢拿它来讨论和修改规则。对做公共政策检索的人来说,找对文件和给出可核对的出处,比只把答案写得流畅更重要。
04 3.65
大型数字图书馆里,很多资料是图文混排的扫描页,全文倒排索引对图、表和版式几乎看不见,光靠识别出来的文字会漏掉关键信息。作者把整页图像做成同时包含文字和视觉语义的向量,再用向量库做检索,并比较了几种相似度算法。在完整基准上,余弦相似度的 MRR 达到 0.801,明显好过欧氏距离的 0.418,也更适合带图或表格的问题。检索精度本身并不高,还需更好的重排。把语料从一百页扩到四千多页时,延迟大约只增加到二十倍,吞吐可超过每秒 3,500 次查询。图文混排的馆藏,只建文字索引是不够的,向量检索要连视觉语义一起抓。对做学术发现系统的人来说,关键不只是换更强的视觉模型,还要把索引做成能在库级规模上跑起来。
05 3.65
用大模型陪人读书时,如果把整本书一次性送进模型,后面的情节很容易被提前说出来,而且常要上传到云端。作者做了一个可离线运行的阅读助手,检索和生成都被限制在读者已经读到的位置,并把向量相似、关键词匹配和摘要向量合在一起用。在三本英文小说的理解题和剧透检查上,中等大小的本地模型可以把理解质量做到与更大模型相近,最好的 BERT F1 大约为 0.74 到 0.75,单题大约 30 秒。进度边界挡住尚未读到的内容,同时不把已读部分的检索质量换掉。陪读系统该跟读者一起往前走,而不是先把全书看完再回答。对想在本地提供阅读辅助的人来说,把进度写成检索和生成都要遵守的边界,才能既保护隐私,又不剧透。
06 3.55
别人做好的金融智能体,排行榜上的一个分数很难告诉你这套系统稳不稳、出错该谁改、改完能不能信。作者拿一套未调参的参考智能体反复跑同一批题目,通过的评分细则从 105 条变到 123 条,费用也会明显波动。按预先订好的分类看,多数失败出在指令层,其次才是工具和模型,没有一条该归到数据。一个只看轨迹就改一处、过线才保留的优化环,按费用目标能把预留测试题上的花费降到原来的 0.34 倍,准确率仍在噪声范围内;按准确率目标的提升则过不了预先写好的检验。智能体的分数先要经得住重复跑,再谈改哪里、改完算不算真的好了。这只是单个智能体上的小样本案例,但对审计者给出了先测噪声、再分清责任层的办法。
07 3.50
科研文献检索如果能在本地部署大模型助手,就可以少把数据和基础设施交给托管服务商,但开放权重模型在实际算力下能不能把论文找回来,还缺少系统测量。作者比较了一台 Mac Studio 和一台双卡服务器上的推理延迟,再让八个模型在七个文献库里找 70 篇论文。检索能否成功,很大程度上取决于选哪个模型和问题写得多具体:基础表述只有 6.2% 能找到,专家级表述则达到 48.2%。服务器通常更快,但那台 Mac 的统一内存能装下这次 GPU 配置放不进去的更大模型。本地论文检索,模型和提问的具体程度,往往比平台快一点更决定成败。对要自建文献助手的研究组来说,先按自己的查询习惯把模型测一遍,比只看参数量或官方演示更靠谱。
08 3.45
在大幅卫星拼接图上按语义找某一类地物或场景时,通常要先为这一类训练检测器,换一类就要重做。作者做了一个不必为新类别再训练的系统:用冻结的自监督视觉模型表示每个图块,去掉位置偏差,再对整片区域的特征去均值后做余弦匹配。查询可以是点击附近的小邻域,也可以是整块图做场景检索,细边界算一次后便缓存起来。在五千多块测试图上,平均像素级 F1 为 0.39,各类差别很大;一次点击返回叠加结果大约只要 6 到 10 毫秒。没有为这一类训练过的检测器,也可以先用一个可点击的语义索引把候选找出来。对要在大范围遥感图上做交互检索的人来说,这把先训练检测器再搜索,换成了先建可复用索引再按点击检索。
09 3.15
从电子病历预测用药组合,目标本是一份固定词表里的药物类别集合,可不少系统会先找相似病人,再让大模型猜该开什么药。这样检索到的是病人记录,要预测的却是离散的药物标签,两者并不对齐。作者改用训练数据里由病况和用药共现统计出来的表格总体先验,按共现强弱列出候选药物类别,只替换原流程里的病人检索器。在一千多份预留的住院记录上,F1 从 0.303 提到 0.338,不必额外调用大模型,也不必在推理时维护病人索引。这个先验在不经过大模型时本身就有预测能力。固定词表的集合预测,检索对象最好就是那个词表里的候选,而不必先绕到相似病人。对临床用药预测来说,总体统计既更容易审计,也往往更贴任务。
10 3.15
视觉语言模型常常过于自信,明明图像证据不足,仍会给出斩钉截铁的答案。典型情况是视觉问答里的指代不清:图中多个对象都可能是问题在问的那个,这时应当先追问或把几种可能都列出来,只有所指清楚时才直接作答。现有模型很难做这个区分,往往默认只选一种理解。作者发现,推理时只靠激活引导效果有限,提示通常更有效,但两者合用会在所指清楚的例子上误触发。于是他们用线性分类器先判断输入是否含糊,再决定引导方向,使处理得当的比例平均从 59.0% 提到 77.0%。模型要先判断问题清不清楚,再决定是直接答、追问还是把可能都列出。对多模态问答来说,这提供了一种不必重训、只在推理时减轻过度自信的办法。