2026-05-05 周二 · Infra

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 8 篇Personalization个性化推荐 · 9 篇AI SearchAI 搜索 · 6 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 8 篇

今日场景社区搜索 (UGC 短文本搜索):关注框架与基建侧的进展——LLM 训练/推理框架、开源模型、模型编辑/卸载、评测基础设施、CPU/边缘部署,以及搜推系统对应的 serving、向量检索、特征/训练平台。 — 评分 41 篇,入选 8 篇,分数 2.85 – 3.85

本期目录 · 8 篇
  1. 01NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
  2. 02RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI
  3. 03How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework
  4. 04Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment
  5. 05From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing
  6. 06Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
  7. 07Lost in State Space: Probing Frozen Mamba Representations
  8. 08Building trust into AI
LEAD STORY · 今日必读

NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

面向葡萄牙语的高质量 encoder-only 模型仍稀缺,作者基于 ModernBERT 架构(长上下文 + 高效注意力)训练 NorBERTo,并构建包含 3310 亿 GPT-2 token 的 Aurora-PT 巴葡语料。在 ASSIN 2 与 PLUE 标准基准上系统评测,NorBERTo-large 在 PLUE 的 MRPC 取得 0.9191 F1、RTE 0.7689 准确率,ASSIN 2 蕴含任务 F1 约 0.904,全面优于 BERTimbau、Albertina PT-BR 等强基线。

相关 4新颖 3实用 4证据 4时效 5
3.85
综合分 / 5
KEY INSIGHT · 对业务意味着什么对搜索/推荐基建团队而言,本文给出一份完整的 ModernBERT 训练配方:从 web + 多语数据中清洗构建 331B token 单语料库,到长上下文 + 高效 attention 的 encoder 架构选择,再到 PLUE/ASSIN 2 标准化评测。配方可直接迁移到中文/日韩等小语种或垂域 query/doc 编码器,是替换 BERT 系召回/匹配主干的实用范式。
Enzo S. N. Silva, Pablo B. Costa, Raphael C. Vlasman, Rosimeire P. Costa 等 · 2026-05-04 · arXiv

今日其余入选

7 篇 · 按综合排名
02 3.85

RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI

为解决放射科场景算力受限、无法部署大模型的问题,作者基于 Qwen2.5-3B-Instruct 与 Qwen3-4B 这两个 3-4B 量级 SLM,用 LoRA 在 12 个公开数据集合 162K 样本、覆盖 9 项放射科任务上做多任务微调,目标是消费级 CPU 部署。结果显示:LoRA 相比零样本基线在 RADS 分类提升 53%、NLI 提升 60%、N-staging 提升 89%,两个模型在不同子任务上表现互补。

INSIGHT这篇论文为搜推团队提供「小模型 + 多任务 LoRA + CPU 部署」的完整 recipe:单一 3B-4B 主干通过 LoRA 适配多任务,权重切换零成本,可在无 GPU 节点上做行内排序、相关性判断、长尾意图识别等任务。把这种思路套用到 query 理解、内容审核、相关性判别等子模块,能显著降低 serving 成本。

Pankaj Gupta, Kartik Bose
arXiv·2026-05-04·Relevance 4 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
03 3.55

How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

作者发现 CED、RAUQ、WildGuard 等主流 OOD 检测方法看似有效,实则被序列长度严重 confound(|r| ≥ 0.61),在长度匹配评测下退化到接近随机。注意力熵基线也呈现同样混淆,根因是 attention 在序列长度上有 Θ(log T) 的依赖。基于此提出双通路框架:embedding 通路捕获「输入是什么」(适合主题漂移),processing trajectory 通路捕获「模型如何处理」(适合隐蔽意图 OOD)。

INSIGHT对依赖 OOD/异常检测的搜推 safety、Query 拒绝、低质内容拦截等模块,本文提示一个被忽视的工程陷阱:现有 white-box OOD 指标的强信号其实来自序列长度本身。线上落地前必须做长度匹配/控制变量评测,否则基线「看起来很好」。同时双通路视角给出工程设计原则:词表显著的 OOD 用 embedding 端,而隐藏意图类(如越狱 prompt)需要走 trajectory 特征。

Hamidreza Saghir
arXiv·2026-05-04·Relevance 3 · Novelty 4 · Practical 3 · Evidence 4 · Timely 5
04 3.55

Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment

Stanford

大型音频模型 (LAM) 全量 benchmark 评测代价高昂。作者在 18 个音频模型 × 40 项任务上系统比较 10 种子集选择方法,发现仅 50 个样本(占数据 0.3%)即可与全量基准达到 0.93 以上 Pearson 相关。进一步研究 LAM 评测分数与人类偏好(来自 LMArena Audio)的对齐度,发现现有学术 benchmark 与人类偏好相关性较弱,提出基于偏好优化的子集选择策略。

INSIGHT评测基建对搜推团队同样是真问题:A/B、模型选型、回归测试每天都跑大量 benchmark。本文给出可移植的方法论——通过子集选择把评测样本压到 0.3%,相关性仍 ≥0.93,可线性降低 CI/CD 成本。更关键的洞察是:学术 benchmark ≠ 用户偏好,要把用户/产品指标作为 benchmark 选择依据,否则离线指标好看但线上无收益。

Woody Haosheng Gan, William Held, Diyi Yang
arXiv·2026-05-04·Relevance 3 · Novelty 3 · Practical 4 · Evidence 4 · Timely 5
05 3.45

From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing

NUSOxford

现有 LLM 参数编辑方法(ROME/MEMIT 系)依赖在目标层算 anchor,再向前向各层「反向扩散」(backward spreading)。作者系统分析其失效模式后提出 forward replay:在第一个编辑层优化 anchor,再正向传播到后续编辑层得到互相兼容的目标隐状态。计算复杂度与已有方法相同,但消除了 backward spreading 的累积误差,编辑成功率与下游能力保持均更优。

INSIGHT对需要做线上「小手术」修复模型错误事实、关键词偏置或合规问题的搜推系统,参数编辑是低成本替代再训练。论文揭示了既有 ROME/MEMIT 路径的内在不一致问题,给出更稳的 forward 替代方案,可直接套用到现有编辑流水线。落地时建议把它作为模型热更新的备选路径,配合 token 级 unlearning 形成线上合规修复工具链。

Wei Liu, Hongkai Liu, Zhiying Deng, Yee Whye Teh, Wee Sun Lee
arXiv·2026-05-04·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
06 3.45

Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning

传统 unlearning 在 sequence 级对所有 token 做均匀梯度更新,导致噪声大、效用下降。作者提出 TokenUnlearn 框架,结合 mask 的「知识感知」与 entropy 的「不确定性感知」两类信号,给每个 token 算重要性分数,再以 hard 选择(仅高重要性 token 更新)或 soft 加权(按分数缩放梯度)两种策略落地。理论分析显示 token 级选择可降低梯度方差,实验证实 forgetting/utility tradeoff 优于现有 sequence-level 方法。

INSIGHTGDPR/PIPL 时代,模型上线后处理「删除请求」是搜推合规基建的硬需求。本文将 unlearning 从 sequence 级精细化到 token 级,可在保留主体能力的同时精准移除被请求的事实。对内容/用户数据频繁更新的搜推团队,token 级 attribution 还可作为模型可解释性副产品,帮助定位偏差与错误来源。

Jiawei Wu, DouDou Zhou
arXiv·2026-05-04·Relevance 3 · Novelty 4 · Practical 3 · Evidence 3 · Timely 5
07 3.30

Lost in State Space: Probing Frozen Mamba Representations

Mamba 的递归状态 h_t 理论上是历史所有 token 的压缩摘要,作者验证「在 patch 边界直接读取 y_t 得到免费句向量」这一假设。在 SST-2、CoLA、MRPC、STS-B、IMDb 五个基准上,对 Mamba-130M 用四种冻结特征抽取策略 + 三种随机种子做严格探针对比。结果显示 patch 边界读出并未稳定优于 mean pooling,反而暴露出严重各向异性(cosine 均值 0.9999、std 0.000044)和原始 SSM 状态的表征坍缩(CoLA MCC = 0.000)。

INSIGHTMamba 等 SSM 架构是 vLLM/TRT-LLM 长文本部署的热门替代,但本文用扎实实验告诉基建团队:直接把 Mamba 状态当 sentence embedding 不可行,需要额外的池化/对齐头才能恢复语义。在选型评估时要警惕「recurrent state 自带语义」的诱惑,做下游迁移前先跑各向异性 / cosine 均值这类基础诊断指标。

Bhagyashree Wagh, Akash Singh
arXiv·2026-05-04·Relevance 3 · Novelty 4 · Practical 2 · Evidence 4 · Timely 5
08 2.85

Building trust into AI

Amazon

Amazon 科学家与政策专家撰文系统介绍其「负责任 AI 流水线」如何把安全与价值对齐嵌入 AI 全生命周期。文章覆盖数据治理、模型评测、Red-Team、上线前审查、部署后监控等关键环节,并给出 AWS 内部跨产品线统一治理的组织实践。

INSIGHT对搜推平台团队,本篇是构建合规/治理基建的实用 reference:把模型卡、数据沿袭、用户反馈闭环、上线 gate、回归监控编排进同一条流水线。可对照梳理自家「模型生命周期」基建缺口,特别是 GenAI 在搜索摘要/推荐解释等 UGC 场景的内容安全监控规范。

Amazon Science
技术博客·2026-05-04·Relevance 3 · Novelty 2 · Practical 3 · Evidence 2 · Timely 5

其他赛道今日

点击切换
Generative
8
生成式推荐 · 篇入选
Personalization
9
个性化推荐 · 篇入选
AI Search
6
AI 搜索 · 篇入选
Agentic
10
智能体搜索 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 7 个项目
pi-mono: AI agent toolkit (CLI、unified LLM API、TUI、Web UI、Slack bot、vLLM pods)AI agent toolkit: coding agent CLI, unified LLM API, TUI & web UI libraries, Slack bot, vLLM podsTypeScript · ★ 44576 · 2025-08-09 · GitHubChatDev 2.0: Dev All through LLM-powered Multi-Agent CollaborationChatDev 2.0: Dev All through LLM-powered Multi-Agent CollaborationPython · ★ 32982 · 2023-08-28 · GitHubmlflow: open-source AI engineering platform (debug / evaluate / monitor / optimize LLM 与 ML 模型)The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.Python · ★ 25720 · 2018-06-05 · GitHubmoonshotai/Kimi-K2.5image-text-to-text;transformers / safetensors / compressed-tensors / conversationalmodel · ★ 2776 · 2026-04-30 · HuggingFacemoonshotai/Kimi-K2.6image-text-to-text;transformers / safetensors / compressed-tensors / conversationalmodel · ★ 2776 · 2026-04-30 · HuggingFaceQwen/SAE-Res-Qwen3.5-27B-W80K-L0_50Qwen3.5-27B 的稀疏自编码器残差版本(W80K,L0=50)model · ★ 0 · 2026-04-30 · HuggingFaceQwen/QwenScopeQwen 团队发布的可视化分析 Spacespace · ★ 0 · 2026-04-30 · HuggingFace