深度解读

深度解读 · 第 6 页

共 769 篇 · 按日期新到旧 · 每页 30 篇 · 第 6 / 26 页

查找解读请用站内搜索。

2026-10-29 16

系统与索引

WAKMan: Workload Aware KVCache Manager

vLLM 的前缀缓存该用哪种淘汰策略,取决于此刻的流量。agent 请求几秒后就带着同样的历史回来,默认的 LRU 正合适;热门系统提示和多轮对话的历史隔很久才回来,要靠优先保护反复被用的块的 S3FIFO 才留得住。作者在 20 种请求混合上实测,两种策略各有输赢。

2026-10-28 14

个性化推荐

Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems

多数线上排序模型先把用户行为序列压成一个固定向量,再交给特征交叉模块,之后的交叉层就看不到具体是哪几次点击、哪几次加购。阿里淘宝的 HiRank 把行为序列一直保留到主干的每一层,并让长期历史的检索 query 从最近的行为序列生成,而不是从年龄、性别这类静态画像生成。

系统与索引

HiLO: Towards Product-Level Graceful Degradation with a Quality-Aware, Load-Aware Control Framework

流量尖峰时每个服务各自降级,单个服务活下来了,整个产品效果却可能崩掉。微软的 HiLO 把降级从服务级提到产品级:事先定好几个经过验证的产品状态,每个状态规定每个服务降到哪一档,比如关掉某些特征、减少扇出或换更便宜的模型;运行时各服务上报负载,中央控制器据此选一个状态下发。

系统与索引

Cross-Modal Data Co-Locality for Heterogeneous Storage Systems

一条多模态查询要先查文本向量、再取对应的图片向量,两次近邻检索都很快,慢的是两份向量分在不同存储层时的那次搬运。CoLoc 不改向量也不改索引,只调整数据放在哪一层:经常被同一条查询一起用到的向量尽量放在同一层。==它优化的是数据放在哪,而不是在哪里搜==。