- 1. A Technical Report on the Second Place Solution for the CIKM 2025 AnalytiCup Competition
这份竞赛技术报告把多语言电商类目相关性判断拆成翻译、意图理解、类目匹配和相关性判断四个子任务，并用Qwen2.5-14B加LoRA替代维护成本高的集成系统。单张A100每秒处理20个样本，公开榜得分0.8902、私有榜得分0.8889，说明结构化推理路径兼顾准确性与推理效率。
出现于日报：08-07
- 2. GRACE: Generative Recommender Acceleration Engine for Real-Time Ads Retrieval
GRACE 面向实时广告生成式召回，把目录约束与个性化定向规则直接嵌入 Semantic ID 解码，并为宽 beam、短序列负载重写注意力、KV Cache 和 beam search 内核。在 3000 万个 Semantic ID 上，广告定向通过率由 23.55% 升至 40.42%；GH200 上解码延迟从 197.7 毫秒降至 17.8 毫秒，整体加速 11.1 倍。
出现于日报：08-05
- 3. ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads
ARCHead 针对权重化量后仍以 BF16/FP16 保存的语言模型输出头，提出激活度量驱动的低秩核心、分组 INT4 残差和低秩校正组合。Qwen3-8B-Base 上，输出头存储降至 BF16 的 25.6%，相对困惑度为 1.007；相对朴素 INT4 的 1.14–1.16 更稳，吞吐变化小于 2%。
出现于日报：08-06
- 4. Strata: Hierarchical Context Caching for Long Context Language Model Serving
针对长上下文服务中 KV 缓存跨 GPU HBM、CPU 内存和 SSD 搬运时易受碎片小传输、加载停顿与延迟命中拖累的问题，Strata 以 GPU 辅助大块 I/O 配合缓存感知调度。系统已集成 SGLang 并投入生产，相比 vLLM-LMCache 吞吐最高提升 5 倍、相比 TensorRT-LLM 提升 3.75 倍，且不损害短上下文性能。
出现于日报：08-03
- 5. 智能开放搜索 OpenSearch：一站式智能搜索业务开发平台
阿里云 OpenSearch 把分布式搜索、查询语义理解、机器学习排序、文档切片、向量化、召回、排序、效果评估和 LLM 服务组合为一站式链路。平台同时提供向量检索版本，覆盖 RAG、推荐、相似性检测和语义搜索，强调在线性能、效果与稳定性，适合直接承载企业级搜索基础设施。
出现于日报：08-06
- 6. LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs
这项实证研究比较 vLLM、SGLang、TensorRT-LLM、LMDeploy 和 FlashInfer 五类 LLM 服务框架，观察它们在真实工程中的采用情况与系统设计。结果显示 vLLM 的可见度和采用度最高，平行计算、内存管理与网络裁剪是最常见的优化类别，为选型和容量评估提供了现实基线。
出现于日报：08-06
- 7. Token-Native Storage: Read and Write in your Agent's Language
论文主张搜索与数据库直接以模型 BPE token ID 存储文本，消除读取时反复 UTF-8 解码和分词的成本。r50k 的 uint16 打包比 UTF-8 小 2.25 倍，熵编码达到 3.30 倍；在 6 种 tokenizer、3 类语料上均不逊于字节压缩，直接交付 token ID 还能让读取快约 10–600 倍。
出现于日报：08-05
- 8. Efficient LLM Serving on Commodity GPU Clusters with Data-Reduced Cross-Instance Orchestration
EcoServe 面向普通以太网 GPU 集群，提出部分解耦的 prefill/decode 协作方式，并用实例循环激活、自适应路由和 mitosis 扩缩容缓解阶段干扰。在 32 张 NVIDIA L20 上服务 30B/70B 模型时，相对 vLLM、Sarathi、DistServe 与 MoonCake 的 goodput 提升 1.96～2.51 倍，代码已公开。
出现于日报：08-03
- 9. Join Indices for Search Engines: a Prunable Parallel Semijoin over Lucene Segments
该工作把关系数据库的 join-index 引入 Lucene 分段存储，为父子 segment 物化追加式 ordinal 映射，并用分段、min/max 与文档两阶段确认三层剪枝并行执行半连接。Solr 原型在 100 万商品与 1000 万 SKU 上把平均延迟从 1934.6 毫秒降到 359.8 毫秒；并发 8 时吞吐达到基线峰值的 6.8 倍。
出现于日报：08-05
- 10. OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models
OmniPack 面向音频—视觉长序列的高计算开销，提出无需训练的两级 token 压缩：模型前先按模态重要性、全局覆盖和相似度合并结构冗余，模型内再利用文本引导做任务相关语义精炼。作者在多组低 token 预算实验中验证了它相对单独前置压缩或模型内压缩的稳健性。
出现于日报：08-06