Token-Native Storage: Read and Write in your Agent's Language
论文主张搜索与数据库直接以模型 BPE token ID 存储文本,消除读取时反复 UTF-8 解码和分词的成本。r50k 的 uint16 打包比 UTF-8 小 2.25 倍,熵编码达到 3.30 倍;在 6 种 tokenizer、3 类语料上均不逊于字节压缩,直接交付 token ID 还能让读取快约 10–600 倍。
INSIGHT对向量检索、重排和 Agent 记忆服务,分词已成为重复且隐蔽的数据面开销,token-native 副本可作为面向模型的热存储层。词表按频率重排后,普通整数编码可接近熵编码比率且解码约快 7 倍;实际部署仍需保留 UTF-8 真源,并通过 tokenizer 版本绑定解决跨模型兼容和可逆迁移。