1. 问题与动机
生成式 POI 推荐通常先把地点编码为多层语义 ID，再让 LLM 根据用户轨迹自回归生成下一个地点。但现有方法主要从文本语义、协同共现和行为序列学习“兴趣空间”，经纬度往往只是被序列化为普通文本，数字 token 不具备距离结构；即使加入地理对比目标，量化仍容易被高方差语义特征主导。结果是相邻地点未必共享相近 ID，而同一连锁品牌相隔几十公里的门店却可能非常接近。更严重的是，直线距离也不能表达河流、单行道和高架造成的真实可达性。作者进一步指出，即便通过持续预训练注入空间知识，海量行为 SFT 仍会发生灾难性遗忘，使模型退回纯行为拟合。SPAR 因而把问题拆成三个连续环节：在标识层构造空间内生的 SID，在认知层学习城市级距离、方向和路网关系，在适配层保护已获得的空间能力。该问题对地图服务尤其关键，因为系统服务数十亿用户和 POI，行为上合理但现实中不可达的结果会直接损害决策效率。
2. 方法详解
第一阶段 SI-SID 显式编码地理坐标。经度 λ 和纬度 φ 分别归一化到 [0,2π]，再投影到 K 个指数频带 f_k=10000^{-k/K}，每个频带产生 sin 与 cos 特征；经纬两组 Fourier 特征拼接后经过两层 MLP，得到维度 d_g=4K 的地理表示。内积只依赖坐标差，且在城市场景位移范围内随距离单调下降，同时满足 Lipschitz 连续性，因此附近地点天然得到附近表示。文本侧采用 Qwen3-embedding-4B 等编码器得到 e_sem，和 e_geo 拼接、L2 归一化后送入四层残差 K-means。工业数据前三层码本大小均为 512，逐层选择最近质心并归一化残差；第四层是消歧索引，保证 POI 的四 token SID 唯一。
第二阶段 MG-CPT 用 25 个数据集对基础 LLM 做标准因果语言模型持续预训练。语料按空间认知难度分三层：基础属性层把 SID 与名称、类别、地址、行政区、坐标及道路属性绑定；关系层训练 POI—POI、POI—道路的聚集关系、方向和欧氏距离；系统层引入路线距离、通行时间和有序道路序列，学习整座城市的真实连通性。所有数据被序列化为 next-token prediction 样本，损失是各位置负对数似然。这样 SID 不再是孤立符号，而成为城市关系图中的地点。
第三阶段 TV-SFT 处理空间知识被行为微调覆盖的问题。先计算空间任务向量 τ=W_MG-CPT−W_Base 并冻结；并行的行为分支对基础模型做全参数 SFT，空间分支则只训练线性层上的低秩 LoRA 增量 BA。最终权重为 W_Base+α(τ+ΔLoRA)，默认 α=1。训练目标是给定历史轨迹、query、实时坐标等上下文，逐 token 最大化四层 SI-SID 的条件概率。实验使用 Qwen3 0.6B、4B、8B，默认 4B；全部实验在 64 张 NVIDIA A100 上完成，batch size 32，学习率 2×10^{-5}。公开集按时间切分 80/10/10；工业集取一个月日志，最后一天测试，其余训练。论文未披露优化器、训练步数与线上推理成本，这是复现时仍需补齐的关键信息。
3. 核心技术贡献
第一，SI-SID 不是把经纬度当附加字段，而是把空间拓扑写进可生成词表。第一级残差码倾向划分地理区域，后续层在同一区域内细分语义，使“先约束在哪里，再判断是什么”成为解码结构本身；从 TextOnlyGR 换成 SI-SID，四个工业数据集平均提升 10.76%。第二，MG-CPT 把点、线、点到线、导航路径组织成由属性到关系再到系统的空间课程，补足普通 LLM 对特定城市细粒度路网缺乏认知的问题；在 SI-SID 基础上再带来 15.38% 的平均增益。第三，TV-SFT 用冻结任务向量保存持续预训练获得的能力，再用 LoRA 允许小范围适配，避免全参数行为训练把空间能力洗掉；相对 MG-CPT 后直接 Full-SFT，各数据集指标额外提升 2.15%–17.90%。三者并非简单相加：完整 SPAR 相对 TextOnlyGR 的综合提升达到 23.29%–37.47%，表明好的标识是空间学习的载体，而知识锚定又是释放预训练收益的必要条件。
4. 实验结果分析
论文覆盖 NYC、TKY 两个公开集，以及北京、上海、天津、浙江四个 AMAP 工业集。后者分别包含约 543 万、482 万、255 万、1125 万用户，实例量为 2098 万、2233 万、1518 万、2807 万，稀疏度均为 99.99%。核心结果如下：
| 数据集/指标 | PLUM-8B | SPAR-4B | SPAR-8B |
|---|---|---|---|
| NYC Recall@5 | 0.5619 | 0.6213 | 0.6556 |
| NYC NDCG@5 | 0.4672 | 0.5116 | 0.5415 |
| TKY Recall@5 | 0.5526 | 0.6108 | 0.6474 |
| 北京 Recall@5 | 0.4514 | 0.5708 | 0.6176 |
| 上海 Recall@5 | 0.3704 | 0.4910 | 0.5353 |
| 天津 Recall@5 | 0.3910 | 0.5051 | 0.5528 |
公开集上 SPAR-8B 相对最强基线 PLUM 的各项提升为 11.91%–19.29%；值得注意的是 SPAR-4B 已全面超过所有基线，说明空间知识设计的收益大于单纯扩参。工业四城中，0.6B、4B、8B 相对 PLUM 的平均提升分别为 9.92%、28.54%、38.32%，同时 8B 相对 4B 仍有约 4.58%–9.44% 的指标提升，显示方法与模型规模具有互补性。
消融中，北京 Recall@5 从 TextOnlyGR 的 0.4391，经 SI-SID 的 0.4656、加入 MG-CPT 的 0.5324，最终到 TV-SFT 的 0.5708；天津对应为 0.3801→0.4050→0.4380→0.5051，TV-SFT 单独贡献 15.32% 的相对增益。空间距离分析也验证了机制：上海和天津的文本 SID 基线 Dis@5 为 3.51–3.89 km 与 4.94–5.32 km，SI-SID 降到 3.13 km 和 4.37 km；完整流程累计距离减少 27.80% 和 23.68%。一个上海案例中，无 MG-CPT 时 top-50 有 48 个类别正确，但平均距离 1.84 km、目标仅排第 8，且很多结果在河对岸；加入 MG-CPT 后平均距离降到 1.02 km，50 个类别全部正确，目标升至第 1。
冷启动结果同样突出。以历史长度小于 8 定义冷启动，SPAR 在上海、浙江的 Recall@5 相对 TextOnlyGR 提升 47.6% 和 48.0%，高于暖启动的 30.7% 和 14.9%；冷暖差距也从 27.9%–38.3% 缩至 18.5%–20.6%。这说明当行为信号稀少时，结构化空间先验确实提供了独立排序信号，而非只拟合更多共现。
5. 局限与未来方向
论文没有单列 limitations，结论也主要强调六个数据集上的离线收益。由正文可确认的边界包括：任务限定在有精确经纬度、道路与导航日志的 POI 推荐；25 套城市级语料、四层码本和任务向量需要按城市维护，跨城市迁移与地图更新后的增量重训尚未评估；64 张 A100 的训练资源较高，论文未报告训练时长、显存、生成延迟、吞吐或线上 A/B，因此尚不能证明离线提升可在严格实时预算内兑现。方法把空间先验固定为 τ，也没有系统测试道路突发封闭、季节性流量或坐标噪声下的鲁棒性。未来应重点验证跨城零样本/少样本迁移、动态路网更新、在线收益与成本曲线，并比较冻结任务向量同蒸馏、检索式地图工具或图神经网络约束的取舍。
6. 工业实践意义
最直接的启示是：业务硬约束若只作为普通 feature 输入，往往会在高容量语义模型和海量行为训练中被稀释；应考虑把它写入候选标识、训练语料和适配机制三个层面。对社区 UGC 搜索，空间可以替换为内容层级、社区关系、时效区间或安全等级：先构造约束感知的离散 ID，再以关系任务持续预训练，最后用任务向量或受控适配保存能力。对于本地内容、探店帖子和问答，SI-SID 可减少“主题正确但地点错误”的召回；MG-CPT 的点—线—路径课程可扩展为作者—帖子—话题—会话链；TV-SFT 则适合保护在预训练阶段获得但容易被点击日志覆盖的知识。
落地可从低风险离线试验开始：用现有 embedding 拼接可解释的业务编码，训练较小码本并对比前缀纯度、Recall/NDCG、约束违例率；再用城市/社区关系任务做小模型 CPT；最后比较 Full-SFT 与任务向量锚定。需要避免直接照搬 8B 全量方案，因为论文没有线上延迟与 A/B 证据。部署时应对第一层码做分区缓存、用前缀树约束生成，监控码本碰撞和地图变更，并保留传统候选召回作为兜底。只有当约束满足率、冷启动效果、P99 延迟和资源成本同时达标，才适合扩大流量。