Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns
提出 TRC² (Thalamically Routed Cortical Columns),一种受大脑丘脑路由机制启发的 decoder-only 架构,使大语言模型能在持续学习中避免灾难性遗忘,无需外部记忆缓冲或回放机制。通过将参数组织为“皮层柱”并由“丘脑”路由器动态分配,新任务自动获得专用参数子集。在多个持续学习基准上保持旧任务性能不降的同时,新任务准确率与独立训练持平。
INSIGHT生成式推荐系统面临持续演化的用户兴趣和 item 库,传统做法是定期全量重训,成本高昂。TRC² 的路由机制提供了一种新思路:让模型架构本身支持增量更新,新 item 和新用户行为模式通过专用参数柱学习,不干扰已有的推荐知识。对于采用 LLM 作为推荐模型的系统,这一架构可减少重训频率,适用于 item 库快速变化的场景(如 UGC 社区)。