Hugging Face Daily Papers·· 2026-10-14精选AI 评分78
Cortex:将上下文整合进参数化记忆
Cortex: Consolidating Context into Parametric Memory
AI 导读
该研究提出 Cortex 框架,旨在解决大语言模型在移除上下文后性能丧失的问题。通过生成前瞻性查询并蒸馏上下文条件输出为低秩或结构前馈网络更新,该方法实现了记忆巩固与能力保留的平衡。
推荐理由
报告提出 Cortex 方法,将上下文增益蒸馏为可合并的参数更新,在保持非目标能力同时实现记忆巩固。
来源:Hugging Face Daily Papers · arxiv.org