Google Research·· 19 天前精选AI 评分60
Google 提出睡眠框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究者提出睡眠框架，让 LLM 在活跃交互与离线记忆巩固之间交替，把短期上下文写入长期参数。该框架在 BABILong 上将长上下文理解扩展至 10M tokens，在 SQuAD 与持续预训练上分别取得 48.9% 和 46.2%，并在 AIME 24/25 与 HMMT 25 上达到 79.2%、69.0% 和 46.1%。
推荐理由
Google 研究者提出睡眠框架，用记忆巩固与梦境自改进两阶段让 LLM 持续学习而不遗忘旧知识。
来源：Google Research · research.google