大型語言模型雖在諸多領域展現出強大能力，但始終面臨一個關鍵難題：難以像人類大腦那樣持續學習新技能，同時不遺忘舊知識。傳統模型的知識獲取主要依賴預訓練數據和有限的上下文窗口，當新數據涌入時，直接更新模型參數往往會導致“災難性遺忘”——新任務表現提升的同時，舊任務性能大幅下滑。這一瓶頸嚴重制約了AI向更通用、更智能的方向發展。

為突破這一困境，谷歌研究院提出了一項名為“嵌套學習”（Nested Learning）的全新機器學習范式，并在NeurIPS 2025會議上詳細闡述了其核心機制。該范式顛覆了傳統將模型架構與優化算法分開設計的思路，將復雜模型視為一系列相互嵌套或并行的優化問題。每個問題擁有獨立的“上下文流”和更新速率，形成多層次的計算結構，從而為緩解災難性遺忘提供了新的理論框架。

基于這一范式，研究團隊開發了兩項關鍵技術：一是“深度優化器”，通過將優化器本身轉化為可學習的模塊，并優化其底層目標函數，使其對不完整或噪聲數據更具適應性；二是“連續體內存系統”（CMS），將模型內存設計為由多個更新頻率不同的模塊組成的光譜結構，實現從短期記憶到長期記憶的平滑過渡。這種分層內存機制顯著提升了模型處理超長信息序列的能力。

為驗證理論有效性，團隊構建了名為“Hope”的概念驗證模型。該模型基于Titans架構，深度整合了連續體內存系統，通過自我參照機制動態優化內存結構，實現了近乎無限層級的上下文學習。實驗數據顯示，在語言建模和常識推理任務中，Hope的困惑度顯著低于現代循環模型和標準Transformer，準確性提升幅度明顯。

在針對長文本記憶能力的“大海撈針”（NIAH）測試中，Hope的表現尤為突出。該測試要求模型從超長文本中精準定位并回答特定信息點，模擬人類在海量數據中提取關鍵內容的能力。實驗結果表明，Hope的內存管理效率遠超現有模型，證明連續體內存系統是處理超長信息序列的有效方案。這一突破為開發真正具備“溫故知新”能力的AI系統奠定了技術基礎。

NIAH測試作為評估大型語言模型長文本理解能力的基準工具，通過模擬“草堆中找針”的場景，要求模型在極長文本中準確識別并回答特定問題。Hope在該測試中的優異表現，不僅驗證了嵌套學習范式的實用性，也為未來AI在復雜信息處理領域的應用提供了新方向。