谷歌研究院近日在機器學習領域取得重要突破，針對大語言模型持續學習時面臨的“災難性遺忘”難題，提出名為“嵌套學習”的全新范式，相關成果已發表于國際頂級會議NeurIPS 2025。

傳統大語言模型雖具備強大能力，但知識獲取方式存在顯著局限。其知識體系主要依賴預訓練階段的靜態數據，或受限于有限的上下文窗口長度，無法像人類大腦般通過“神經可塑性”機制動態更新知識——即根據新經驗調整認知結構而不丟失原有能力。當直接用新數據覆蓋舊模型時，常出現新任務表現提升但舊任務性能斷崖式下降的“災難性遺忘”現象。

研究團隊提出的嵌套學習范式，通過重構機器學習模型的底層架構解決了這一矛盾。該范式將復雜模型視為多層次嵌套的優化問題集合，每個子問題擁有獨立的“上下文流”和更新節奏。這種設計突破了傳統模型架構與優化算法分離的局限，為構建計算深度更強的AI組件提供了新維度。

基于該理論框架，研究團隊開發了兩項關鍵技術：一是“深度優化器”，通過將優化過程本身轉化為可學習模塊，并優化其目標函數設計，使模型對數據噪聲和分布變化具有更強適應性；二是“連續體內存系統”，該系統將模型記憶分解為多個更新頻率不同的模塊，形成從短期到長期的平滑過渡，構建出更高效的持續學習內存架構。

為驗證理論有效性，團隊構建了名為“Hope”的概念驗證模型。該模型基于Titans架構設計，通過自修改循環網絡深度整合連續體內存系統，實現多層級上下文學習。實驗數據顯示，在語言建模和常識推理任務中，Hope模型的困惑度指標較現代循環模型和標準Transformer顯著降低，準確率大幅提升。

在針對長文本處理能力的“大海撈針”測試中，Hope模型展現出卓越優勢。該測試要求模型從超長文本中精準定位并回答特定問題，實驗結果表明，連續體內存系統能有效處理超長信息序列，為開發具備持續學習能力的AI系統提供了關鍵技術路徑。

據悉，“大海撈針”測試是評估大語言模型長文本理解能力的重要基準，通過模擬從海量信息中提取關鍵內容場景，驗證模型在真實應用場景中的信息檢索可靠性。此次突破標志著AI模型向“溫故知新”的類人學習能力邁出重要一步。