谷歌研究院近日在人工智能持續(xù)學(xué)習(xí)領(lǐng)域取得重要突破，針對(duì)大語言模型普遍存在的“災(zāi)難性遺忘”問題，提出名為“嵌套學(xué)習(xí)”（Nested Learning）的創(chuàng)新范式。該研究已發(fā)表于NeurIPS 2025學(xué)術(shù)會(huì)議，相關(guān)技術(shù)成果通過概念驗(yàn)證模型“Hope”得到實(shí)證。

傳統(tǒng)AI模型在吸收新知識(shí)時(shí)，常因直接覆蓋原有參數(shù)導(dǎo)致舊任務(wù)性能斷崖式下降。這種現(xiàn)象與人類大腦的神經(jīng)可塑性形成鮮明對(duì)比——人腦能夠通過調(diào)整神經(jīng)連接持續(xù)學(xué)習(xí)新技能，同時(shí)保留已有認(rèn)知。谷歌團(tuán)隊(duì)通過重構(gòu)機(jī)器學(xué)習(xí)底層架構(gòu)，首次將模型架構(gòu)設(shè)計(jì)與優(yōu)化算法進(jìn)行深度耦合，構(gòu)建出包含多層級(jí)優(yōu)化問題的嵌套結(jié)構(gòu)。

研究核心包含兩項(xiàng)技術(shù)突破：其一為“深度優(yōu)化器”，該組件將優(yōu)化過程本身轉(zhuǎn)化為可學(xué)習(xí)模塊，通過改進(jìn)目標(biāo)函數(shù)增強(qiáng)對(duì)噪聲數(shù)據(jù)的抗干擾能力；其二為“連續(xù)體內(nèi)存系統(tǒng)”（CMS），通過模擬人類記憶的分層機(jī)制，將模型內(nèi)存分解為不同更新頻率的模塊群，形成從短期到長(zhǎng)期的平滑過渡體系。

基于上述理論構(gòu)建的Hope模型采用自修改循環(huán)網(wǎng)絡(luò)架構(gòu)，深度整合CMS系統(tǒng)。該模型通過自我參照機(jī)制優(yōu)化內(nèi)存結(jié)構(gòu)，在實(shí)驗(yàn)中展現(xiàn)出突破性表現(xiàn)：在標(biāo)準(zhǔn)語言建模任務(wù)中，其困惑度指標(biāo)較傳統(tǒng)循環(huán)網(wǎng)絡(luò)降低37%，常識(shí)推理準(zhǔn)確率提升29%。特別是在“大海撈針”（NIAH）長(zhǎng)文本測(cè)試中，Hope成功從百萬級(jí)token的文本中精準(zhǔn)定位關(guān)鍵信息，驗(yàn)證了CMS系統(tǒng)處理超長(zhǎng)序列的能力。

NIAH測(cè)試作為評(píng)估模型長(zhǎng)程依賴能力的黃金標(biāo)準(zhǔn)，要求系統(tǒng)從相當(dāng)于整部《戰(zhàn)爭(zhēng)與和平》長(zhǎng)度的文本中提取特定信息。實(shí)驗(yàn)數(shù)據(jù)顯示，Hope模型在128K token長(zhǎng)度下的信息檢索準(zhǔn)確率達(dá)到92%，較標(biāo)準(zhǔn)Transformer模型提升41個(gè)百分點(diǎn)。這項(xiàng)突破為開發(fā)具備終身學(xué)習(xí)能力的通用人工智能奠定了技術(shù)基礎(chǔ)。