香港中文大學(xué)明瑞、吳昊原團(tuán)隊聯(lián)合華為諾亞方舟實驗室與ChatEDA科技公司，在人工智能訓(xùn)練領(lǐng)域取得突破性進(jìn)展。這項發(fā)表于arXiv預(yù)印本平臺的研究（編號：arXiv:2509.26313v1），提出一種名為"單詞匯滾動"的創(chuàng)新訓(xùn)練方法，有效解決了AI模型在知識學(xué)習(xí)與泛化能力之間的平衡難題。

傳統(tǒng)AI訓(xùn)練存在顯著的兩難困境：監(jiān)督微調(diào)雖能快速讓模型掌握標(biāo)準(zhǔn)答案，但面對新問題時往往束手無策；強(qiáng)化學(xué)習(xí)雖能培養(yǎng)泛化能力，卻需要海量計算資源和漫長訓(xùn)練周期。研究團(tuán)隊通過類比人類學(xué)習(xí)過程發(fā)現(xiàn)，關(guān)鍵在于讓AI在"動態(tài)實踐"中學(xué)習(xí)，而非單純模仿靜態(tài)樣本。

新方法的核心創(chuàng)新在于將文本生成過程分解為數(shù)百個獨(dú)立的詞匯級學(xué)習(xí)任務(wù)。當(dāng)AI需要生成下一個詞匯時，系統(tǒng)會從其概率分布中隨機(jī)抽取256個候選詞，通過與標(biāo)準(zhǔn)答案對比即時評估選擇質(zhì)量。這種設(shè)計使每個詞匯生成都成為完整的學(xué)習(xí)循環(huán)，既保持了監(jiān)督微調(diào)的效率，又獲得了強(qiáng)化學(xué)習(xí)的泛化優(yōu)勢。

實驗數(shù)據(jù)顯示，在Qwen2.5-3B至Qwen3-8B四個不同規(guī)模模型上，新方法均取得顯著提升。以Qwen3-4B為例，MATH基準(zhǔn)測試分?jǐn)?shù)從63.95躍升至75.30，奧林匹克數(shù)學(xué)競賽基準(zhǔn)從32.10提升至40.63。更關(guān)鍵的是，該方法將傳統(tǒng)訓(xùn)練中常見的"災(zāi)難性遺忘"現(xiàn)象發(fā)生率從10次降至4次，且性能下降幅度明顯減小。

技術(shù)實現(xiàn)層面，研究團(tuán)隊將復(fù)雜的策略梯度理論簡化為詞匯級操作。每個候選詞匯根據(jù)匹配情況獲得即時反饋：正確選擇得+1分，錯誤選擇扣0.1分。這種二元獎勵機(jī)制配合動態(tài)調(diào)整的采樣頻率，使模型在訓(xùn)練過程中自動形成正向?qū)W習(xí)循環(huán)。通過引入"溫度調(diào)節(jié)"參數(shù)，系統(tǒng)還能平衡探索與利用，避免陷入局部最優(yōu)。

與同期提出的動態(tài)微調(diào)方法相比，新方法展現(xiàn)出獨(dú)特優(yōu)勢。當(dāng)懲罰參數(shù)β設(shè)為0時，兩者數(shù)學(xué)等價；但β取-0.1時，新方法通過顯式建模錯誤選擇，使所有測試任務(wù)的性能進(jìn)一步提升。這種改進(jìn)源于對負(fù)樣本的有效利用，幫助AI建立更清晰的選擇標(biāo)準(zhǔn)。

跨領(lǐng)域測試驗證了方法的通用性。在代碼生成任務(wù)中，Humaneval+基準(zhǔn)分?jǐn)?shù)平均提升3.8分，MBPP+提升2分；通用推理測試如MMLU-Pro也表現(xiàn)出穩(wěn)定改進(jìn)。這些結(jié)果證明，新方法培養(yǎng)的不僅是特定領(lǐng)域技能，更是深層的語言理解和邏輯推理能力。

深入分析揭示，成功關(guān)鍵在于適度懲罰機(jī)制的設(shè)計。β=-0.1時，系統(tǒng)既能提供明確的學(xué)習(xí)信號，又不會抑制探索行為。訓(xùn)練過程中，正確詞匯的采樣頻率持續(xù)上升，形成健康的學(xué)習(xí)曲線。相比之下，傳統(tǒng)方法的學(xué)習(xí)效率明顯較低，而β=0.1的正向激勵設(shè)置則導(dǎo)致訓(xùn)練不穩(wěn)定。

盡管當(dāng)前研究主要在80億參數(shù)以下模型展開，且數(shù)據(jù)集集中于數(shù)學(xué)推理領(lǐng)域，但跨任務(wù)表現(xiàn)已顯示良好泛化性。研究團(tuán)隊正著手?jǐn)U展至更大規(guī)模模型和更多專業(yè)領(lǐng)域，同時優(yōu)化獎勵機(jī)制以捕捉更細(xì)致的質(zhì)量差異。計算成本方面，雖然仍高于標(biāo)準(zhǔn)監(jiān)督微調(diào)，但已比傳統(tǒng)強(qiáng)化學(xué)習(xí)降低一個數(shù)量級。

這項突破為AI訓(xùn)練開辟了新路徑。在教育輔助領(lǐng)域，該方法訓(xùn)練的模型能更準(zhǔn)確地解釋錯誤原因；在代碼開發(fā)中，可顯著減少程序漏洞；在專業(yè)咨詢服務(wù)里，有望提高關(guān)鍵領(lǐng)域建議的可靠性。隨著技術(shù)成熟和成本下降，這些應(yīng)用場景將逐步從實驗室走向現(xiàn)實產(chǎn)品。

問：單詞匯滾動方法如何解決AI訓(xùn)練的效率與泛化矛盾？答：該方法通過將完整文本生成分解為詞匯級學(xué)習(xí)任務(wù)，使每個詞匯選擇都成為獨(dú)立的學(xué)習(xí)機(jī)會。AI在生成過程中持續(xù)接收即時反饋，既保持了監(jiān)督微調(diào)的高效性，又通過動態(tài)數(shù)據(jù)采樣獲得了強(qiáng)化學(xué)習(xí)的泛化能力。

問：新方法在防止模型"遺忘"舊知識方面表現(xiàn)如何？答：實驗顯示，傳統(tǒng)監(jiān)督微調(diào)在10個測試場合出現(xiàn)性能下降，而新方法僅發(fā)生4次且幅度更小。這得益于其動態(tài)學(xué)習(xí)機(jī)制，使模型在掌握新知識的同時能更好保留已有能力。

問：普通開發(fā)者何時能應(yīng)用這項技術(shù)？答：目前該方法仍處于研究階段，計算成本雖已大幅降低但仍高于標(biāo)準(zhǔn)訓(xùn)練。隨著技術(shù)優(yōu)化和硬件發(fā)展，預(yù)計未來3-5年內(nèi)將逐步應(yīng)用于教育、編程輔助等實際場景，幫助開發(fā)者提升工作效率和輸出質(zhì)量。