近期，專注于人工智能研究的技術團隊Thinking Machines Lab（TML）發布了一篇技術博客，詳細闡述了其研發的“在策略蒸餾”訓練方法。該方法通過融合強化學習的糾錯機制與監督微調的密集反饋，顯著提升了小型語言模型在數學推理和個性化助手場景中的表現。

據團隊CEO米拉·穆拉蒂介紹，這種技術突破使得僅具備基礎能力的輕量級模型，能夠通過低成本訓練獲得特定領域的專業能力。實驗數據顯示，該方法在數學推理基準測試AIME'24上的表現，超越了傳統強化學習所需的計算資源量級，同時避免了離策略訓練中常見的“復合錯誤”問題。

研究團隊將訓練過程劃分為三個階段：首先通過通用語料庫完成模型預訓練，使其掌握基礎語言能力；繼而通過領域文檔進行中訓練，注入專業知識；最終采用在策略蒸餾進行后訓練，確保模型在特定任務中達到專家級表現。相較于傳統方法，該方案通過逐token的密集反饋機制，使模型能夠精準修正推理路徑中的每個步驟。

在數學推理實驗中，團隊以Qwen3-8B模型為基礎，通過150個訓練步驟即達成70%的基準測試準確率。相較之下，傳統強化學習方法需要17,920個GPU小時才能達到相近水平。這種效率提升得益于蒸餾過程中使用的反向KL散度損失函數，該函數能夠精確量化學生模型與教師模型在每個生成token上的分布差異。

技術實現層面，研究團隊構建了包含教師模型評估的迭代訓練框架。在每輪訓練中，學生模型生成推理軌跡后，由高性能教師模型對每個token進行質量評分。通過計算反向KL散度，系統能夠精準定位錯誤根源，而非僅反饋最終結果的正誤。這種機制使得模型在處理復雜問題時，能夠有效區分運算順序錯誤與基礎算術失誤。

個性化助手開發實驗進一步驗證了該技術的適應性。當在內部文檔數據上進行中訓練后，模型的專業知識得分顯著提升，但指令遵循能力出現下降。通過引入在策略蒸餾階段，以早期版本模型作為教師進行行為矯正，研究團隊成功恢復了模型的指令響應能力，同時保持了專業知識水平。這種持續學習能力為模型部署后的動態更新提供了可行方案。

技術對比顯示，在策略蒸餾在數據利用效率方面具有顯著優勢。實驗表明，單個訓練提示通過多次采樣生成的軌跡，能夠提供比傳統強化學習更豐富的監督信號。這種特性使得開發者在數據采集受限的場景下，依然能夠完成有效模型訓練。

研究團隊特別指出，該成果的實現得益于對Qwen3系列模型的深度研究。在技術實現過程中，Qwen3團隊的相關研究提供了關鍵啟發，其公開的模型架構與訓練數據為實驗驗證創造了條件。據統計，博客原文中“Qwen”關鍵詞出現頻次達38次，凸顯了開源模型對技術創新的重要推動作用。

目前，Thinking Machines Lab已通過Tinker訓練平臺完整開源了技術實現方案。該方案包含從數據準備到模型部署的全流程指導，支持開發者復現數學推理與個性化助手等典型應用場景。研究團隊強調，這種訓練范式不僅適用于學術研究，更為企業級AI應用開發提供了低成本、高效率的解決方案。