AI語言模型領域迎來重要進展，開源社區迎來迄今最大規模的擴散語言模型——RND1-Base。這款由Radical Numerics團隊研發的300億參數模型，采用創新的稀疏專家混合架構，其中僅30億參數處于活躍狀態，既保證了模型性能又優化了計算效率。該模型完整開源了訓練框架、推理代碼及模型權重，為學術界和產業界提供了重要的研究基礎。
與傳統自回歸模型逐字生成文本的方式不同，RND1-Base將語言生成過程類比為圖像去噪，通過雙向注意力機制實現整個文本序列的并行生成。這種技術路徑突破了傳統模型的順序生成限制，在代碼生成、數學推理等需要復雜邏輯的任務中表現出顯著優勢。測試數據顯示，該模型在MMLU語言理解測試中取得57.2%的準確率，GSM8K數學推理達到72.1%，MBPP代碼生成任務中達到51.3%，各項指標均領先同類開源模型。
研發團隊通過創新的技術路線實現了模型的高效構建?；赒wen3-30BA3B自回歸模型，研究人員采用雙向掩碼機制和分層學習率調整，在保留原有知識的基礎上完成向擴散架構的轉型。訓練過程中使用800萬標記的大批量數據，經過5000億標記的預訓練，成功避免了從零開始訓練的資源消耗。這種模型重用策略為大規模AI系統的開發提供了新的思路。
模型的稀疏激活設計是其核心創新之一。300億總參數中僅10%處于活躍狀態，這種架構既保持了模型的表達能力，又大幅降低了推理階段的計算需求。雖然當前版本在貪婪采樣時偶爾會出現重復生成現象，但研究團隊已通過集成FlashInfer和SGLang推理后端，為后續優化提供了技術儲備。
作為下一代AI實驗室的代表作，RND1-Base承載著更宏大的愿景。研發團隊由來自DeepMind、meta等頂尖機構的專家組成，他們致力于構建能夠自我改進的AI系統。通過自動化研究平臺，模型可以參與優化下一代AI架構，這種遞歸式的改進機制有望推動科學發現和工業應用的加速發展。
開源決策背后蘊含著深刻的戰略考量。研究團隊希望通過釋放基礎模型，激發全球研究者探索擴散架構在推理優化、后訓練等方面的潛力。當前，擴散模型在長文本并行生成領域已展現出獨特優勢，此次開源或將推動更多自回歸模型向擴散架構轉型，填補高效生成模型的技術空白。
盡管在泛化能力和內存占用方面仍有改進空間，但RND1-Base的發布標志著擴散語言模型從理論探索向工程實踐的關鍵跨越。其創新的技術路徑和完整的開源體系，不僅為研究社區提供了重要工具，更為AI系統的自我進化開辟了新的可能性。隨著更多研究者加入這一領域，擴散架構有望重塑下一代AI的技術格局。
