OpenAI近期低調(diào)開源了一款參數(shù)規(guī)模僅0.4B的新型大語言模型，其核心創(chuàng)新在于采用Circuit Sparsity技術，通過將99.9%的權重強制歸零，構建出具備可解釋性的稀疏計算架構。這種設計突破了傳統(tǒng)Transformer模型"黑箱"決策的局限，使AI的推理過程能夠像電路圖般被逐層拆解分析。

傳統(tǒng)大模型依賴稠密連接架構，神經(jīng)元間形成錯綜復雜的網(wǎng)絡，導致決策路徑難以追蹤。以GPT-2為基礎架構的Circuit Sparsity模型則反其道而行之，在訓練階段通過L0范數(shù)約束，將無效連接徹底切斷，僅保留千分之一的有效通路。這種原生稀疏設計使信息傳遞路徑高度固定化，每個任務都能形成獨立的最小功能電路。

實驗數(shù)據(jù)顯示，在預訓練損失相當?shù)臈l件下，稀疏模型的任務專屬電路規(guī)模僅為稠密模型的1/16。以Python引號閉合任務為例，其核心電路僅需2個MLP神經(jīng)元和1個注意力頭，包含引號檢測器、類型分類器等模塊，各組件功能高度專一化。這種"模塊化"設計確保了每個節(jié)點的必要性——移除任意組件都會導致任務失敗。

該技術對當前主流的混合專家模型（MoE）構成直接挑戰(zhàn)。MoE通過門控網(wǎng)絡將模型拆分為多個專家子網(wǎng)絡，依賴路由器分配任務。但這種近似稀疏的設計存在顯著缺陷：專家間特征流形割裂導致知識冗余，功能邊界模糊使得協(xié)同機制復雜，需依賴負載均衡函數(shù)維持穩(wěn)定。相比之下，Circuit Sparsity通過超高維度特征投射與嚴格節(jié)點激活限制，從根源上解決了概念分散問題，無需依賴路由器即可避免信息干擾。

然而這種創(chuàng)新架構面臨嚴峻的算力挑戰(zhàn)。其訓練與推理計算量較稠密模型高出2-3個數(shù)量級，當前性能尚無法比肩頂尖大模型。相比之下，MoE架構在算力效率與性能平衡方面已形成成熟方案，短期內(nèi)仍將是工業(yè)界主流選擇。研究人員正探索兩種優(yōu)化路徑：一是從現(xiàn)有稠密模型中提取稀疏電路以降低成本，二是改進訓練機制以提升原生稀疏模型的效率。

該技術開源后引發(fā)學界熱議。支持者認為其通過物理可解釋性重構了AI基礎架構，為模型審計提供了新范式；批評者則指出，當前實現(xiàn)方式在復雜任務處理上仍顯乏力。技術文檔顯示，研究團隊正嘗試將技術擴展至更大規(guī)模模型，重點攻關多步推理電路的構建方法。相關代碼與論文已在OpenAI官方平臺公開，學術界正圍繞其可擴展性展開激烈討論。