OpenAI近期低調開源了一款僅有0.4億參數的特殊語言模型，其核心架構中99.9%的權重參數被強制歸零。這項名為Circuit Sparsity的技術突破，通過極端稀疏化的設計路徑，試圖破解傳統大模型難以解釋的"黑箱"困境。研究人員宣稱，這種改造后的Transformer架構能讓AI決策過程像電路圖般透明可追蹤。
傳統大模型的神經網絡如同糾纏的毛線團，數以億計的參數在密集連接中傳遞信息，導致決策路徑難以拆解。而新模型通過L0范數約束技術，在訓練階段就強制切斷99.9%的無效連接，僅保留千分之一的活性通道。這種設計使信息流沿固定路徑傳輸，每個神經元都承擔特定功能模塊——就像電路中的電阻、電容各司其職。
實驗數據顯示，在預訓練損失相當的情況下，稀疏模型的任務專屬電路規模僅為稠密模型的1/16。以Python引號閉合任務為例，其核心電路僅由2個MLP神經元和1個注意力頭構成，包含專門的引號檢測器和類型分類器。研究人員證實，這些模塊具有嚴格的必要性：移除任一節點都會導致任務失敗，確保了計算路徑的可驗證性。
這項技術對當前主流的混合專家模型（MoE）構成挑戰。MoE通過門控網絡將任務分配給多個專家子網絡，但存在兩個根本缺陷：其一，專家間信息協同依賴復雜的負載均衡機制，容易導致特征流形割裂；其二，專家功能邊界模糊，無法實現微觀機制的精準拆解。相比之下，Circuit Sparsity通過超高維度特征投射和嚴格激活限制，從設計層面確保每個特征的單義性和正交性，從根源上避免了信息干擾。
然而極端稀疏化也帶來顯著代價。該模型的訓練和推理計算量達到傳統稠密模型的100-1000倍，目前尚無法達到頂尖大模型的性能水平。作為對比，MoE架構在算力效率與模型性能的平衡上已形成成熟方案，短期內仍將是工業界的主流選擇。研究團隊承認，這項工作僅是可解釋性探索的早期嘗試，未來計劃向更大規模模型擴展。
針對訓練效率問題，研究人員提出兩條優化路徑：一是從現有稠密模型中提取稀疏電路，通過復用基礎框架降低成本；二是持續改進原生稀疏模型的訓練機制，在保持可解釋性的同時提升計算效率。這些探索或許能為破解大模型黑箱問題提供新的技術范式。
