在人工智能領域，大模型的可解釋性一直是備受關注的焦點。近日，OpenAI公布了一項關于訓練小模型的新研究，旨在讓模型的內部機制更易于人類理解，為提升模型可解釋性提供了新的思路。

OpenAI指出，當前ChatGPT背后的語言模型結構復雜，其具體工作原理尚未被完全掌握。此次研究就是為了縮小這一認知差距。研究人員提出的核心思路是訓練稀疏模型，這類模型神經元連接少，但神經元數量多，通過簡化神經網絡結構，使其更易理解。

研究人員認為，雖然推理模型通過思維鏈展現出的可解釋性在短期內有一定價值，能捕捉到模型的“欺騙”等行為，但完全依賴這一特性并不可靠，且隨著時間推移可能失效。要更深入地理解模型機制，需對模型計算過程進行完全逆向工程。然而，復雜密集網絡中每個神經元與其他數千個神經元相連，且執行不同功能，理解難度極大。因此，訓練擁有眾多神經元但每個神經元連接少的模型成為研究的關鍵。

基于這一思路，研究人員以現代語言模型基礎架構（類似GPT - 2）為基礎，僅做一個小改動——強制將模型大部分權重設為0，從而訓練出一個小模型。

有了稀疏模型后，研究人員著手找出模型在各項任務中的“回路”。這里的“回路”指模型精準完成特定任務的最小計算單元，由節點和邊組成，其規模通過節點和邊數量衡量，論文將回路邊數幾何平均值作為解釋性量化指標。為評估模型可解釋性，研究人員設計了一系列簡單算法任務，并將每個模型精簡到能完成任務的“最小回路”。

以一個Python任務為例，任務要求“hello”必須以單引號結尾，“hello”必須以雙引號結尾，模型需根據字符串開頭引號類型預測結尾引號并自動補全。得到的回路僅使用5個殘差通道、第0層的兩個MLP神經元，以及第10層的一個注意力查詢鍵通道和一個值通道。其流程為：先將單、雙引號分別編碼到不同殘差通道；再用MLP層將編碼結果轉換為兩個通道，一個檢測任意引號，一個區分單、雙引號；接著用注意力機制忽略中間token，找到前一個引號并復制其類型到最后一個token；最后預測匹配的結尾引號。

論文還對變量綁定等更復雜行為進行研究，這些行為的回路雖難以完全解釋，但仍能得出相對簡單的部分解釋以預測模型行為。研究人員還發現，訓練更大、更稀疏的模型，能生成功能更強大、回路更簡單的模型，這表明該方法有望用于理解更復雜行為。

不過，研究人員也強調，這項工作尚處早期階段。稀疏模型比前沿模型小很多，且計算過程仍有不少“黑盒”部分。目前稀疏模型訓練效率較低。為解決這一問題，研究人員提出兩種途徑：一是從現有密集模型中提取稀疏回路，而非從頭訓練；二是開發更高效的模型訓練技術以提高可解釋性。