大模型領(lǐng)域迎來重要突破，月之暗面公司正式開源其自主研發(fā)的混合線性注意力架構(gòu)Kimi Linear。該架構(gòu)在短上下文、長上下文及強化學(xué)習(xí)擴展機制等多個場景中，首次實現(xiàn)了對傳統(tǒng)Transformer架構(gòu)全注意力機制的全面超越，為人工智能模型效率提升開辟了新路徑。
核心創(chuàng)新在于其開發(fā)的線性注意力模塊Kimi Delta Attention（KDA）。該模塊通過引入通道級對角門控機制，在Gated DeltaNet基礎(chǔ)上實現(xiàn)技術(shù)升級。相較于傳統(tǒng)頭部遺忘門控，這種細(xì)粒度設(shè)計使每個特征維度具備獨立遺忘率，顯著提升了有限狀態(tài)RNN內(nèi)存的利用效率。實驗數(shù)據(jù)顯示，在保持模型質(zhì)量的前提下，KDA將KV緩存占用率降低75%，同時使百萬級Token解碼吞吐量提升至原有架構(gòu)的6倍。
研究團(tuán)隊采用3:1的混合架構(gòu)設(shè)計，將KDA與全注意力層按比例交錯排列。這種創(chuàng)新結(jié)構(gòu)在生成長序列時，既能通過全注意力層維持全局信息流通，又可大幅削減內(nèi)存消耗。預(yù)訓(xùn)練的Kimi Linear模型擁有30億激活參數(shù)和480億總參數(shù)，在1.4萬億token訓(xùn)練數(shù)據(jù)支撐下，于通用知識、數(shù)學(xué)推理、編程能力及中文任務(wù)等多個維度均展現(xiàn)出顯著優(yōu)勢。
技術(shù)實現(xiàn)層面，KDA采用Diagonal-Plus-LowRank（DPLR）矩陣變體進(jìn)行動態(tài)參數(shù)化，配合定制分塊并行算法，在保持與經(jīng)典delta規(guī)則一致性的同時，將計算復(fù)雜度降低近半。輸出階段通過塊間遞歸與塊內(nèi)并行策略，充分釋放張量核心計算潛力。神經(jīng)參數(shù)化設(shè)計采用低秩輸出門結(jié)構(gòu)，在確保參數(shù)公平比較的基礎(chǔ)上，有效緩解注意力陷阱問題。
性能評估顯示，該架構(gòu)在BBH常識推理、MMLU學(xué)科測試、HellaSwag情景預(yù)測等基準(zhǔn)測試中均取得最高分。數(shù)學(xué)領(lǐng)域方面，在AIME 2025、HMMT 2025等高難度競賽級測試中表現(xiàn)突出；編程能力驗證中，PolyMath-en和LiveCodeBench等平臺成績領(lǐng)先。中文任務(wù)評估中，Ceval和CMMLU測試得分創(chuàng)下新高。效率對比實驗表明，當(dāng)處理512k長度序列時，其性能達(dá)到傳統(tǒng)架構(gòu)的2.3倍，處理百萬級序列時效率提升近3倍。
開源內(nèi)容包含KDA內(nèi)核代碼、vLLM集成方案及預(yù)訓(xùn)練模型檢查點。開發(fā)者可通過GitHub（fla-org/flash-linear-attention）和Hugging Face（moonshotai/Kimi-Linear-48B-A3B-Instruct）平臺獲取完整資源。這項突破不僅為長序列建模提供了高效解決方案，更通過直接替代傳統(tǒng)注意力機制的特性，顯著降低模型優(yōu)化成本，為人工智能應(yīng)用落地開辟新可能。
