近日,人工智能領(lǐng)域迎來重要進展——深度求索公司(DeepSeek)正式推出DeepSeek-V3.2-Exp模型。該模型在V3.1-Terminus版本基礎(chǔ)上,創(chuàng)新引入DeepSeek Sparse Attention稀疏注意力機制,重點針對長文本場景的訓(xùn)練與推理效率展開技術(shù)突破,通過優(yōu)化算法結(jié)構(gòu)顯著提升計算資源利用率。
同步傳來利好消息,寒武紀(jì)科技宣布完成對DeepSeek-V3.2-Exp模型的全面適配,并開源其自主研發(fā)的大模型推理引擎vLLM-MLU源代碼。此舉意味著開發(fā)者可直接在寒武紀(jì)軟硬件一體化平臺上部署該模型,體驗新機制帶來的性能提升。
作為AI芯片領(lǐng)域的領(lǐng)軍企業(yè),寒武紀(jì)持續(xù)深化"芯片+算法"協(xié)同創(chuàng)新戰(zhàn)略。通過軟硬件深度融合優(yōu)化,其平臺此前已實現(xiàn)DeepSeek系列模型業(yè)界領(lǐng)先的算力利用率。針對最新模型架構(gòu),研發(fā)團隊采用Triton算子開發(fā)與BangC融合算子技術(shù),結(jié)合計算通信并行策略,再次刷新計算效率紀(jì)錄。
技術(shù)融合帶來的效益顯著。雙方合作顯示,DeepSeek Sparse Attention機制與寒武紀(jì)高效率計算架構(gòu)的疊加效應(yīng),可使長序列場景下的訓(xùn)練與推理成本降低30%以上。這種軟硬協(xié)同的解決方案,為金融分析、生物醫(yī)藥等需要處理超長文本的行業(yè)提供了更具性價比的技術(shù)路徑。
目前,寒武紀(jì)已建立完整的模型適配工具鏈,支持從算子開發(fā)到性能調(diào)優(yōu)的全流程自動化。開發(fā)者通過開源引擎可快速實現(xiàn)模型遷移,而企業(yè)用戶則能直接獲得經(jīng)過驗證的優(yōu)化方案,這種開放生態(tài)策略正在重塑AI基礎(chǔ)設(shè)施的技術(shù)標(biāo)準(zhǔn)。