近日,深度求索公司推出的實驗性版本模型DeepSeek-V3.2-Exp引發行業關注。寒武紀科技宣布,已成功完成對該模型的適配工作,并同步開源了配套的大模型推理引擎vLLM-MLU源代碼。這一進展標志著國產AI芯片與前沿大模型的技術協同邁入新階段。
作為國內AI芯片領域的領軍企業,寒武紀始終將大模型生態建設視為戰略重點。公司透露,通過長期技術積累與生態布局,在DeepSeek-V3.2-Exp發布當日即實現"day 0適配",展現出強大的技術響應能力。該適配成果覆蓋了從基礎架構到性能優化的全鏈條,為后續商業化應用奠定基礎。
技術實現層面,寒武紀采用多維度優化策略:通過Triton算子開發實現模型架構的快速兼容,運用BangC融合算子技術挖掘硬件性能極限,并結合計算通信并行策略提升整體效率。特別值得關注的是,新模型搭載的DeepSeek Sparse Attention機制與寒武紀芯片的計算特性形成協同效應,在長序列處理場景中可顯著降低訓練與推理成本。
此次開源的vLLM-MLU推理引擎,是寒武紀針對MLU架構定制開發的解決方案。該引擎通過深度優化內存管理與計算流,使DeepSeek-V3.2-Exp在寒武紀平臺上的運行效率達到行業領先水平。開發者可通過開源代碼直接部署,大幅縮短從模型適配到業務落地的周期。
行業分析師指出,寒武紀與深度求索的合作模式具有示范意義。一方面驗證了國產AI芯片對前沿大模型的技術支撐能力,另一方面通過開源生態構建了可持續的創新環境。這種軟硬協同的發展路徑,或將推動國內AI產業形成更具競爭力的技術體系。