近日,深度求索公司正式推出了一款實驗性版本的大模型——DeepSeek-V3.2-Exp。作為人工智能領域的新探索,該模型一經發布便引發了行業廣泛關注。與此同時,寒武紀公司宣布已完成對該模型的適配工作,并同步開源了其大模型推理引擎vLLM-MLU的源代碼,為開發者提供更高效的工具支持。
寒武紀方面表示,公司始終將大模型軟件生態建設作為核心戰略之一,致力于為包括DeepSeek在內的主流開源大模型提供技術支撐。憑借長期積累的技術優勢和活躍的生態體系,寒武紀在DeepSeek-V3.2-Exp發布當日即實現了模型架構的適配與優化,展現了其快速響應能力。
在技術實現層面,寒武紀通過Triton算子開發框架完成了對DeepSeek-V3.2-Exp的快速適配,同時利用BangC融合算子技術進一步挖掘硬件性能潛力。公司創新性地采用計算與通信并行策略,使模型推理效率達到行業領先水平。這一系列優化措施,結合DeepSeek-V3.2-Exp引入的Sparse Attention機制,顯著降低了長序列場景下的訓練與推理成本。
此次合作不僅體現了寒武紀在AI芯片領域的深厚積累,也展示了其與生態伙伴協同創新的能力。通過軟硬件深度融合,雙方共同為客戶提供了更具競爭力的解決方案,為人工智能技術在復雜場景中的應用開辟了新路徑。