在最新一期的SuperCLUE中文大模型通用基準(zhǔn)測評中，華為憑借其7180億參數(shù)的MoE架構(gòu)大模型openPangu-Ultra-MoE-718B躋身前三，與DeepSeek-V3.1、Qwen3-235B等開源模型同臺競技。這一成績的背后，是團(tuán)隊對模型訓(xùn)練邏輯的深度重構(gòu)——通過數(shù)據(jù)質(zhì)量優(yōu)先、三階段預(yù)訓(xùn)練、批判性思維內(nèi)化等創(chuàng)新策略，突破了傳統(tǒng)“堆數(shù)據(jù)”的路徑依賴。
數(shù)據(jù)構(gòu)建環(huán)節(jié)，團(tuán)隊摒棄了“以量取勝”的常規(guī)做法，轉(zhuǎn)而建立“質(zhì)量評估-科學(xué)篩選-精準(zhǔn)增強”的全流程體系。在指令數(shù)據(jù)清洗階段，采用規(guī)則、模型、人工三重審核機制，確保低質(zhì)量樣本被徹底過濾；在任務(wù)設(shè)計上，通過領(lǐng)域與任務(wù)類型的雙重維度覆蓋，結(jié)合去重算法避免冗余；針對模型易在簡單任務(wù)上過擬合的問題，團(tuán)隊量化推理步驟、概念抽象度等指標(biāo)，重點強化中高難度任務(wù)的訓(xùn)練比例。這種對數(shù)據(jù)質(zhì)量的嚴(yán)苛把控，為模型在復(fù)雜場景下的推理能力奠定了基礎(chǔ)。
預(yù)訓(xùn)練階段，團(tuán)隊將整個過程拆解為通用、推理、退火三個遞進(jìn)階段。通用階段通過海量文本與代碼數(shù)據(jù)，構(gòu)建模型的世界知識基礎(chǔ)；推理階段大幅增加泛數(shù)學(xué)、STEM及代碼數(shù)據(jù)的比重，并引入高難度多步驟推理題庫，配合詳細(xì)思維鏈（CoT）引導(dǎo)模型學(xué)習(xí)邏輯路徑；退火階段則通過階梯式擴展上下文長度至128K，同時增加指令類數(shù)據(jù)與Agent工具使用數(shù)據(jù)，使模型逐步掌握外部工具調(diào)用能力。這種分階段訓(xùn)練策略，有效平衡了模型的基礎(chǔ)認(rèn)知與專項能力。
針對大型語言模型普遍存在的幻覺問題，團(tuán)隊提出“批判內(nèi)化”機制。與傳統(tǒng)批判微調(diào)（CFT）依賴固定人類反饋數(shù)據(jù)不同，該機制在模型訓(xùn)練完成后，通過拒絕采樣引入自我批判信號，迫使模型在生成答案時主動審視推理過程。例如，在數(shù)學(xué)推理任務(wù)中，模型需檢查邏輯鏈條是否完整、計算步驟是否準(zhǔn)確；在代碼生成任務(wù)中，則需驗證語法正確性與功能實現(xiàn)度。實驗數(shù)據(jù)顯示，這一機制使模型的指令遵從性與輸出可靠性顯著提升。
在工具使用能力方面，團(tuán)隊開發(fā)的ToolACE框架通過四項關(guān)鍵技術(shù)實現(xiàn)突破：領(lǐng)域工具組合技術(shù)將關(guān)聯(lián)工具（如日歷查詢與航班預(yù)訂）綁定，提供工具依賴圖；交互式目標(biāo)軌跡生成采用“計劃-執(zhí)行”分離策略，先由AI規(guī)劃工具調(diào)用序列，再通過模擬環(huán)境執(zhí)行；多智能體對話生成引入隨機打斷、反問澄清等復(fù)雜交互；多維校驗與錯例迭代則對生成數(shù)據(jù)進(jìn)行內(nèi)容滿足度、狀態(tài)變化正確性等多維度評估，低分?jǐn)?shù)據(jù)將反哺生成策略優(yōu)化。經(jīng)此訓(xùn)練的模型，在復(fù)雜多輪交互中展現(xiàn)出精準(zhǔn)的工具調(diào)用能力。
后訓(xùn)練階段，團(tuán)隊采用“漸進(jìn)動態(tài)微調(diào)-強化學(xué)習(xí)-模型融合”三步策略。漸進(jìn)動態(tài)微調(diào)（PDFT）通過動態(tài)調(diào)整訓(xùn)練權(quán)重，避免模型對特定數(shù)據(jù)過擬合；強化學(xué)習(xí)環(huán)節(jié)選用GSPO算法，相比傳統(tǒng)GRPO算法在訓(xùn)練穩(wěn)定性上提升30%；模型融合階段則通過黑盒優(yōu)化算法，自動搜索不同版本模型的最佳組合權(quán)重，生成綜合性能更強的最終模型。這一系列優(yōu)化，使openPangu-718B在數(shù)學(xué)推理、代碼生成、幻覺控制等六個維度的評估中均表現(xiàn)優(yōu)異。
從數(shù)據(jù)篩選到訓(xùn)練策略，從幻覺控制到工具學(xué)習(xí)，openPangu-718B的突破印證了一個核心邏輯：大模型的競爭力不在于參數(shù)規(guī)模或數(shù)據(jù)體量，而在于對技術(shù)細(xì)節(jié)的極致打磨。當(dāng)行業(yè)仍在爭論“規(guī)模定律”是否適用時，華為用實踐給出了另一種答案——通過系統(tǒng)性技術(shù)創(chuàng)新，同樣能在激烈競爭中開辟新路徑。
