在生成式人工智能迅猛發(fā)展的背景下，多模態(tài)大模型已成為推動(dòng)產(chǎn)業(yè)智能化升級(jí)的核心技術(shù)。然而，模型訓(xùn)練與推理的高成本、多模態(tài)數(shù)據(jù)對(duì)齊的復(fù)雜性，仍是制約其深入應(yīng)用的瓶頸。北京大學(xué)人工智能研究院助理教授楊耀東團(tuán)隊(duì)研發(fā)出一套覆蓋全模態(tài)、兼顧高效率、賦能強(qiáng)推理的大模型對(duì)齊框架——Align-Anything，并依托鯤鵬昇騰科教創(chuàng)新卓越中心(以下簡(jiǎn)稱“卓越中心”)的算力支持成功遷移至?xí)N騰平臺(tái)，目前，已在智慧醫(yī)療、網(wǎng)絡(luò)安全等多個(gè)關(guān)鍵領(lǐng)域?qū)崿F(xiàn)規(guī)模化落地，展現(xiàn)了廣闊的應(yīng)用前景，并在人才培養(yǎng)方面取得顯著成效。

Align-Anything以“語(yǔ)言反饋”(RLHF)為核心，構(gòu)建了一套覆蓋文本、圖像、音頻、視頻乃至動(dòng)作的全模態(tài)對(duì)齊算法，解決了傳統(tǒng)二元反饋信息量有限和一致性的問(wèn)題。基于成熟的技術(shù)架構(gòu)，團(tuán)隊(duì)在Align-Anything中集成專用評(píng)估工具eval-Anything，可追蹤并評(píng)估各類(lèi)大參數(shù)模型在復(fù)雜任務(wù)中的真實(shí)能力，目前已實(shí)現(xiàn)開(kāi)源;團(tuán)隊(duì)還拓展出基于DeepSeek-671B的多模態(tài)強(qiáng)推理模型Align-DS-V，以模態(tài)穿透賦能智能邊界拓展。

在產(chǎn)學(xué)研協(xié)同方面，北大團(tuán)隊(duì)與昇騰的合作從技術(shù)研發(fā)延伸至行業(yè)落地與人才培養(yǎng)的全鏈條。

在行業(yè)的安全治理方面，Align-Anything 深度融入智源大模型安全中心的整體安全治理框架，作為統(tǒng)一的安全對(duì)齊與風(fēng)險(xiǎn)干預(yù)基礎(chǔ)模塊。依托智源在安全評(píng)測(cè)、紅隊(duì)攻防與合規(guī)審查上的體系化能力，Align-Anything 將安全偏好建模、風(fēng)險(xiǎn)內(nèi)容識(shí)別與無(wú)害化改寫(xiě)串聯(lián)為閉環(huán)流程，被部署在大模型從訓(xùn)練前審核、訓(xùn)練中約束到推理后校驗(yàn)的多級(jí)安全環(huán)節(jié)中。通過(guò)與通用模型、安全評(píng)測(cè)平臺(tái)及在線監(jiān)控系統(tǒng)的模塊化集成，該對(duì)齊器能夠自動(dòng)對(duì)潛在風(fēng)險(xiǎn)回復(fù)進(jìn)行識(shí)別、攔截與規(guī)范化重寫(xiě)，在顯著提升整體安全水位、降低有害內(nèi)容輸出的同時(shí)，有效保持模型的通用能力與業(yè)務(wù)可用性，為智源牽頭的大模型安全治理體系持續(xù)貢獻(xiàn)底層技術(shù)力量。

在行業(yè)應(yīng)用側(cè)，基于昇騰平臺(tái)的Align-Anything深度賦能智慧醫(yī)療場(chǎng)景。Align-Anything充分發(fā)揮了昇騰軟硬件平臺(tái)的技術(shù)實(shí)力，構(gòu)筑了全模態(tài)醫(yī)學(xué)知識(shí)體系。在基礎(chǔ)設(shè)施層面，多家醫(yī)院完成了昇騰服務(wù)器的機(jī)房部署，其強(qiáng)大的異構(gòu)計(jì)算能力與高內(nèi)存帶寬，可支撐大規(guī)模參數(shù)模型的高效并行訓(xùn)練，同步自研大模型推理一體機(jī)，支持科室本地化部署，快速調(diào)取算力;在算法層面Align-Anything支持圖文、文表、圖結(jié)構(gòu)等多模態(tài)交互，賦能涵蓋臨床指征、心電圖、超聲心動(dòng)圖等全模態(tài)數(shù)據(jù)的高效訓(xùn)練。

在人才培養(yǎng)層面，團(tuán)隊(duì)聯(lián)合昇騰在北大推出《大語(yǔ)言模型基礎(chǔ)與對(duì)齊技術(shù)》課程，并開(kāi)展基于昇騰 + Torch NPU的實(shí)操體驗(yàn)，同時(shí)開(kāi)發(fā)兼容昇騰系列計(jì)算設(shè)備的課程作業(yè)代碼，在課程作業(yè)中讓學(xué)生在自主創(chuàng)新的GPU架構(gòu)上進(jìn)行模型的訓(xùn)練和微調(diào)。

基于昇騰平臺(tái)的Align-Anything框架的發(fā)布和廣泛落地應(yīng)用，標(biāo)志著北大團(tuán)隊(duì)與卓越中心協(xié)同攻關(guān)取得重要階段性成果。自合作以來(lái)，卓越中心在算力和技術(shù)等方面為團(tuán)隊(duì)提供了全方位支持，是項(xiàng)目成功的重要保障。該成果不僅為學(xué)術(shù)界提供了可復(fù)用的基礎(chǔ)工具，也通過(guò)昇騰算力實(shí)現(xiàn)了高性能與高效率的統(tǒng)一。未來(lái)，雙方將繼續(xù)深化全模態(tài)對(duì)齊探索，攜手推進(jìn)大模型技術(shù)體系建設(shè)。