即將告別效力近十二年的meta,圖靈獎得主楊立昆(Yann LeCun)在近期播客訪談中直言不諱地批評大語言模型技術路線,并宣布將創(chuàng)辦專注于世界模型研究的新公司Advanced Machine Intelligence(AMI)。這位深度學習先驅認為,僅靠擴展語言模型無法實現通用人工智能(AGI),而構建具備預測和規(guī)劃能力的世界模型才是突破智能瓶頸的關鍵路徑。
在長達兩小時的對話中,楊立昆系統(tǒng)性闡述了其技術路線分歧。他指出當前硅谷盛行的"擴展法則"存在根本性缺陷:語言模型依賴的文本數據僅占人類感知信息的極小部分,30萬億token的訓練量遠不及4歲兒童通過視覺接收的1.5萬小時視頻信息。這種結構化數據的匱乏,使得LLM在處理現實世界復雜場景時暴露出本質性局限。
針對meta近年轉向封閉研究的戰(zhàn)略轉向,楊立昆表達強烈不滿。他透露原屬FAIR(人工智能研究實驗室)的長期研究項目正被壓縮,資源向短期商業(yè)應用傾斜。這種轉變與其科學理念嚴重沖突:"真正的進步需要開放協(xié)作,當研究成果無法公開發(fā)表驗證,就可能淪為自欺欺人的妄想。"新公司AMI將延續(xù)開源傳統(tǒng),在抽象表示空間構建預測模型,而非直接生成像素級內容。
世界模型的核心優(yōu)勢在于處理高維連續(xù)數據的能力。楊立昆以流體力學模擬為例,說明抽象表示如何通過忽略分子級細節(jié)實現更可靠的長期預測。其團隊研發(fā)的聯(lián)合嵌入預測架構(JEPA)通過引入各向同性高斯嵌入和SIGReg正則化技術,成功解決了傳統(tǒng)自監(jiān)督學習中的表示崩潰問題。這種在抽象空間進行預測的方法,被視為突破現有技術瓶頸的關鍵突破。
對于AGI的實現路徑,楊立昆提出顛覆性觀點:達到類狗智能的難度遠超人類水平。他解釋稱,哺乳動物感知系統(tǒng)的進化歷時數億年,而人類語言能力僅在最近百萬年才出現。當前LLM雖能模擬語言中樞功能,但要實現真正智能還需世界模型承擔前額葉皮層的規(guī)劃決策角色。這種雙模型架構需要突破多項基礎理論,預計需要數十年持續(xù)研究。
現年65歲的楊立昆將此次創(chuàng)業(yè)視為科學使命的延續(xù)。他坦言妻子希望其退休安享晚年,但提升人類智能的終極目標驅使他繼續(xù)奮斗。回顧職業(yè)生涯,這位紐約大學教授最遺憾的是反向傳播算法等重要發(fā)現被他人搶先發(fā)表,但他強調科學進步本質上是集體智慧的結晶。這種開放共享的理念,與其新公司堅持的開源路線形成完美呼應。







