聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

“不是AGI還沒到，而是永遠到不了。”

CMU（卡內(nèi)基梅隆大學）教授、艾倫人工智能實驗室研究員Tim Dettmers從硬件瓶頸、資源成本、現(xiàn)實應用三重維度論證：

為什么AGI從一開始，就是個違背物理規(guī)律的幻想工程？

一篇長文，指出GPU性能峰值停在2018年，機架級優(yōu)化2027年耗盡潛力，AI每提升1%的能力，資源消耗要翻好幾倍……

核心觀點

AGI的討論都在回避“計算的物理枷鎖”

智能不是飄在天上的想法，而是得靠電腦、芯片這些實實在在的東西算出來，而這些東西都得遵守物理規(guī)律。

計算從不是抽象概念，所有智能都要扎根物理現(xiàn)實。

這也是Dettmers反駁AGI的核心，很多人在聊到AGI時總把它當成抽象的哲學概念，但很多人忽略了硬件實現(xiàn)，而硬件必然受到物理規(guī)律限制。

第一個是信息移動成本。

比如有效計算需要平衡全局信息傳到局部和局部信息整合，可信息移動的成本會隨距離呈平方級上升；芯片緩存也能說明問題，L2、L3緩存比L1 大，但卻因物理位置更遠而速度更慢。

現(xiàn)在芯片里的晶體管越做越小，雖然能降低計算成本，但內(nèi)存反而越來越貴，現(xiàn)在芯片上幾乎所有空間都給了內(nèi)存，計算單元占比微乎其微。

就算是現(xiàn)在的主流AI架構(gòu)Transformer，看似是算法層面的突破，本質(zhì)上也是對硬件信息處理效率的物理優(yōu)化，且也已經(jīng)接近物理最優(yōu)。

第二個是線性進步需要指數(shù)級資源。

想讓系統(tǒng)更精準、高效，每多一分改進，需要的資源都會呈指數(shù)級增長。

物理層面，資源聚集會因空間、時間限制變慢；理論層面，相關聯(lián)的想法會導致收益遞減，就算是創(chuàng)新，也多是對現(xiàn)有思路的微調(diào)，難有突破性效果。

物理學就是典型例子，過去個人能取得理論突破，現(xiàn)在卻很難。

實驗物理更甚，像大型強子對撞機這樣耗資數(shù)十億的設備，也沒能解開暗能量、暗物質(zhì)的謎團。

AI領域同理，想靠堆資源實現(xiàn)AGI的通用能，早晚會超出實際承受范圍。

GPU熄火了

而且，支撐AI快速發(fā)展的燃料GPU，也進入了熄火階段。

可能很多人會默認GPU會連續(xù)迭代，為AGI提供算力支撐，但Dettmers拋出一組數(shù)據(jù)：

GPU的性價比在2018年就到了峰值，之后的16位精度、張量核心、HBM內(nèi)存等改進，都是一次性功能，潛力很快會耗盡。

現(xiàn)在行業(yè)寄希望的機架級優(yōu)化，比如更高效地調(diào)度AI需要的鍵值緩存，但這種優(yōu)化的思路很簡單，本質(zhì)上只有一種最優(yōu)設計方式。雖然實現(xiàn)起來要花時間做工程，但整體設計沒什么新意。

像OpenAI這樣的公司吹自己的基礎設施多厲害，但其實大家的差距很小；唯一能拉開點距離的，就是機架或數(shù)據(jù)中心級別的小優(yōu)化，但這些優(yōu)勢也撐不了多久，大概2026-2027年就會耗盡。

也就是說，GPU這條算力增長線，已經(jīng)快走到頭了。

有人說把模型規(guī)模做大還能提升AI性能，Dettmers并不否認這種規(guī)模法則的作用，但問題在于——

過去GPU的指數(shù)級進步，能抵消規(guī)模擴張的資源消耗，花一塊錢就有一塊錢的效果；現(xiàn)在GPU不進步了，想再獲線性提升，就得投入指數(shù)級成本，花幾塊錢才有一塊錢的效果，這在物理上很快會不可行。

結(jié)論：AGI是幻覺

AGI的通用，意味著要能處理物理世界的復雜任務。

但物理世界數(shù)據(jù)的收集成本太高。舉個最簡單的例子，工廠的機器人要應對零件磨損、天氣變化這些突發(fā)情況，需要海量數(shù)據(jù)訓練，還得花大價錢做實驗。

再看超級智能，它假設AI能自己越變越聰明，但現(xiàn)實是，變聰明需要資源……

想讓AI自己優(yōu)化，剛開始調(diào)調(diào)參數(shù)或許還能進步，但到達一定水平之后，想要多進步1%，可嫩好多花10倍的錢和算力，那么問題來了：

AI又不能憑空造資源，怎么做到無限變強呢？

所以，Dettmers認為AGI不會實現(xiàn)，超級智能也是幻想。

不過呢，在他看來，AI的未來不是超越人類，而是在物理約束內(nèi)漸進式的改進，靠經(jīng)濟擴散和實際應用創(chuàng)造價值。

比如讓算法更省算力、讓更多人能用得上開源AI模型，把AI用到看病、種地、造東西這些實處，一點點幫人提高效率。

Dettmers指出，美國那邊總想著“贏者通吃”，巨頭們砸錢搞超級智能，一門心思想做個啥都會的AGI，卻不管這東西到底現(xiàn)不現(xiàn)實，能不能用在實處。

而在這一點上，中國更聚焦落地實用，看的是AI能不能提升生產(chǎn)力，還用補貼推動AI融入各行業(yè)，這樣就更貼合現(xiàn)實。