卡內(nèi)基梅隆大學(xué)教授、艾倫人工智能實(shí)驗(yàn)室研究員蒂姆·德特默斯(Tim Dettmers)近日從硬件限制、資源消耗與實(shí)際應(yīng)用三個(gè)角度提出觀點(diǎn):通用人工智能(AGI)從誕生之初便違背物理規(guī)律,本質(zhì)上是一個(gè)無法實(shí)現(xiàn)的幻想。他通過詳細(xì)分析GPU發(fā)展瓶頸、信息處理成本及資源投入與收益的關(guān)系,論證了這一結(jié)論。
德特默斯指出,智能并非抽象概念,而是依賴物理設(shè)備實(shí)現(xiàn)的計(jì)算過程。硬件作為智能的載體,必須遵循物理定律。以信息移動(dòng)成本為例,全局信息傳遞至局部以及局部信息整合的效率,會(huì)因距離增加呈平方級(jí)下降。芯片緩存設(shè)計(jì)便體現(xiàn)了這一規(guī)律:L2、L3緩存容量雖大于L1,但因物理位置更遠(yuǎn),訪問速度反而更慢。晶體管尺寸縮小雖降低了計(jì)算成本,卻導(dǎo)致內(nèi)存成本飆升,現(xiàn)代芯片中計(jì)算單元占比已微乎其微,內(nèi)存占據(jù)絕大部分空間。即使是主流AI架構(gòu)Transformer,其本質(zhì)也是對(duì)硬件信息處理效率的物理優(yōu)化,且已接近理論極限。
資源投入與收益的關(guān)系進(jìn)一步削弱了AGI的可行性。德特默斯解釋,系統(tǒng)每提升1%的性能,所需資源往往呈指數(shù)級(jí)增長(zhǎng)。物理層面,資源聚集受空間與時(shí)間限制,效率逐漸降低;理論層面,關(guān)聯(lián)性強(qiáng)的想法會(huì)導(dǎo)致收益遞減,創(chuàng)新多是對(duì)現(xiàn)有方案的微調(diào),難以突破現(xiàn)有框架。物理學(xué)的發(fā)展便是典型案例:過去個(gè)人可取得理論突破,如今大型強(qiáng)子對(duì)撞機(jī)等耗資數(shù)十億美元的設(shè)備,仍未能解開暗能量、暗物質(zhì)等謎題。AI領(lǐng)域同樣面臨類似困境,單純依靠資源堆砌實(shí)現(xiàn)通用能力,終將超出實(shí)際承受范圍。
GPU的發(fā)展瓶頸為AGI的幻想潑了冷水。德特默斯提供的數(shù)據(jù)顯示,GPU的性價(jià)比在2018年達(dá)到峰值,此后16位精度、張量核心、HBM內(nèi)存等改進(jìn)均為一次性優(yōu)化,潛力迅速耗盡。行業(yè)寄予厚望的機(jī)架級(jí)優(yōu)化,如更高效地調(diào)度AI所需的鍵值緩存,其設(shè)計(jì)思路簡(jiǎn)單,本質(zhì)上只有一種最優(yōu)方案,雖工程實(shí)現(xiàn)需時(shí)間,但整體創(chuàng)新有限。以O(shè)penAI為代表的企業(yè)雖宣稱基礎(chǔ)設(shè)施領(lǐng)先,但實(shí)際差距微小,唯一能拉開距離的機(jī)架或數(shù)據(jù)中心級(jí)優(yōu)化,預(yù)計(jì)在2026至2027年也將耗盡潛力。這意味著,支撐AI發(fā)展的算力增長(zhǎng)線已接近終點(diǎn)。
擴(kuò)大模型規(guī)模雖能提升AI性能,但需付出更高代價(jià)。德特默斯承認(rèn)規(guī)模法則的作用,但強(qiáng)調(diào)過去GPU的指數(shù)級(jí)進(jìn)步可抵消規(guī)模擴(kuò)張的資源消耗,投入與收益基本平衡。如今GPU性能停滯,若想獲得線性提升,需投入指數(shù)級(jí)成本,投入與收益的比例嚴(yán)重失衡,物理上難以持續(xù)。例如,工廠機(jī)器人需應(yīng)對(duì)零件磨損、天氣變化等突發(fā)情況,需海量數(shù)據(jù)訓(xùn)練與高成本實(shí)驗(yàn),物理世界數(shù)據(jù)的收集成本高昂,進(jìn)一步限制了AGI的可行性。
超級(jí)智能的假設(shè)同樣站不住腳。德特默斯認(rèn)為,AI自我優(yōu)化的過程初期或能通過調(diào)整參數(shù)取得進(jìn)步,但達(dá)到一定水平后,每提升1%的性能,可能需多花10倍的資金與算力。AI無法憑空創(chuàng)造資源,無限變強(qiáng)的設(shè)想缺乏物理基礎(chǔ)。因此,他斷言AGI與超級(jí)智能均為幻想,AI的未來應(yīng)聚焦于物理約束內(nèi)的漸進(jìn)式改進(jìn),通過經(jīng)濟(jì)擴(kuò)散與實(shí)際應(yīng)用創(chuàng)造價(jià)值。











