在NeurIPS 2025的一場備受矚目的爐邊談話中,AI領域的兩位標志性人物——Geoffrey Hinton與Jeff Dean,展開了一場關于人工智能發展歷程與未來展望的深度對話。這場訪談不僅回顧了AI從早期突破到如今引領技術潮流的輝煌歷程,還揭秘了諸多鮮為人知的幕后故事。
訪談一開始,Hinton便拋出了一個引人深思的問題:谷歌是否后悔發表了奠定現代AI基石的Transformer論文?Jeff Dean毫不猶豫地回應:“不后悔,因為它對世界產生了深遠的影響。”這一回答不僅彰顯了谷歌對技術共享的開放態度,也凸顯了Transformer在推動AI技術普及與應用中的關鍵作用。
Hinton在對話中透露,自己對模型規模擴展(Scaling)重要性的深刻認識,源自于Ilya Sutskever的一次演講。他坦言,自己本應在更早的時候意識到算力與模型規模之間的緊密聯系,但直到2014年,聽完Ilya的報告后,才徹底醒悟Scaling的至關重要性,并堅信這一趨勢將持續下去。
回顧AI發展史上的重要時刻,2012年AlexNet的誕生無疑是一個里程碑。Hinton分享了這段經歷中的趣事:當時,他們申請項目資助續期時遭遇了挫折,被評審認為項目缺乏工業應用價值。然而,正是這一不被看好的項目,在糾正了權重衰減參數的錯誤后,憑借在ImageNet上的出色表現,引發了AI領域的革命性變革。Hinton幽默地提到,訓練AlexNet的兩塊英偉達GTX 580 GPU,不僅為多倫多大學節省了成本,還讓Alex在自家臥室里完成了這一歷史性的訓練。
Jeff Dean則回憶了谷歌大腦(Google Brain)的誕生過程。他提到,這一項目的靈感源自于一次在谷歌茶水間的偶遇閑聊。當時,Andrew Ng提到他的學生用神經網絡取得了不錯成果,這句話激發了Jeff Dean的靈感:既然谷歌擁有海量的CPU資源,為何不嘗試訓練超大規模的神經網絡呢?于是,谷歌大腦應運而生,通過模型并行與數據并行的技術,成功訓練出了參數達20億的龐大模型,驗證了Scaling Laws的可行性。
在談到谷歌與Hinton團隊的合作時,Jeff Dean透露了一段鮮為人知的拍賣故事。為了吸引更多資源支持,Hinton團隊決定將自己包裝成一家“公司”,并在南太浩湖的賭場舉辦了一場拍賣會。盡管樓下老虎機的聲音不絕于耳,但樓上的競價卻異常激烈。最終,谷歌在這場拍賣中脫穎而出,成功將Hinton及其團隊納入麾下。Hinton坦言,這一決定背后,是他對谷歌實習生經歷的深刻認同。
在訪談的后半部分,兩位嘉賓還就AI的未來發展方向進行了探討。Jeff Dean對Scaling注意力機制的觸達范圍表示興奮,他設想未來模型將能夠直接訪問所有科學論文和視頻資源,而非將海量信息壓縮進有限的模型參數中。同時,他也指出了當前模型缺乏持續學習能力的局限性,并透露谷歌正在探索更動態、腦啟發的架構設計。Hinton則對AI在醫療與教育領域的變革潛力表示樂觀,他認為大模型將能夠壓縮巨量知識,發現人類未見的共通性,從而展現出非凡的創造力。
















