英偉達(dá)（NVIDIA）近期展示了其在通用人工智能(AGI)領(lǐng)域的最新突破，推出了一款名為NitroGen的游戲智能體基礎(chǔ)模型。與傳統(tǒng)單一用途的 AI 不同，NitroGen 是一款基于 OpenVision 的動作模型，旨在成為能夠穿梭于各種虛擬世界的“通用代理”。
為了讓 NitroGen 掌握復(fù)雜的操控邏輯，研究團(tuán)隊(duì)挖掘了一個此前被學(xué)術(shù)界忽視的“寶庫”:YouTube 和 Twitch 上帶有控制器疊加層的游戲視頻。通過分析1000多款游戲、總計(jì)超過4萬小時的玩家錄像，NitroGen 學(xué)會了如何根據(jù)視覺反饋直接生成操作指令。AIbase 了解到，研究人員利用模板匹配和微調(diào)后的 SegFormer 模型，精準(zhǔn)地從海量視頻中提取出了玩家的實(shí)時按鍵輸入數(shù)據(jù)。
在技術(shù)架構(gòu)上，NitroGen 深度集成了英偉達(dá)此前發(fā)布的GR00TN1.5機(jī)器人模型，這使得它具備了跨平臺的適應(yīng)能力。測試數(shù)據(jù)顯示，NitroGen 能夠勝任動作角色扮演、平臺跳躍、Roguelike 等多種完全不同風(fēng)格的游戲類型。即使被置于完全陌生、未曾見過的游戲環(huán)境中，它的表現(xiàn)也比從頭訓(xùn)練的模型成功率高出52%，充分證明了機(jī)器人基礎(chǔ)模型在虛擬環(huán)境中的通用性。
目前，這支由英偉達(dá)、斯坦福及加州理工學(xué)院等頂尖學(xué)術(shù)機(jī)構(gòu)組成的聯(lián)合研究團(tuán)隊(duì)，已正式將該項(xiàng)目的論文、代碼及相關(guān)數(shù)據(jù)集開源，旨在推動全球 AI 社區(qū)在具身智能和通用代理領(lǐng)域的進(jìn)一步探索。
劃重點(diǎn):
