英偉達科研團隊近日宣布推出全新全模態理解模型OmniVinci，該成果在多模態基準測試中展現顯著優勢，較當前最優模型得分提升19.05個百分點。值得關注的是，這一突破性成果僅使用六分之一的訓練數據量，在數據利用效率方面形成代際優勢。
研究團隊構建了多感官融合的統一潛在空間架構，通過創新性數據管理策略實現視覺、聽覺與文本信息的深度交互。這種跨模態理解機制使AI系統能夠模擬人類感知模式，對復雜場景進行多維度解析。在Dailyomni基準測試中，該模型在音頻理解MMAR子項和視覺Video-MME子項分別超出Qwen2.5-Omni模型1.7分和3.9分，而訓練數據量僅為后者的六分之一。
核心技術突破體現在三大創新模塊：OmniAlignNet通過挖掘視聽信號的互補特性強化特征對齊；時間嵌入分組技術（TEG）建立時序信息編碼框架；約束旋轉時間嵌入（CRTE）解決絕對時間定位難題。這些技術共同構成全模態對齊機制，確保模型在動態場景中保持精準的時間感知能力。
訓練方法采用階段性強化策略，初期進行模態專項訓練夯實基礎能力，后期實施全模態聯合訓練提升綜合理解水平。研究團隊利用現有視頻問答數據集開發隱式學習框架，有效提升音視頻聯合解析的準確度。這種漸進式訓練模式使模型在保持高效的同時，實現跨模態知識的有機融合。
該成果的開源發布將為全球AI社區提供重要技術資源，其高效的數據利用模式和創新的架構設計，有望推動智能系統在多媒體處理、人機交互等領域的實質性進展。研究團隊透露，后續將深化多模態預訓練框架的研究，探索更高效的跨模態知識遷移方法。
