字節(jié)跳動近日推出全新視頻生成模型Vidi2，在視頻理解與處理領(lǐng)域?qū)崿F(xiàn)重大突破。該模型不僅具備超越Gemini 3 Pro的時空定位能力，更開創(chuàng)性地將視頻剪輯、劇本創(chuàng)作與特效生成等復(fù)雜任務(wù)整合為端到端解決方案，為影視創(chuàng)作領(lǐng)域帶來顛覆性變革。

在核心功能演示中，Vidi2展現(xiàn)出驚人的自動化創(chuàng)作能力。用戶僅需提供原始素材與創(chuàng)意方向，模型即可自動生成包含鏡頭時長、播放速度、字幕樣式甚至吐槽旁白的完整剪輯方案。通過JSON格式的指令輸出，創(chuàng)作者可直接獲得從數(shù)小時素材中精準(zhǔn)提取的高光片段，實現(xiàn)電影級效果的批量生成。這種能力使得短視頻創(chuàng)作者能夠突破傳統(tǒng)剪輯流程的束縛，將更多精力投入創(chuàng)意構(gòu)思。

技術(shù)測試數(shù)據(jù)顯示，Vidi2在時空定位任務(wù)中取得壓倒性優(yōu)勢。其vIoU-Int.指標(biāo)達(dá)到60.3%，較GPT-5的33.6%提升近一倍，更是Gemini 3 Pro Preview的3.6倍。在超長視頻處理場景下，模型仍能保持38.7%的檢索精度，即便面對運(yùn)動速度極快的微小目標(biāo)，也能實現(xiàn)穩(wěn)定追蹤。這種突破性表現(xiàn)源于其創(chuàng)新的端到端架構(gòu)設(shè)計，能夠同時鎖定目標(biāo)事件的時間片段與空間邊界框軌跡。

模型架構(gòu)層面，研發(fā)團(tuán)隊以Vidi1為基礎(chǔ)框架，集成Google開源的Gemma-3模型與增強(qiáng)型視覺編碼器，構(gòu)建起120億參數(shù)的龐大底座。通過分解注意力機(jī)制，將傳統(tǒng)Transformer的全注意力運(yùn)算拆解為視覺、文本及跨模態(tài)三個獨(dú)立模塊，使計算復(fù)雜度從平方級降至線性級。這種設(shè)計使模型在有限顯存條件下即可處理長達(dá)一小時的視頻流，同時保持高精度特征提取能力。

針對時空定位數(shù)據(jù)稀缺的難題，研發(fā)團(tuán)隊開發(fā)出獨(dú)特的數(shù)據(jù)合成方案。通過滑動窗口算法在靜態(tài)圖像上模擬攝像機(jī)運(yùn)動，自動生成隨時間連續(xù)變化的邊界框序列。這種動態(tài)擴(kuò)展技術(shù)將現(xiàn)有圖像級空間定位數(shù)據(jù)轉(zhuǎn)化為視頻級訓(xùn)練素材，配合海量人工標(biāo)注的真實視頻數(shù)據(jù)，形成多階段強(qiáng)化訓(xùn)練體系。最終訓(xùn)練階段采用的時間感知多模態(tài)對齊策略，通過雙向預(yù)測任務(wù)與開放式問答驗證，顯著提升了模型在視聽文本三模態(tài)間的語義關(guān)聯(lián)能力。

行業(yè)觀察指出，Vidi2的崛起標(biāo)志著AI視頻生成領(lǐng)域進(jìn)入數(shù)據(jù)驅(qū)動的新階段。字節(jié)跳動憑借旗下短視頻平臺的海量數(shù)據(jù)積累，構(gòu)建起獨(dú)特的競爭優(yōu)勢。與依賴YouTube數(shù)據(jù)的國際模型相比，Vidi2在短視頻場景下的優(yōu)化表現(xiàn)尤為突出，其自適應(yīng)Token壓縮策略能夠根據(jù)視頻時長動態(tài)調(diào)節(jié)信息密度，在處理短視頻時保留高密度特征，長視頻則通過壓縮降低計算負(fù)載。這種靈活的數(shù)據(jù)處理機(jī)制，為不同時長的視頻創(chuàng)作提供了統(tǒng)一解決方案。