Seedance 2.0奪取Sora寶座后，AI視頻生成賽道進入了狂熱與焦慮并存的階段。

哪怕功能強大如Seedance 2.0，仍然無法打破這個領(lǐng)域的“不可能三角”：

模型規(guī)模、生成時長和推理速度總是難以同時實現(xiàn)。

想要Seedance 2.0一樣的電影級畫質(zhì)，那就必須得有字節(jié)一樣的大廠設(shè)計出的百億參數(shù)多模態(tài)模型，代價則是最多15秒的視頻時長、昂貴的單次生成費用和十幾分鐘的等待時間。

想要快速出片，那就必須向參數(shù)量妥協(xié)，用1B左右參數(shù)的小模型，代價則是畫面模糊、細(xì)節(jié)丟失，超過10秒就開始崩潰。

如果無法實現(xiàn)高質(zhì)量、實時的長視頻，那AI視頻生成就永遠(yuǎn)走不到電影那一步。

不過，推出了Seedance 2.0這個曠世神作的字節(jié)跳動，野心遠(yuǎn)不止于此。

由北京大學(xué)和字節(jié)跳動等機構(gòu)聯(lián)合推出的Helios大模型，正在試圖用利刃劈開這個“不可能三角”。

Helios是首個能在單張英偉達H100顯卡上，以19.53幀/秒（FPS）的速度運行的14B參數(shù)大模型。

這個參數(shù)量，雖然談不上輕量級，但和各家AI大廠的旗艦版大語言模型比起來，它也只能算是個“迷你版”模型。

“身材”雖然略顯瘦弱，但它的畫質(zhì)卻能匹敵當(dāng)前最強一檔的模型，還能用接近“實時”的速度，連貫生成長達數(shù)分鐘的視頻。

01 

噩夢般的“長程漂移”

使用過即夢、可靈、Sora的用戶應(yīng)該普遍產(chǎn)生過一個疑問：為什么視頻生成最多也就10秒或者15秒？哪怕用戶再有錢，也無法打破這個限制。

實際上，這不僅是算力上的問題，就算強制增加生成時間上限，生成視頻的效果恐怕也不會盡如人意：

AI生成的視頻往往在前幾秒的畫面無比驚艷，但隨著時間推移，畫面質(zhì)量就會快速下降，比如主角無法保持面部特征、肢體結(jié)構(gòu)開始突變、背景逐漸扭曲、動作不符合物理邏輯等等。

這就是“漂移”現(xiàn)象。

AI生成視頻的過程，其實和大語言模型問答的過程類似。大語言模型需要根據(jù)記憶和上下文作出下一步的回答，多模態(tài)模型也需要“根據(jù)歷史，畫出未來”。

在FPS固定的情況下，視頻越來越長，幀數(shù)也越來越多，這就意味著AI需要從每一幀中記住的信息呈幾何倍數(shù)暴增。

而在這個過程中，哪怕前面生成的畫面只出現(xiàn)了一絲極其微小的瑕疵，也會在后續(xù)的生成中不斷被累積和放大，最終導(dǎo)致全面崩潰。

為了解決這個問題，早期學(xué)術(shù)界想出的最直觀的方法是在訓(xùn)練AI時，讓它一次性生成長片段以避免瑕疵擴大，但這種強化學(xué)習(xí)的方法不僅容易產(chǎn)生欠擬合和過擬合的問題，算力消耗成本更是令人無法承擔(dān)，百億參數(shù)的大模型根本用不起，10億參數(shù)已經(jīng)是極限。

因此，Helios的研究團隊意識到，還得從視頻生成的過程中找問題。

他們首先注意到，長視頻發(fā)生崩潰往往伴隨著畫面亮度和色彩的整體失控，但視頻的開頭幾秒往往不會發(fā)生這個問題。

于是，“首幀錨點（First Frame Anchor）”機制就此誕生。

研究團隊將視頻的第一幀錨定為整個生成過程的“定海神針”，AI在后續(xù)漫長的生成過程都必須緊緊“盯住”第一幀，鎖定全局的外觀分布。

無論提示詞中要求后續(xù)畫面如何發(fā)展，第一幀確立的整體色調(diào)和人物身份都可以隨時將AI拉回正確的軌道，杜絕“畫風(fēng)突變”。

但即便如此，瑕疵的出現(xiàn)仍然是不可避免的，因此必須讓AI學(xué)會如何處理這種“不完美”。

Helios在訓(xùn)練階段采用了一個特殊的手段：幀感知破壞（Frame Aware Corrupt）。

簡單來說，就是隨機向AI依賴的歷史畫面加入各種瑕疵，讓AI通過強化學(xué)習(xí)降低對歷史畫面的絕對依賴，并學(xué)會根據(jù)常識修復(fù)各種問題。

經(jīng)過這種方式的訓(xùn)練，Helios對誤差的容忍度極高，視頻再長也不容易崩潰。

最后一個要解決的問題是位置偏移和重復(fù)運動。

AI在生成視頻過程中的位置編碼是絕對的，當(dāng)生成的視頻長度超過了AI在訓(xùn)練時見過的最大長度，注意力機制紊亂導(dǎo)致畫面會閃回到最初的位置。

Helios將位置編碼改為相對參考，不再關(guān)注“這是第X幀”，而是關(guān)注“這是過去幾幀的延續(xù)”，從根源上斬斷了動作的周期性重復(fù)。

02 

算力的“魔術(shù)”

畫質(zhì)崩壞的問題在軟件層面上得到了解決，但更難的挑戰(zhàn)出現(xiàn)在硬件層面上：

140億參數(shù)說少不少，如何讓它在僅有一張顯卡的情況下實現(xiàn)19.5 FPS的實時運行？

AI視頻生成的本質(zhì)和大語言模型并無區(qū)別，普遍采用的Diffusion Transformer（DiT）架構(gòu)同樣使用自注意力機制來捕捉視頻的空間細(xì)節(jié)（單幀內(nèi)容）和時間連貫性（幀間運動）。

但由于向量空間中圖像的維度比文本更高，視頻中每一幀的內(nèi)容所需要的計算量遠(yuǎn)比大語言模型的一次問答要多。視頻延長短短幾秒，計算量和占用的顯存就要指數(shù)級增加，必須使用GPU集群來分?jǐn)倝毫Α?/p>

用算力換畫面質(zhì)量和視頻時長，Sora的關(guān)閉和Seedance 2.0發(fā)布后的“降智”已經(jīng)給出明確回答：在商業(yè)視角行不通。

Helios果斷選擇了其他路線，這套名為“深度壓縮流（Deep Compression Flow）”的底層重構(gòu)方案，從token縮減、步數(shù)蒸餾到顯存管理，幾乎榨干了GPU的所有潛能，像變魔術(shù)一樣上演了“見證奇跡的時刻”。

1.token視角：時空維度極限壓縮

首先要解決的是視頻上下文過長導(dǎo)致爆顯存的問題，Helios給出的解法是對時空維度進行非對稱壓縮。

前面剛剛說過，AI生成視頻是“根據(jù)歷史，畫出未來”。因此，要準(zhǔn)備多久的“歷史資料”是一個關(guān)鍵的問題。

對于人類來說，記憶類似于數(shù)據(jù)結(jié)構(gòu)中的“棧”，后進先出：我們對前一秒發(fā)生的事情記憶猶新，對十分鐘前發(fā)生的事則略顯模糊。

Helios根據(jù)仿生學(xué)完全借鑒了這種多期記憶分塊的機制，將AI需要回顧的歷史畫面分成三種：短期、中期和長期。

對于幾幀前剛剛過去的畫面，Helios保留最高清的細(xì)節(jié)；對于多幀之前比較久遠(yuǎn)的畫面，Helios對其進行高強度的壓縮，只保留最粗略的全局布局。

這個簡單的思路，讓Helios在回顧非常久遠(yuǎn)的歷史畫面時，消耗的token仍然能保持在一個極低的恒定水平，歷史信息的顯存占用直接壓縮到了原先的八分之一，徹底打消了單卡運行“爆顯存”的無解難題。

在生成畫面時，Helios也沒有直接在最高分辨率下開始生成，而是采用了自底向上的開發(fā)策略。

這類似于畫家繪畫的過程，先在低分辨率下快速勾勒出整體的顏色和布局輪廓，再逐層放大，精雕細(xì)琢邊緣和紋理等細(xì)節(jié)。

早期的去噪決定宏觀結(jié)構(gòu)，后期的去噪用于優(yōu)化細(xì)節(jié)，利用這種任務(wù)拆解的機制，能夠再將計算量降至一半以下。

2.步數(shù)視角：對抗性分層蒸餾

AI視頻生成之所以慢，是因為傳統(tǒng)的擴散模型需要經(jīng)過50步左右的反復(fù)去噪過程。

過去的視頻生成模型在學(xué)習(xí)如何一步到位時，為了防止忘記歷史畫面而“斷片”，必須通過“模擬展開推理”來訓(xùn)練。

模型生成一段視頻后，不僅要靠獎勵模型評判好與壞，還要續(xù)寫幾段模擬未來的長視頻。

毫無疑問，這樣做的結(jié)果就是耗時極長和顯存爆炸。

但Helios采用的是“純教師強制（Pure Teacher Forcing）”模式，讓模型無需模擬未來的視頻，而是直接把海量的真實連續(xù)視頻切片作為唯一的參考標(biāo)準(zhǔn)喂給模型。

模型每次訓(xùn)練，只專注于在給定的真實歷史畫面下，“完美地畫出下一小段”，去掉了復(fù)雜的模擬過程使得訓(xùn)練效率指數(shù)級躍升。

在去噪過程中，還存在類似大語言模型一樣的蒸餾機制。

但知識蒸餾總是存在一個致命缺陷：學(xué)生的上限不會比老師高，但下限可能比老師低。一旦缺點被放大，生成視頻的質(zhì)量自然也會有所下降。

為此，Helios引入了基于真實視頻的對抗性后訓(xùn)練，如果學(xué)生經(jīng)過去噪過程產(chǎn)出的結(jié)果只是對老師的模仿，缺乏真實的物理細(xì)節(jié)，就打回重做。

這種嚴(yán)格的訓(xùn)練方式，奇跡般地將原來需要50步才能實現(xiàn)的畫面保真度直接壓縮到了短短3步之內(nèi)。

3.顯存視角：重構(gòu)調(diào)度機制

GPU顯存是固定的，但模型中卻有多個子模型要串行計算。

為此，研究團隊設(shè)計了一套高級的調(diào)度機制，利用專屬的數(shù)據(jù)通道，只在GPU中保存正在計算的子模型，一旦結(jié)束計算處于閑置狀態(tài)，瞬間將參數(shù)轉(zhuǎn)移到CPU中待命。

對于PyTorch等現(xiàn)代AI訓(xùn)練框架，前向計算時中間變量會被保存到顯存中以便反向傳播時使用。

研究團隊注意到這個環(huán)節(jié)后，直接打破了框架底層的計算邏輯，只要梯度計算完成，立即手動觸發(fā)程序并在毫秒級別內(nèi)釋放激活狀態(tài)，硬是節(jié)省出了一倍以上的空閑顯存。

除此之外，官方的深度學(xué)習(xí)框架還有很多隱藏著的數(shù)據(jù)傳輸損耗。

研究團隊為了進一步加速視頻生成，直接繞開了PyTorch，使用底層編譯器語言Triton來編寫核心代碼，甚至在傳統(tǒng)的注意力機制計算過程中，直接在內(nèi)存占用復(fù)雜度中剔除了一個乘數(shù)維度。

正是這一系列從算法底層到顯存調(diào)度的極限壓榨，讓14B參數(shù)的大模型在H100上跑出了奇跡。

03 

Helios：重構(gòu)AI視頻的商業(yè)版圖

一項底層技術(shù)的突破，往往可能引發(fā)產(chǎn)業(yè)鏈的地震，而Helios恰好誕生于發(fā)明了Seedance 2.0的字節(jié)跳動。

這個說大不大、說小不小的模型，卻具備“高質(zhì)量+實時+單卡+長時間”這個前所未有的特性組合，并精準(zhǔn)擊穿了AI視頻商業(yè)化的壁壘。

Sora的關(guān)閉、Seedance 2.0發(fā)布不久后就被發(fā)現(xiàn)“降智”的事實，說明阻礙AI視頻大規(guī)模在ToC端落地的最大障礙就是高昂的價格。

近一年來，市面上效果尚可的視頻生成模型，生成一次10秒左右的視頻都需要消耗極高的算力成本。

采用訂閱制的情況下，現(xiàn)有的調(diào)用量只會讓AI公司虧本；即使開放API給B端企業(yè)，不僅技術(shù)層面上存在差距，想要靠模型產(chǎn)出商業(yè)化成品所需的費用也會讓開發(fā)者望而卻步。

但Helios將14B模型的運行門檻直接拉低到了單張H100，且吞吐量極高。

盡管消費級顯卡還是無能為力，但這仍然意味著云廠商和SaaS平臺的單路并發(fā)成本將被大幅削減，而且API的商業(yè)模式可能迎來質(zhì)變。

現(xiàn)有的按生成次數(shù)付費的積分制，未來可能轉(zhuǎn)變?yōu)楹痛笳Z言模型一樣的按token計費。

只有當(dāng)生成成本足夠低時，多模態(tài)模型才能從“奢侈品”變?yōu)橄翊笳Z言模型一樣的基礎(chǔ)設(shè)施。

Helios帶來的另一個顛覆性的商業(yè)想象，是AI視頻生成即將摘下“離線渲染”的標(biāo)簽，走向?qū)崟r互動的引擎。

無論是Seedance 2.0還是Sora，本質(zhì)上仍然是高級的離線渲染器：用戶輸入提示詞、模型開始生成內(nèi)容、等待一段時間、收獲一段“開盲盒”的視頻。

這種非實時的交互，注定只能作為內(nèi)容制作的素材生產(chǎn)工具。哪怕效果再差，錢也得照樣付。

但Helios已經(jīng)展現(xiàn)出實時互動引擎的雛形。19.5 FPS的速度和上下文的連貫記憶，簡直是為交互式生成量身打造。

如果未來用戶可以在視頻生成的播放過程中動態(tài)修改指令，將會直接打開世界模型、沉浸式體驗甚至具身智能等商業(yè)空間。

Helios的出現(xiàn)，給整個AI視頻生成賽道的玩家都指明了新的方向：

與其通過削減參數(shù)換取生成速度，不如在記憶管理、蒸餾機制和顯存調(diào)度上多做文章。

技術(shù)的護城河，就建立在對底層架構(gòu)的極限重構(gòu)之上。

       原文標(biāo)題 : 字節(jié)跳動試圖打破Seedance 2.0的“不可能三角”