文 | 窄播 李威
這是《窄播Weekly》的第31期，本期我們關(guān)注的商業(yè)動(dòng)態(tài)是：AI視頻生成大模型。
今年2月OpenAI通過Sora的發(fā)布，為AI視頻生成明確了依靠DiT（Difffusion Transfomer）架構(gòu)獲得突破的技術(shù)路徑。隨后，快手、阿里巴巴、字節(jié)跳動(dòng)、美圖、生數(shù)科技、智譜AI、MiniMax紛紛入局其中，持續(xù)提升著AI視頻生成的賽道熱度。
9月，國產(chǎn)視頻生成大模型迎來了目前最重要的一輪爆發(fā)：
8月31日，MiniMax正式發(fā)布視頻模型video-01，拉開了紅毯儀式的序幕。
9月19日，阿里云CTO周靖人在云棲大會(huì)上發(fā)布全新視頻生成模型。同日，快手發(fā)布可靈1.5模型，內(nèi)部評(píng)測(cè)整體效果比可靈1.0模型提升了95%。
9月23日，美圖公司宣布美圖奇想大模型完成視頻生成能力的升級(jí)。
9月24日，字節(jié)跳動(dòng)旗下火山引擎發(fā)布了PixelDance和Seaweed兩款視頻生成大模型。
9月26日，美圖公司又向所有用戶開放了AI短片創(chuàng)作工具M(jìn)OKI。
9月30日，可靈又上線了「對(duì)口型」功能，支持對(duì)生成的人物上傳音頻內(nèi)容，并宣布正式全面開放API，上線了AI創(chuàng)作社區(qū)「創(chuàng)意圈」。
國慶假期，國外視頻生成大模型領(lǐng)域也迎來了新變化。當(dāng)?shù)貢r(shí)間10月4日，Sora團(tuán)隊(duì)研發(fā)負(fù)責(zé)人Tim Brooks宣布離職加入DeepMind，繼續(xù)從事視頻生成和世界模擬器方面的工作。
同日，Meta對(duì)外公布了新的大模型Movie Gen。該模型支持根據(jù)文本提示創(chuàng)作視頻和音頻內(nèi)容，并允許用戶添加特效、道具、服裝或?qū)ι蓛?nèi)容中的部分元素進(jìn)行簡單調(diào)整，可生成最長16秒的1080P視頻。Meta認(rèn)為，Movie Gen旨在處理從個(gè)性化視頻創(chuàng)作到復(fù)雜的視頻編輯和高質(zhì)量音頻生成等任務(wù)，并計(jì)劃于2025年在Instagram落地應(yīng)用。
從國內(nèi)到國外，巨頭與創(chuàng)業(yè)公司攜手結(jié)束了視頻生成大模型你方唱罷我登場(chǎng)的紅毯儀式，開始面向具體場(chǎng)景尋找快速落地、生效、獲益的路徑。
四個(gè)共性特征
在過去的7個(gè)月時(shí)間里，不同企業(yè)圍繞視頻生成大模型進(jìn)行的探索呈現(xiàn)出了四個(gè)共性特征。
第一，視頻生成大模型的迭代速度更快，效果提升更顯著。從單一模型來看，快手可靈截止1.5版本發(fā)布，已經(jīng)進(jìn)行了9次迭代，并且在上線1.5模型的同時(shí)，還在為1.0模型增加新的能力。從不同模型來看，近期發(fā)布的視頻生成大模型在生成效果上都有比較明顯的提升。
第二，幾乎所有視頻生成大模型都是現(xiàn)貨供應(yīng)，極少有像Sora一樣的期貨產(chǎn)品。阿里巴巴發(fā)布視頻生成大模型之后，即日就能在通義App和通義萬相網(wǎng)站上面向所有用戶開放。字節(jié)跳動(dòng)的視頻生成大模型發(fā)布之后，火山引擎總裁譚待也表示，豆包視頻生成大模型不是「期貨」，已經(jīng)在內(nèi)測(cè)API和應(yīng)用，國慶節(jié)后會(huì)放出更多公開API。
第三，現(xiàn)貨的前提下，全量開放和限制次數(shù)的免費(fèi)使用成為國產(chǎn)視頻生成大模型的共同選擇?？伸`在7月23日就實(shí)現(xiàn)了全量開放，非會(huì)員每日登陸可以獲得6個(gè)視頻生成份額。阿里強(qiáng)調(diào)視頻生成功能在手機(jī)App端不限量免費(fèi)使用。MiniMax也在海螺AI官網(wǎng)上開啟了對(duì)視頻生成功能的限免體驗(yàn)。相較而言，每月向Runway支付105元，才可以獲得生成10個(gè)視頻的權(quán)益。
第四，可生成的視頻類型越來越豐富，清晰度越來越高，細(xì)節(jié)越來越逼真，視頻一致性和長度不斷提升，運(yùn)動(dòng)軌跡越來越符合物理規(guī)律。
可靈1.5模型支持最長2分鐘的30幀1080P高清視頻。豆包視頻生成大模型支持生成黑白、3D動(dòng)畫、2D動(dòng)畫、國畫等多種風(fēng)格、適配不同畫幅比例的視頻內(nèi)容。通義視頻生成大模型支持最長5秒、每秒30幀的720P視頻生成，并能生成與畫面匹配的音效，呈現(xiàn)發(fā)絲隨風(fēng)飄動(dòng)、水滴上的陽光折射等細(xì)節(jié)。
這些共性特征特征的出現(xiàn)意味著，不同于OpenAI在Sora上展現(xiàn)出了「世界模擬器」的野心，國產(chǎn)的視頻生成大模型從誕生起，就選擇的是一條更落地、更現(xiàn)實(shí)的進(jìn)化路徑——讓快速迭代的視頻生成大模型融入和優(yōu)化現(xiàn)有的視頻創(chuàng)作流程。
對(duì)于大模型創(chuàng)業(yè)公司而言，就像MiniMax創(chuàng)始人閆俊杰所說，人類每天消費(fèi)的大部分內(nèi)容都是圖文和視頻，文字的占比并不高，具備輸出多模態(tài)內(nèi)容能力的大模型能夠獲得更高的用戶覆蓋度和使用度。
對(duì)于擁有視頻業(yè)務(wù)和用戶積累的成熟企業(yè)而言，大模型可能意味著一個(gè)重新分配蛋糕的機(jī)會(huì)，也意味著深挖已有用戶潛力的可能，最不濟(jì)，對(duì)大模型的投入也能夠在一定程度上幫助企業(yè)降低被擠下牌桌的風(fēng)險(xiǎn)。
不同大模型有不同的突破口
從差異性上來看，內(nèi)容平臺(tái)在視頻生成大模型上已經(jīng)展現(xiàn)出了一定的優(yōu)勢(shì)。從Sora發(fā)布至今，快手的可靈與字節(jié)跳動(dòng)的豆包視頻生成大模型分別在兩個(gè)不同的時(shí)間點(diǎn)收獲了最高光的關(guān)注。并且，可靈和豆包視頻生成大模型拿出的功能特點(diǎn)更能切中實(shí)際的使用需求。
可靈1.5模型可以一次性生成最多4條視頻，提升了抽卡效率，圖生視頻的時(shí)長也提高到了10秒，還上線了「使用指南」，降低用戶使用可靈的門檻?？伸`1.0模型的圖生視頻功能增加了運(yùn)動(dòng)筆刷功能，讓用戶能為圖中最多6個(gè)元素描繪更精準(zhǔn)的運(yùn)動(dòng)軌跡。
相較效果豐富的Seaweed，另一款基于DiT架構(gòu)的豆包視頻生成大模型PixelDance給到了大家更大震撼。該模型展示出了對(duì)復(fù)雜prompt的精準(zhǔn)理解能力，也更接近真實(shí)視頻創(chuàng)作習(xí)慣的動(dòng)態(tài)效果與鏡頭語言，能夠在同一個(gè)prompt下實(shí)現(xiàn)多鏡頭的切換，并保持主體、風(fēng)格、氛圍的一致性。
發(fā)布會(huì)的展示中，PixelDance可以根據(jù)「一個(gè)男人站在一輛汽車前面，鏡頭向前推進(jìn)，聚焦到男人拿出的鑰匙，男人打開車門」這樣的prompt，生成一個(gè)基本呈現(xiàn)其細(xì)節(jié)要求的10秒鐘視頻。在已經(jīng)發(fā)布的測(cè)評(píng)中，PixelDance也生成了高一致性，且能運(yùn)用變焦、縮放、搖移等多種鏡頭語言的視頻內(nèi)容。
相較視頻平臺(tái)，擁有圖像工具產(chǎn)品基礎(chǔ)的美圖公司，將AI短劇生成作為自己視頻生成大模型能力的突破口。其面向所有用戶開放的AI短片創(chuàng)作工具M(jìn)OKI，支持生成中國動(dòng)畫、兒童期刊、手繪插畫、日式動(dòng)漫、古典水墨等10種視覺風(fēng)格的短劇作品。從一些測(cè)評(píng)來看，其對(duì)宮崎駿動(dòng)畫風(fēng)格、黏土動(dòng)畫風(fēng)格都有不錯(cuò)的呈現(xiàn)。
阿里巴巴的通義視頻生成大模型、MiniMax的video-01主要強(qiáng)調(diào)了模型底層能力的優(yōu)化。阿里巴巴采用了中英文雙語標(biāo)注，從語義理解環(huán)節(jié)就強(qiáng)化了對(duì)中文表達(dá)的支持，對(duì)中國風(fēng)視頻內(nèi)容的生成有更好的支持，并能對(duì)簡單的prompt進(jìn)行靈感擴(kuò)寫，提升視頻生成的效果。MiniMax則會(huì)強(qiáng)調(diào)生成的視頻內(nèi)容可媲美電影質(zhì)感。
奔向場(chǎng)景的三條路徑
隨著玩家的基本聚齊，視頻生成大模型的競爭開始進(jìn)入到尋找規(guī)模化落地場(chǎng)景的階段。我們可以為視頻生成大模型找到從C端到B端的豐富的應(yīng)用場(chǎng)景，比如朋友圈內(nèi)容、AI短劇、視頻廣告、口播內(nèi)容、宣傳片、節(jié)目制作、電影后期……這些場(chǎng)景大致可以被劃分為三類，也是大模型奔赴場(chǎng)景的三條路徑。
第一，直面普通用戶，尋求快速增長。快手在快影上、字節(jié)跳動(dòng)在即夢(mèng)AI上，都在進(jìn)行著直接面向普通用戶的探索。但是，對(duì)于大多數(shù)普通用戶來說，視頻剪輯、視頻生成都不是高頻次的功能，需要以更大的用戶基數(shù)來對(duì)沖大部分用戶使用頻次的不足。
以視頻生成大模型目前的能力水準(zhǔn)，并不足以滿足用戶簡單便捷地生成所需視頻內(nèi)容的要求。提出能生成有效視頻內(nèi)容的prompt，對(duì)大部分人都還是一種挑戰(zhàn)。這也是為什么，阿里會(huì)在視頻大模型中增加靈感擴(kuò)寫功能。視頻生成大模型還處在PS階段，但大部分用戶需要的是美圖秀秀。
這種落差的存在，讓視頻生成大模型面向普通用戶的使用，更多會(huì)從某個(gè)極其具體且剛需的場(chǎng)景切入。像之前大火過的妙鴨相機(jī)、黏土特效以及能讓照片說話唱歌的EMO模型，都屬于具體且剛需的娛樂場(chǎng)景。他們還肩負(fù)著讓更多普通用戶對(duì)大模型產(chǎn)品形成精準(zhǔn)預(yù)期的責(zé)任。
在此基礎(chǔ)上，從有趣向有用過渡，不斷找到具體且剛需的場(chǎng)景，可能是視頻生成大模型面向普通用戶進(jìn)行拓展的關(guān)鍵。
第二，服務(wù)個(gè)體的創(chuàng)作者，降低創(chuàng)作門檻。這類用戶往往是個(gè)人或小團(tuán)隊(duì)，創(chuàng)作需求更持續(xù)，更有創(chuàng)作沖動(dòng)，卻缺乏生產(chǎn)高成本、高概念視頻作品的能力。視頻生成大模型讓這些個(gè)體創(chuàng)作者有機(jī)會(huì)付出更多時(shí)間成本，通過精調(diào)prompt和抽卡，來降低金錢成本，將更多靈感和想象力轉(zhuǎn)化為視頻作品。
對(duì)于視頻平臺(tái)而言，這些撐起內(nèi)容創(chuàng)作生態(tài)基礎(chǔ)的個(gè)體創(chuàng)作者，是最重要的服務(wù)對(duì)象。更低的視頻創(chuàng)作門檻，更豐富多彩的靈感表達(dá)，意味著更為繁榮的視頻內(nèi)容生態(tài)。剪映、即夢(mèng)AI、快影、YouTube、Instagram正在融入的視頻生成大模型能力，甚至美圖公司的MOKI，都會(huì)將服務(wù)這部分創(chuàng)作者作為一個(gè)重點(diǎn)。
即夢(mèng)AI和剪映市場(chǎng)負(fù)責(zé)人陳欣然在活動(dòng)上展示了一個(gè)融合AI能力的創(chuàng)作流程。在這個(gè)流程中，創(chuàng)作者可以利用AI生成一個(gè)故事腳本，然后在AI輔助下完成視覺設(shè)定，在故事腳本和視覺設(shè)定基礎(chǔ)上生成視頻內(nèi)容，并配以AI生成的音樂和音效，利用AI智能剪輯輸出完整作品。這種理想的視頻創(chuàng)作的工作流能夠極大釋放創(chuàng)作者的潛力。
YouTube也在將Google的視頻生成大模型能力融入其中。2023年，YouTube就已經(jīng)支持創(chuàng)作者通過自然語言在短視頻平臺(tái)YouTube Shorts中生成視頻背景。今年，隨著對(duì)AI視頻生成大模型Veo的集成，創(chuàng)作者可以為YouTube Shorts生成6秒的短片，或者為視頻添加過渡場(chǎng)景。
第三，服務(wù)企業(yè)客戶，將視頻生成能力植入到現(xiàn)有的內(nèi)容生產(chǎn)流程中，提供輔助，降低成本。可靈與東方衛(wèi)視合作，在中秋晚會(huì)的《博物館奇妙夜》節(jié)目中，讓文物都「活」了過來，支撐了創(chuàng)意的實(shí)現(xiàn)。利用剪映的內(nèi)容營銷創(chuàng)作工具，用戶上傳商品素材或頁面鏈接，就能一鍵生成不同風(fēng)格的帶貨視頻。
東吳證券在研報(bào)中認(rèn)為，AI滲透率提升的核心驅(qū)動(dòng)力在于企業(yè)的降本增效訴求。根據(jù)東吳證券的測(cè)算，全AI模式下，電影、長劇、動(dòng)畫片、短劇的制作成本分別為2.5/9.3/3.7/0.4萬元人民幣，相較于傳統(tǒng)模式成本降低幅度超95%；人機(jī)共創(chuàng)模式下，電影制作成本有望降低43%。
Runway與獅門影業(yè)的合作表明企業(yè)與視頻生成大模型結(jié)合的意愿在提升。在這個(gè)合作中，Runway將使用獅門影業(yè)的電影目錄來訓(xùn)練自定義視頻模型，使其可以生成電影視頻，并利用其增強(qiáng)創(chuàng)作者的作品。當(dāng)然，這個(gè)探索需要更長時(shí)間，并具備很強(qiáng)的不確定性。
盡管一些創(chuàng)作者反對(duì)將其作品應(yīng)用于大模型的訓(xùn)練，但2024年動(dòng)畫藝術(shù)家工會(huì)（Animation Guild）對(duì)美國55萬名影視行業(yè)從業(yè)者進(jìn)行的問卷調(diào)查顯示，已經(jīng)有69%的公司在使用生成式AI技術(shù)，其中約44%的公司將其應(yīng)用于生成3D模型，39% 的公司應(yīng)用于設(shè)計(jì)角色和環(huán)境。
需要更多成功模板
從Runway與獅門影業(yè)的合作中，我們也可以看到一個(gè)趨勢(shì)。在視頻生成大模型之上，一個(gè)視頻生成大模型的應(yīng)用生態(tài)正在出現(xiàn)。將視頻生成大模型的能力針對(duì)特定場(chǎng)景進(jìn)行模板化，是這個(gè)應(yīng)用生態(tài)的最核心工作。Runway就有意將和獅門影業(yè)共同開發(fā)的模型授權(quán)為模版，供個(gè)人創(chuàng)作者構(gòu)建和訓(xùn)練自己的自定義模型。
美圖公司對(duì)MOKI的功能設(shè)計(jì)就是一個(gè)細(xì)分場(chǎng)景模板化的案例。MOKI將創(chuàng)意短片的創(chuàng)作過程分成可以進(jìn)行微調(diào)的三個(gè)步驟：通過用戶提供的故事梗概和現(xiàn)成腳本生成分鏡腳本和設(shè)定選項(xiàng)；根據(jù)分鏡腳本生成畫面，并支持修改細(xì)節(jié)；最后輸出帶有配樂的視頻內(nèi)容。
另一種模板化的路徑是與行業(yè)頂尖的創(chuàng)作者合作，推出最佳實(shí)踐?？焓衷诓痪们靶紗?dòng)「可靈AI」導(dǎo)演共創(chuàng)計(jì)劃，聯(lián)合李少紅、賈樟柯、葉錦添、薛曉路、俞白眉、董潤年、張吃魚、王子川、王卯卯9位導(dǎo)演，依托可靈的技術(shù)能力，制作出品9部AIGC電影短片。其中沉淀出來的最佳實(shí)踐，也能為更多內(nèi)容創(chuàng)作者使用可靈提供借鑒。
我們也看到，越來越多的視頻生成大模型開始面向企業(yè)開放API接口，借助更多企業(yè)的力量，共同開發(fā)視頻生成大模型的場(chǎng)景化模板。Runway 為其視頻生成大模型Gen-3 Alpha Turbo開放了僅限受邀者使用的API接口，供受邀者在應(yīng)用中構(gòu)建視頻生成功能。Luma、Vidu也都推出了自己的API開放計(jì)劃。
在過去半年多的時(shí)間里，我們見證了視頻生成大模型的快速迭代發(fā)展，也看到了人們?yōu)槠鋵ふ易罴褢?yīng)用場(chǎng)景的諸多努力。在視頻生成大模型領(lǐng)域，還有很多不確定性，比如現(xiàn)有的技術(shù)路徑是否能夠?qū)崿F(xiàn)視頻生成能力的最大化，會(huì)不會(huì)有新的技術(shù)路徑出現(xiàn)，以及如果將視頻生成能力融入進(jìn)Butterflies這樣的AI社區(qū)會(huì)產(chǎn)生什么樣的效果。這需要更多時(shí)間去探索和驗(yàn)證。