文|適道
1. Google:Phenaki &Imagen Video
2. Meta:Make-A-Video
3. 百度:VidPress
4. 下一個明日之星?
沒有人懷疑,新時代已經(jīng)到來。作為新時代“發(fā)電廠”,大模型正在改造著各行各業(yè)。
在AIGC領(lǐng)域,背靠大模型,以ChatGPT為代表的AI聊天機(jī)器人,以Midjourney為代表的AI圖片生成工具,掀起了第四次AI浪潮。
但這或許只是可口的前菜?
一方面,比起圖文,視頻是更強(qiáng)的商業(yè)化載體;另一方面,有了5G技術(shù)高帶寬、低時延的加持,視頻領(lǐng)域的技術(shù)革命近在眼前。
那么,下一個大模型的爆發(fā)點(diǎn)會在何處?是在視聽行業(yè)嗎?
從需求來看,AI生成時代之前,視頻生成的智能化主要用于后期剪輯;AI生成時代當(dāng)下,接入大模型,成本和難度更大的素材采集可以輕松完成,而這剛好能夠滿足行業(yè)對“降本增效”的需求。
但從可實(shí)現(xiàn)性來看,根據(jù)易觀《AIGC產(chǎn)業(yè)研究報告2023——視頻生成篇》,生成視頻商業(yè)化落地的挑戰(zhàn)主要集中在產(chǎn)品易用性挑戰(zhàn)、穩(wěn)定可控挑戰(zhàn),以及合規(guī)應(yīng)用挑戰(zhàn)。其中,“產(chǎn)品易用性”指視頻生產(chǎn)的速度、交互體驗(yàn)等;“穩(wěn)定可控”指可生成視頻的時長、分辨率,以及處理速度,對復(fù)雜場景的理解等。
總的來說,生成視頻的質(zhì)量、互動的準(zhǔn)度極大影響著其商業(yè)化落地。
那么現(xiàn)在的視頻生成技術(shù)走到了哪一步呢,不妨先展開看看相關(guān)領(lǐng)域的進(jìn)展。
一篇來自Boxmining的文章給出了部分答案(作者Steve Gates),文章介紹了包括Phenaki 、Imagen Video、Make-A-Video在內(nèi)的幾款A(yù)I視頻生成模型,并指出了AIGC領(lǐng)域的下一個爆點(diǎn)。以下是適道的翻譯簡寫。為方便大家絲滑閱讀,適道對原文結(jié)構(gòu)進(jìn)行了微調(diào),并補(bǔ)充了文中提及的案例。
隨著大模型不斷發(fā)展,人們急切期待AI繪畫和ChatGPT后的下一個突破點(diǎn)。
在通信領(lǐng)域,5G技術(shù)的高帶寬、低時延,為視頻傳輸提供了強(qiáng)有力的保障,這會引發(fā)一場圍繞8K視頻、VR和AR的視頻技術(shù)革命。
綜上所述,技術(shù)法則預(yù)示著視頻領(lǐng)域的技術(shù)革命指日可待。隨著AI和5G技術(shù)的發(fā)展,視頻行業(yè)將迎來新一輪的創(chuàng)新發(fā)展浪潮。
1. Google:Phenaki &Imagen Video
在現(xiàn)象級產(chǎn)品ChatGPT大放異彩之時,Google的文生視頻(Text to Video,T2V)模型Phenaki的表現(xiàn)也相當(dāng)炸裂。
Phenaki不受固定幀數(shù)、時長、分辨率的限制。它不僅比以前的模型更長、更復(fù)雜,分辨率更高,還能理解不同的藝術(shù)風(fēng)格和3D結(jié)構(gòu)。
僅根據(jù)單個提示詞,Phenaki就能生成一個能講故事的視頻(Story-Telling Video)。
當(dāng)你想做一段泰迪熊動畫時,只需輸入:
A teddy bear diving in the ocean(一只泰迪熊潛入海中)
A teddy bear emerges from the water(一只泰迪熊從水中出現(xiàn))
A teddy bear walks on the beach(一只泰迪熊走在沙灘上)
Camera zooms out to the teddy bear in the campfire by the beach(相機(jī)逐漸拉遠(yuǎn)至沙灘邊篝火旁的泰迪熊)
幾分鐘后,你會獲得如下視頻:
怎么樣?質(zhì)感相當(dāng)不錯吧。
同時期,Google還推出了另一款基于擴(kuò)散模型的Imagen Video,同樣擁有高分辨率,也可以理解不同藝術(shù)風(fēng)格。不過,Imagen Video生成的視頻時長相比Phenaki來說更短。
2. Meta:Make-A-Video
Meta也加入了這場視頻生成的卷王之戰(zhàn)中,并在2022年9月推出了Make-A-Video,時間比Google推出Phenaki &Imagen Video剛好早了一周。
根據(jù)Meta官網(wǎng)介紹,和上述的文生視頻T2V模型不同,Make-A-Video是建立在文本生成圖像(Text to Image,T2I)模型上的升級版本。
也就是說,雖然Make-A-Video生成的是視頻,但它沒有用成對的文本+視頻數(shù)據(jù)訓(xùn)練,而是和文本生成圖像(Text to Image,T2I)模型一樣,靠文本+圖像的數(shù)據(jù)對進(jìn)行訓(xùn)練,這一方面是考慮到當(dāng)前互聯(lián)網(wǎng)中的文本+視頻的數(shù)據(jù)集過少,另一方面是,可以對已經(jīng)相對成熟的T2I模型進(jìn)行重復(fù)使用。
那么,我們來看看Make-A-Video能做出哪些好玩的視頻?
1、將靜止圖像轉(zhuǎn)換成視頻
2、根據(jù)前后兩張圖片創(chuàng)建一個視頻
3、基于原始視頻生成新視頻
4、根據(jù)輸入的文字提示,生成符合語義的短視頻。
例如,輸入“喝水的馬”
輸入“機(jī)器人在時代廣場跳舞”
3. 百度:VidPress
到了國內(nèi),百度也將文心大模型的能力運(yùn)用在智能視頻合成平臺VidPress中。
VidPress可以快速完成文字腳本、視頻內(nèi)容搜索、素材處理、音視頻對齊、剪輯等一連串“騷操作”。
VidPress內(nèi)容生產(chǎn)的三個環(huán)節(jié)
早在2021年1月,百度研究院就發(fā)布了一條由AI自主剪輯的視頻《2021年十大科技趨勢預(yù)測》,該視頻的技術(shù)支撐就是VidPress。
當(dāng)下,一方面,文娛、教育、傳媒等諸多領(lǐng)域?qū)I生成視頻具有強(qiáng)烈市場需求;另一方面,AI生成內(nèi)容產(chǎn)品存在變現(xiàn)困難等商業(yè)化瓶頸。而在2022年,一批高質(zhì)量文生圖模型,如DALL E、Imagen和Stable Diffusion涌現(xiàn),這將助力AI生成內(nèi)容產(chǎn)業(yè)突破變現(xiàn)難等商業(yè)化瓶頸。
4. 下一個明日之星?
在大模型技術(shù)領(lǐng)域,兩類公司值得關(guān)注。
1、擁有數(shù)據(jù)基礎(chǔ)和應(yīng)用場景的公司
以Netflix、Disney為代表的大型行業(yè)玩家為代表,這些公司積攢了數(shù)十億條會員評價,且熟知觀眾的習(xí)慣和需求。
事實(shí)上,Netflix已經(jīng)使用AI來替代標(biāo)準(zhǔn)內(nèi)容的制作,例如從影片中抽取符合用戶觀影偏好的畫面,生成電影縮略圖。
另外,今年1月31日,Netflix還發(fā)布了一支AIGC動畫短片《犬與少年(Dog and Boy)》。其中動畫場景的繪制工作就是由AI完成的。
2、科技巨頭核心研發(fā)團(tuán)隊(duì)創(chuàng)建的初創(chuàng)公司
以O(shè)penAI、DeepMind和Meta為代表,這些公司在該領(lǐng)域有著重大影響力。它們也憑借深厚的技術(shù)背景和創(chuàng)新精神,開發(fā)出了一系列領(lǐng)先的大模型技術(shù)。
有趣的是,這些公司原本的研究人員也跳了出來,強(qiáng)強(qiáng)聯(lián)手,成立新公司。
例如,前段時間,由DeepMind和Meta的前研究人員共同創(chuàng)立的Mistral AI,成為了資本的新“寵兒”。Mistral AI僅成立了四個星期,就獲得了一輪高達(dá)1.13億美元的種子資金。據(jù)外媒Techcrunch報道,這是歐洲生成式AI公司有史以來獲得的最大的種子輪融資。
結(jié)論
從ChatGPT到AIGC,再到如今的視頻生成模型,AI發(fā)展的速度之快令人驚嘆。
目前,在視頻生成領(lǐng)域,科技巨頭們正在爭先搶占領(lǐng)先地位。
不過,無論誰來搶占,如何搶占,他們的目標(biāo)都是創(chuàng)造出更加真實(shí)、高質(zhì)量的視頻。而這些技術(shù)不僅能為消費(fèi)者帶來更深度的娛樂體驗(yàn),也將為媒體、教育、廣告等行業(yè)帶來巨大影響。
然而,這些正在更新的大模型技術(shù)也帶來了一些新的挑戰(zhàn),如隱私問題、數(shù)據(jù)保護(hù)以及內(nèi)容濫用問題。這需要我們在繼續(xù)推動技術(shù)進(jìn)步的同時,積極應(yīng)對這些挑戰(zhàn),如制定相適應(yīng)的規(guī)范和法規(guī),以確保技術(shù)的健康發(fā)展。
無論如何,對于大模型技術(shù)的未來,我們有理由保持樂觀。隨著技術(shù)的不斷進(jìn)步,我們期待在不久的將來看到更多的創(chuàng)新和突破。