文｜讀懂財(cái)經(jīng)
在2022年的春節(jié)，OpenAI推出的ChatGPT快速引爆了資本圈與AI圈，至此拉開了AI大航海的序幕。
到了今年，類似的故事也在發(fā)生。2月16日凌晨，在沒有任何預(yù)兆和消息透露的情況下，OpenAI 突然發(fā)布了自己的首個(gè)文生視頻模型：Sora。很顯然，這給了整個(gè)AI行業(yè)一點(diǎn)小小的震撼。
相比市面上現(xiàn)有的AI視頻模型，Sora展示出了遠(yuǎn)超預(yù)期的能力：不僅直接將視頻生成的時(shí)長(zhǎng)一次性提升了15倍，在視頻內(nèi)容的穩(wěn)定性上也有不小的提升。更重要的是，在公布的演示視頻里，Sora展示了對(duì)物理世界部分規(guī)律的理解，這是過去文生視頻模型一大痛點(diǎn)。
隨著Sora的發(fā)布，另一個(gè)有趣的事情是，為什么總是OpenAI？要知道，在Sora發(fā)布前，探索AI視頻模型的公司并不少，包括大眾熟知的Runway、Pika，也取得了不錯(cuò)的進(jìn)展。但OpenAI依然實(shí)現(xiàn)了降維打擊。
這是一場(chǎng)典型的OpenAI式勝利：聚焦AGI這一終極目標(biāo)，不拘泥于具體場(chǎng)景，通過Scaling Law，將生成式AI的“魔法”從文本延伸到了視頻和現(xiàn)實(shí)世界。??????
在這個(gè)過程中，AI所創(chuàng)造的虛擬世界與現(xiàn)實(shí)世界的邊界逐漸模糊，OpenAI距離AGI的目標(biāo)也將越來越近。
/ 01 / 降維打擊的Sora
在Sora發(fā)布前，大眾對(duì)文生視頻方案并不陌生。根據(jù)知名投資機(jī)構(gòu)a16z此前的統(tǒng)計(jì)，截至2024年底，市場(chǎng)上共有21個(gè)公開的AI視頻模型，包括大眾熟知的Runway、Pika、Genmo以及Stable Video Diffusion等等。
那么相比現(xiàn)有的AI視頻模型，Sora所展示出來的優(yōu)勢(shì)，主要集中在以下幾點(diǎn)：
一是視頻長(zhǎng)度的巨大提升。Sora生成長(zhǎng)達(dá)1分鐘的超長(zhǎng)視頻，這樣內(nèi)容長(zhǎng)度遠(yuǎn)遠(yuǎn)高于市面上的所有AI視頻模型。
根據(jù)a16z統(tǒng)計(jì)，現(xiàn)有的AI視頻模型制作的視頻長(zhǎng)度大都在10秒以內(nèi)，像此前大熱的Runway Gen 2、Pika，其制作的視頻長(zhǎng)度分別只有4秒和3秒。60秒的視頻長(zhǎng)度，也意味著其基本達(dá)到了抖音等短視頻平臺(tái)的內(nèi)容要求。
二是視頻內(nèi)容的穩(wěn)定性。對(duì)AI視頻來說，它們基本上是生成幀，在幀與幀之間創(chuàng)造時(shí)間上連貫的動(dòng)畫。但由于它們對(duì)三維空間以及物體應(yīng)如何交互沒有內(nèi)在的理解，導(dǎo)致AI視頻往往會(huì)出現(xiàn)人物扭曲和變形。
比如說，這樣的情況經(jīng)常會(huì)出現(xiàn)：片段的前半部分，一個(gè)人在在街道上行走，后半部分卻融化在地面上——模型沒有“堅(jiān)硬”表面的概念。由于缺乏場(chǎng)景的三維概念，從不同角度生成相同片段也很困難。
但Sora的獨(dú)特之處在于，其所制作的60秒視頻不僅能夠?qū)崿F(xiàn)一鏡到底，視頻中的女主角、背景人物，都達(dá)到了驚人的一致性，各種鏡頭隨意切換，人物都是保持了極高的穩(wěn)定性。以下是Sora發(fā)布的演示視頻：
Prompt: 一位時(shí)尚女性走在充滿溫暖霓虹燈和動(dòng)畫城市標(biāo)牌的東京街道上。她穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子，拎著黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信又隨意。街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來走去。
三是深刻的語言理解能力使Sora能夠精準(zhǔn)地識(shí)別用戶的指令，從而在生成的視頻中呈現(xiàn)出豐富的表情和生動(dòng)的情感。這種深層次的理解不僅局限于簡(jiǎn)單的命令，Sora還理解這些東西在物理世界中的存在方式，甚至能夠?qū)崿F(xiàn)相當(dāng)多的物理交互。
舉個(gè)例子，就拿Sora對(duì)于毛發(fā)紋理物理特性的理解來說，當(dāng)年皮克斯在制作《怪物公司》主角毛怪時(shí)，為能呈現(xiàn)其毛發(fā)柔軟波動(dòng)的質(zhì)感，技術(shù)團(tuán)隊(duì)為此直接連肝幾個(gè)月，才開發(fā)出仿真230萬根毛發(fā)飄動(dòng)的軟件程序。而如今Sora在沒有人教的情況下，輕而易舉地就實(shí)現(xiàn)了。
“它學(xué)會(huì)了關(guān)于 3D 幾何形狀和一致性的知識(shí)，”項(xiàng)目的研究科學(xué)家Tim Brooks表示?！斑@并非我們預(yù)先設(shè)定的——它完全是通過觀察大量數(shù)據(jù)自然而然地學(xué)會(huì)的?！?/p>
毫無疑問，相比于其他“玩具級(jí)”的視頻生成AI，Sora在AI視頻領(lǐng)域?qū)崿F(xiàn)了降維打擊。
/ 02 / 把視覺數(shù)據(jù)統(tǒng)一起來
從技術(shù)層面來說，圖片生成和視頻生成的底層技術(shù)框架較為相似，主要包括循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）、自回歸模型（autoregressive transformers）、擴(kuò)散模型（diffusion models）。
與Runway、Pika等主流AI視頻聚焦于擴(kuò)散模型不同，Sora采取了一個(gè)新的架構(gòu)——Diffusion transformer 模型。正如它的名字一樣，這個(gè)模型融合了擴(kuò)散模型與自回歸模型的雙重特性。Diffusion transformer 架構(gòu)由加利福尼亞大學(xué)伯克利分校的 William Peebles 與紐約大學(xué)的 Saining Xie 在 2023 年提出。
在這個(gè)新架構(gòu)中，OpenAI沿用了此前大語言模型的思路，提出了一種用 Patch（視覺補(bǔ)?。┳鳛橐曨l數(shù)據(jù)來訓(xùn)練視頻模型的方式，是一個(gè)低維空間下統(tǒng)一的表達(dá)單位，有點(diǎn)像文本形式下的Token。LLM把所有的文本、符號(hào)、代碼都抽象為Token，Sora把圖片、視頻都抽象為Patch。
簡(jiǎn)單來說，OpenAI會(huì)把視頻和圖片切成很多小塊，就像是拼圖的每一片一樣。這些小塊就是Patch，每一個(gè)補(bǔ)丁就像是電腦學(xué)習(xí)時(shí)用的小卡片，每張卡片上都有一點(diǎn)點(diǎn)信息。
通過這種方式，OpenAI能夠把視頻壓縮到一個(gè)低維空間，然后通過擴(kuò)散模型模擬物理過程中的擴(kuò)散現(xiàn)象來生成內(nèi)容數(shù)據(jù)，從一個(gè)充滿隨機(jī)噪聲的視頻幀，逐漸變成一個(gè)清晰、連貫的視頻場(chǎng)景。整個(gè)過程有點(diǎn)像是把一張模糊的照片變得清晰。
按OpenAI的說法，將視覺數(shù)據(jù)進(jìn)行統(tǒng)一表示這種做法的好處有兩點(diǎn)：
第一，采樣的靈活性。Sora 可以采樣寬屏 1920x1080p 視頻、垂直 1080x1920 視頻以及介于兩者之間的所有視頻（如下列3個(gè)視頻）。這使得 Sora 可以直接以其原生寬高比為不同設(shè)備創(chuàng)建內(nèi)容，快速以較低尺寸制作原型內(nèi)容。
第二，取景與構(gòu)圖效果的改善。根據(jù)經(jīng)驗(yàn)發(fā)現(xiàn)，以原始寬高比對(duì)視頻進(jìn)行訓(xùn)練可以改善構(gòu)圖和取景。比如，常見的將所有訓(xùn)練視頻裁剪為正方形的模型，有時(shí)會(huì)生成僅部分可見主體的視頻。相比之下，Sora 的視頻取景有所改善。
為什么OpenAI能夠想到將視覺數(shù)據(jù)進(jìn)行統(tǒng)一表示的方法？除了技術(shù)原因外，也很大程度上得益于OpenAI與Pika、Runway，對(duì)AI視頻生成模型的認(rèn)知差異。
/ 03 / 世界模型，通過AGI的道路
在Sora發(fā)布前，AI 視頻生成往往被人看作是AI應(yīng)用率先垂直落地的場(chǎng)景之一，因?yàn)檫@很容易讓人想到顛覆短視頻、影視/廣告行業(yè)。
正因?yàn)槿绱?，幾乎所有?AI 視頻生成公司都陷入了同質(zhì)化競(jìng)爭(zhēng)：過多關(guān)注更高畫質(zhì)、更高成功率、更低成本，而非更大時(shí)長(zhǎng)的世界模型。你能看到，Pika、Runway做視頻的時(shí)長(zhǎng)都不超過 4s 范圍，雖然可以做到畫面足夠優(yōu)秀，但物體動(dòng)態(tài)運(yùn)動(dòng)表現(xiàn)不佳。
但OpenAI對(duì)AI視頻生成的探索更像是沿著另一條路線前進(jìn)：通過世界模型，打通虛擬世界與現(xiàn)實(shí)世界的邊界，實(shí)現(xiàn)真正AGI。在OpenAI公布的Sora技術(shù)報(bào)告里，有這樣一句話：
“我們相信Sora今天展現(xiàn)出來的能力，證明了視頻模型的持續(xù)擴(kuò)展（Scaling）是開發(fā)物理和數(shù)字世界（包含了生活在其中的物體、動(dòng)物和人）模擬器的一條有希望的路?！?
世界模型，最早是由Meta 首席科學(xué)家楊立昆（Yann LeCun）在2023 年 6 月提出的概念，大致意思是可以理解為是要對(duì)真實(shí)的物理世界進(jìn)行建模，讓機(jī)器像人類一樣，對(duì)世界有一個(gè)全面而準(zhǔn)確的認(rèn)知，尤其是理解當(dāng)下物理世界存在的諸多自然規(guī)律。
換言之，OpenAI更愿意把Sora 視為理解和模擬現(xiàn)實(shí)世界的模型基礎(chǔ)，視為 AGI 的一個(gè)重要里程碑，而不是AI應(yīng)用落地的場(chǎng)景。這意味著，相比其他玩家，OpenAI永遠(yuǎn)用比問題更高一維度的視角看待問題。
在實(shí)際情況里，這會(huì)讓解決問題變得更加容易。正如愛因斯坦說過，我們不能用創(chuàng)造問題時(shí)的思維來解決問題。從這個(gè)角度上說，也能夠解釋為什么OpenAI總能時(shí)不時(shí)給行業(yè)來點(diǎn)小震撼。
盡管從目前看，AI生成的視頻仍然有著各種各樣的問題，比如模型難以準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理，也可能無法理解因果關(guān)系的具體實(shí)例，但不可否認(rèn)的是，至少Sora開始理解部分物理世界的規(guī)則，讓眼見不再為實(shí)，基于物理規(guī)則所搭建的世界真實(shí)性遇到前所未有挑戰(zhàn)。
當(dāng)大模型從過去文本中學(xué)習(xí)的模式，開始轉(zhuǎn)為向視頻和真實(shí)世界學(xué)習(xí)。隨著Scaling Law的邏輯在各個(gè)領(lǐng)域涌現(xiàn)，或許賽博世界與物理世界的邊界將變得更加模糊。