文|數(shù)智前線 趙艷秋
編輯|?;?/p>
在春節(jié)開工后這一周,國內(nèi)人工智能圈以及與Sora技術相關的大廠,對OpenAI公布Sora后的反應,與媒體上的熱烈程度形成鮮明反差。
OpenAI越來越閉源,幾乎沒有任何具體信息,國內(nèi)還處于拆盲盒階段。不得不承認,Sora是算法組合、數(shù)據(jù)選擇、訓練策略、算力優(yōu)化等多種能力的結合,雖然這些技術可能不是OpenAI的原創(chuàng),但OpenAI對它們的深刻洞察,以及精巧的系統(tǒng)構思設計能力,才做出“顛覆性”突破,而非簡單的蠻力。
在這樣的大系統(tǒng)工程面前,國內(nèi)人工智能圈還需要方方面面的補足。
01 大廠的反應
這一周,字節(jié)、百度、阿里、騰訊、華為、浪潮等企業(yè)未對外發(fā)聲。一些相關大廠的研發(fā)團隊則在“拆盲盒”,信息也絕對保密,“Sora將影響今年公司產(chǎn)品的研發(fā)計劃?!?/p>
值得關注的是,對Sora的積極關注度和洞察程度,在大廠的中高層,總體不像去年ChatGPT推出后那么緊迫和深入。
在各大廠內(nèi)網(wǎng)上,核心研發(fā)團隊之外的“吃瓜群眾”,在零星發(fā)帖討論,“談不上討論熱度”,甚至有國內(nèi)人工智能大廠內(nèi)網(wǎng)是“零貼”。這種狀況與媒體上的熱搜新聞,甚至對中美AI差距加大的哀嚎,大相徑庭。
不過,一些較快的動作,也能窺見業(yè)界的一些緊迫感。Sora發(fā)布第二天,2月17日,阿里摩搭社區(qū)推出對Sora技術路徑的分析,文章很熱;2月18日,百度的度學堂推出Sora系列解讀課程;春節(jié)后剛開工,浪潮相關業(yè)務已對Sora給出分析報告。不少大廠相關業(yè)務線紛紛布置調(diào)研匯報作業(yè),其中有些企業(yè)將在本周做出Sora分析調(diào)研。
由于OpenAI透露的信息很少,與ChatGPT推出后,對技術的一些具體分析不同,對Sora的分析猜測成分更多,具體依據(jù)更少。
從各大廠內(nèi)部的員工討論看,大家集中在幾個方向:Sora的技術機理,包括Sora能不能成為真實世界的模擬器;算力;商用方向和時間。目前,技術機理還有不少”謎團“;對算力消耗的推測也較混亂;在Sora商用時間上,預測從一個月到半年不等,普遍認為速度會很快。
有大廠員工發(fā)文分析,從OpenAI的動作,包括發(fā)布Sora、ChatGPT、DALLE以及一直強調(diào)的agent看,今年下半年OpenAI可能發(fā)布的GPT5,將是第一版真正意義的Agent。有了這個Agent,比如未來要做一個App,GPT5可自動生成代碼、圖片、視頻、打包部署,包括申請、配置域名,最終生成可訪問的App。這些推測也預示著,每位員工未來的工作方式正在被重塑。
雖然大廠論壇鮮有對技術差距的哀嚎,但員工在交流中都有抱怨和無奈。不過,也有人士認為,Sora反而對國內(nèi)AI超級有利,原因是在全球短視頻市場上,字節(jié)、騰訊、快手占前三,而Sora原理基礎大家也都知道,以國內(nèi)現(xiàn)有的GPU算力,推測“快的話一年”,國內(nèi)將有類似產(chǎn)品推出。
02 OpenAI不靠蠻力
業(yè)界都關注到,Sora 的驚艷效果得益于新的算法組合和訓練策略。然而,類似ChatGPT,單純從具體算法來說,都不是 OpenAI的原創(chuàng)。
“Sora 在算法組織和數(shù)據(jù)訓練策略上下了很大功夫,充分挖掘了算法和數(shù)據(jù)的潛力,學到更深層知識?!痹浦暥麻L梁家恩說,通過架構設計和訓練策略,而非單純算法改進,OpenAI 繼續(xù)刷新了業(yè)界的認知。這體現(xiàn)了OpenAI對算法和數(shù)據(jù)潛力的深刻洞察,以及精巧的系統(tǒng)構思設計能力,而非簡單使用“蠻力”,才能做出這種“顛覆性”的突破。
在Sora官宣后,紐約大學謝賽寧對其進行了技術推測。由于謝賽寧與Sora團隊關系較近,他的推測影響很廣,尤其是他猜測“Sora參數(shù)可能是30億”。
一些人士認為30億參數(shù)有一定道理。一位資深人士分析,Sora生成的視頻效果驚艷,但細節(jié)問題較多,應該是OpenAI拿出來先秀肌肉的,OpenAI會進一步擴展模型;另一位資深人士則從算力角度直觀分析,視頻是三維的,單位處理需要的算力非常大,如果Sora參數(shù)太大,算力會不夠。
不過,也有一些行業(yè)人士認為“不止30億”。
“30億參數(shù),我認為是有誤導性的?!币晃欢桃曨l人工智能資深人士告訴數(shù)智前線,“Sora背后依賴了OpenAI最強大的語言模型來生成Caption(字幕、說明文字)?!倍赟ora提供的技術報告中,簡要描述了,他們針對視頻如何設計自動化技術,生成文本描述,或?qū)⒑喍痰挠脩籼崾巨D(zhuǎn)換為更長的詳細描述,用來提高視頻的整體質(zhì)量。
而從OpenAI一直在摸索人工智能邊界的風格來看,一些人士也認為,30億太小了?!斑@不符合它一貫的做法,他們都是‘大力出奇跡’?!敝锌粕钪荂TO宋健對數(shù)智前線說,實際上,理論上已指明了道路,有不少企業(yè)也去嘗試了,目前來看,真正意義上能執(zhí)行下去的只有Sora。
一位浪潮人士稱,Sora的突破再次證明了AI是一個系統(tǒng)工程,單純靜態(tài)的推測參數(shù)可能沒有意義。
在視頻生成上,過去大家的困難在于,很難保持視頻的連貫性或一致性,因為中間有很多反常識的東西,如光影不對、空間變形,所以業(yè)界搞不定長視頻。
“OpenAI 最終是否采用了更大規(guī)模的參數(shù),根據(jù)目前公開信息還無法判斷,但我估計以他們風格肯定會嘗試的?!绷杭叶髡f,此前,OpenAI 從 GPT2 做到 GPT3 時,就是堅信只要算法架構合理,通過超大規(guī)模的無監(jiān)督學習,是可以通過小樣本甚至零樣本學習,擊敗有監(jiān)督學習,這是 OpenAI 對規(guī)模效應的堅定信念。“這次Sora通過算法組合和數(shù)據(jù)設計,學到更多符合物理規(guī)律的‘知識’,符合 OpenAI 這些年來的一貫風格?!?/p>
不過,Sora尚不能稱為一個合格的物理世界的模擬器。在它生成的視頻中,存在大量錯誤。OpenAI自己也在技術報告中提出,這是一個有希望的方向。
人們對Sora的需求不同?!叭绻悻F(xiàn)在做數(shù)字孿生,還不如直接用物理引擎作為底層來構建,就像英偉達的Omniverse,雖然不完全是物理的,但已經(jīng)很精確了?!彼谓≌f,“但對于視覺藝術來講,講的是視覺感受力,反物理也沒關系,只要視覺上給大家足夠好的沖擊力就可以。”
03 算力猜想
“現(xiàn)在大家對算力的推測非?;靵y?!币晃挥ミ_人士告訴數(shù)智前線。由于OpenAI這次公布的信息非常少,業(yè)界很難評估。
“視覺模型或多模態(tài)模型跟大語言模型算力的評估方式不太一樣?!币晃蝗斯ぶ悄芩懔Y深人士告訴數(shù)智前線,即便Sora可能只有幾十億參數(shù),其算力與幾百億或上千億的大語言模型估計差不多。
他進一步分析,可以參考文生圖模型Stable Diffusion,參數(shù)大概只有10億,但訓練算力用了幾十臺服務器,花了將近一個月時間。他估計Sora的訓練算力可能比前者至少大一個數(shù)量級,也就是數(shù)百臺服務器,而后面OpenAI肯定會進一步去做scaling,把Sora模型做的更大。
另一方面,這種模型的推理算力也比大語言要大很多,有數(shù)據(jù)曾顯示,Stable Diffusion的推理算力消耗,與Llama 70b(700億)參數(shù)模型差不多。也就是說,推理算力上,一個10億的文生圖模型,與千億量級的大語言模型差不多。而Sora這種視頻生成模型的推理算力,肯定比圖片生成模型還要大很多。
“文本是一維的,視頻是三維的,視頻的單位計算量大很多?!币晃蝗斯ぶ悄軐<腋嬖V數(shù)智前線,他認為需要大幾千卡才有機會。
由于Sora推動的文生視頻方向的發(fā)展,今年國內(nèi)算力總體仍會非常緊張。有算力基礎設施企業(yè)人士稱,在人工智能算力上,北美幾家巨頭的算力,現(xiàn)在已是國內(nèi)總算力的十幾倍,甚至還要更多。
但在某些局部上,國內(nèi)算力已經(jīng)出現(xiàn)了閑置。這包含了幾種情況,比如一些去年上半年開始訓練大模型的企業(yè),放棄開發(fā)大模型或改為使用開源模型;去年大語言模型的落地應用遭遇挑戰(zhàn),還沒有大量的推理應用落地,這些會導致一些企業(yè)出現(xiàn)幾十臺或幾百臺的空閑。
宋健也發(fā)現(xiàn)了局部算力閑置的問題。他觀察,尤其是2023年11月份左右開始,算力的租賃變得容易,而且價格可能是原來的2/3甚至1/2。