正在閱讀:

對(duì)話(huà)《三體》電視劇視覺(jué)導(dǎo)演陸貝珂:GenAI與Vision Pro如何改變影視特效業(yè)

掃一掃下載界面新聞APP

對(duì)話(huà)《三體》電視劇視覺(jué)導(dǎo)演陸貝珂:GenAI與Vision Pro如何改變影視特效業(yè)

GenAI技術(shù)已經(jīng)能幫助特效行業(yè)縮減至少30%前期人員。

文|硅谷101

你或許還記得《三體》電視劇中那場(chǎng)令人震撼的的“古箏行動(dòng)”,制作團(tuán)隊(duì)近乎完美地還原了原著中納米飛刃切割審判日巨輪的情節(jié)。那么,這個(gè)場(chǎng)景是如何制作出來(lái)的呢?

近年來(lái),國(guó)產(chǎn)影視作品特效水平大幅提升,數(shù)字特效技術(shù)的應(yīng)用為豐富影視作品視覺(jué)效果、提升作品的表達(dá)空間打開(kāi)了新的大門(mén)。而如今,隨著生成式AI技術(shù)的快速發(fā)展,影視特效行業(yè)的制作效率和制作能力正在得到大規(guī)模地提升,蘋(píng)果Vision Pro等具有空間計(jì)算的3D硬件產(chǎn)品,也在讓特效行業(yè)重新經(jīng)歷一輪新的媒介的轉(zhuǎn)化。

《三體》古箏行動(dòng)片段,圖片取自于《三體電視劇》

本期節(jié)目中,我們邀請(qǐng)到了中國(guó)著名的視覺(jué)導(dǎo)演、影視制片人,也是《三體》的視覺(jué)導(dǎo)演陸貝珂來(lái)為我們揭秘《三體》電視劇特效制作背后的故事,以及深入探討生成式人工智能等前沿技術(shù)如今正在如何被應(yīng)用于影視特效行業(yè)中。

以下是部分訪(fǎng)談精選

01 “古箏行動(dòng)”如何被震撼還原

《硅谷101》:相信貝導(dǎo)的很多作品大家都看過(guò)。除了電視劇《三體》,貝導(dǎo)還在電影《鮫珠傳》、《白銀帝國(guó)》,電視劇《紅色》、《闖關(guān)東》《蕓汐傳》等知名影視作品中擔(dān)任視覺(jué)導(dǎo)演,在節(jié)目的開(kāi)頭能否跟我們簡(jiǎn)單分享一下您進(jìn)入到視覺(jué)導(dǎo)演行業(yè)中的一個(gè)職業(yè)經(jīng)歷? 陸貝珂:我大概是在1999年就進(jìn)入了這個(gè)行業(yè)。我的專(zhuān)業(yè)本身就是影視廣告,大概在96年左右開(kāi)始接觸計(jì)算機(jī)做圖形,當(dāng)時(shí)有用到如一些Autodesk、3DS之類(lèi)的工業(yè)設(shè)計(jì)方面的軟件,覺(jué)得很有意思。那時(shí)正好也是《玩具總動(dòng)員》 等皮克斯動(dòng)畫(huà)片比較火的時(shí)候,就開(kāi)始對(duì)這方面產(chǎn)生興趣。

因?yàn)槲冶旧硪彩菍W(xué)這個(gè)專(zhuān)業(yè),之后在具體的工作中也越來(lái)越多地接觸到這方面的內(nèi)容。其中最大的一個(gè)轉(zhuǎn)變是在 2004 年的時(shí)候,我當(dāng)時(shí)在北京跟一些朋友做一個(gè)后期特效和動(dòng)畫(huà)片的工作室,接觸到了很多美國(guó)B級(jí)片項(xiàng)目,并開(kāi)始給一個(gè)叫Base的美國(guó)制片公司代工做動(dòng)畫(huà)、特效,后來(lái)大家就一起在北京成立了一家專(zhuān)門(mén)的特效公司Base FX,前幾年我主要做導(dǎo)演、編劇后來(lái)就轉(zhuǎn)向了專(zhuān)門(mén)做特效。

《硅谷101》:現(xiàn)在大家經(jīng)??吹诫娪?、電視劇里面有很多很酷炫的特效,但是對(duì)于非從業(yè)者來(lái)說(shuō),很多人都不太清楚影視特效具體是什么工作的。能不能用《三體》電視劇里特別震撼的“古箏行動(dòng)”給我們舉個(gè)例子,聊聊它究竟是怎么拍出來(lái)的,整個(gè)團(tuán)隊(duì)由哪些人員組成、和劇組如何配合,以及后期都需要什么樣的工作才能最終呈現(xiàn)這樣的效果?

陸貝珂:我的崗位是叫視覺(jué)導(dǎo)演,也就是要從視覺(jué)的角度去做很多畫(huà)面的設(shè)計(jì)以及一些概念設(shè)計(jì),其中包括建筑設(shè)計(jì)、工業(yè)設(shè)計(jì)、角色形象等很多種類(lèi),簡(jiǎn)單來(lái)說(shuō)就是只要是涉及到用后期計(jì)算機(jī)去完成的內(nèi)容,它都?xì)w視覺(jué)導(dǎo)演來(lái)做。這其中有一大部分內(nèi)容叫 VFX 特效工作,具體到《三體》這個(gè)電視劇的話(huà),它的特效工作可以大致分成兩大部分:一部分是傳統(tǒng)的實(shí)拍特效,另一部分則是純計(jì)算機(jī)生成的動(dòng)畫(huà)片式的特效。在動(dòng)畫(huà)片式的特效之下又分成兩大塊,一塊是模擬效果,即是用動(dòng)畫(huà)片的方法模擬一個(gè)精度比較高的VR游戲的畫(huà)面。另外一塊叫做藝術(shù)動(dòng)畫(huà),即基于一些科技原理所創(chuàng)作的動(dòng)畫(huà),比如BBC制作的《行星地球》里對(duì)星球和它的運(yùn)轉(zhuǎn)原理做的藝術(shù)動(dòng)畫(huà),以及《三體》里火雞農(nóng)場(chǎng)主射手假說(shuō)等風(fēng)格比較強(qiáng)烈的一些藝術(shù)動(dòng)畫(huà)。

“古箏行動(dòng)”就屬于非常傳統(tǒng)的VFX特效,它的特效特點(diǎn)是有大量的內(nèi)容是需要前期進(jìn)行拍攝,不光只是后期做計(jì)算機(jī)特效。VFX工作不純粹是由計(jì)算機(jī)完成的,實(shí)體特效、道具模型等很多東西是實(shí)拍完成的,比如說(shuō)船、水稻、架子等可能需要使用實(shí)體置景道具,以及相關(guān)的那種用特殊道具的方法做出來(lái)的一些裝置,這個(gè)裝置是真的,而不是由計(jì)算機(jī)實(shí)現(xiàn)。“古箏行動(dòng)”里有大量的河道、隱蔽的營(yíng)地之類(lèi)的都是實(shí)拍。但是隨著現(xiàn)在計(jì)算機(jī)圖形圖像學(xué)的發(fā)展,很多東西以前要用真實(shí)的模型做現(xiàn)在也可以用計(jì)算機(jī)來(lái)完成。 《硅谷101》:在《三體》里的巴拿馬運(yùn)河你們實(shí)際上是在中國(guó)找了一個(gè)差不多的河道進(jìn)行實(shí)拍,然后用后期再把它變得像巴拿馬運(yùn)河對(duì)嗎? 陸貝珂:嚴(yán)格來(lái)說(shuō)我們并沒(méi)有找到一個(gè)跟它一樣的河,但是我們找了一個(gè)地形,那個(gè)地形的特點(diǎn)是我們參照研究了小說(shuō)中對(duì)巴拿馬運(yùn)河的描寫(xiě)找的。巴拿馬運(yùn)河非常長(zhǎng),有一部分是一個(gè)湖、有一部分是水壩,它有一個(gè)地方非常窄,叫做蓋拉德水道。我們研究了這個(gè)蓋拉德水道真實(shí)的地貌環(huán)境,在國(guó)內(nèi)找不到一個(gè)跟書(shū)中描繪的完全一樣的地方,但是我們可以找到不少看起來(lái)像的山勢(shì),它一邊是比較高,一邊地勢(shì)比較低,河的兩邊不是都像懸崖一樣的地方,而且還有一部分是人工的環(huán)境。我們?cè)谡憬伊艘粋€(gè)跟這個(gè)地貌很像的地方,但這個(gè)地方里面并沒(méi)有一條河道,所以那個(gè)河道是純CG(特效)完成的。

然后在一些局部的畫(huà)面里面,我們又找了一個(gè)看起來(lái)有水,就是“古箏行動(dòng)”中那個(gè)豎起來(lái)的兩根桿子的地方地方。我們拍的時(shí)候其實(shí)只拍了單邊的一根桿子,那個(gè)地方是天然的有水的地方,但是并不是一個(gè)真正的河道,是一個(gè)弧形的地形,但最后成片看起來(lái)會(huì)覺(jué)得它好像是在同一個(gè)地方拍攝的。。但這個(gè)地方跟我們撞船的位置、營(yíng)地的位置等畫(huà)面,其實(shí)是設(shè)計(jì)好之后分別找了六七個(gè)不同的地點(diǎn)單獨(dú)拍攝,之后再拼接起來(lái)的

“古箏行動(dòng)”的設(shè)計(jì),圖片來(lái)自陸貝珂知乎

《硅谷101》:這個(gè)看起來(lái)真的非常自然,之前看電視劇,還以為劇組真的在巴拿馬運(yùn)河那邊駐扎了好幾個(gè)月。

陸貝珂:原來(lái)確實(shí)有這個(gè)計(jì)劃,但我們2020年夏天拍的,因?yàn)橐咔闆](méi)有辦法出去。

《硅谷101》:“古箏行動(dòng)”里的那艘巨輪是真的嗎? 陸貝珂:船有一部分是真的,劇中在輪船上人的近景,那些在那個(gè)船甲板上的ETO(Earth-Trisolaris Organization,地球三體組織的簡(jiǎn)稱(chēng)) 人員大多數(shù)都是實(shí)拍。但船在河道上運(yùn)行以及最后被切割的畫(huà)面大部分都是CG。關(guān)于切割的部分,我們最后導(dǎo)完了之后也搭了一個(gè)實(shí)景,但是那個(gè)實(shí)景只有整個(gè)大環(huán)境的 1/ 20 的局部,因?yàn)樵谂耐晷≌f(shuō)中所描述輪船整體像撲克牌一樣攤開(kāi)之后,需要拍攝人進(jìn)去輪船內(nèi)部取硬盤(pán)的情節(jié),那就必須用實(shí)景來(lái)完成。

圖片來(lái)自陸貝珂知乎

《硅谷101》:聽(tīng)上去是一個(gè)挺巨大的工程,那么完成這么一個(gè)拍攝工作,需要多少人來(lái)完成呢? 陸貝珂:實(shí)拍部分有幾百個(gè)人,分成很多個(gè)不同的工種,有些人負(fù)責(zé)搭建實(shí)拍部分,有些人做道具,有人負(fù)責(zé)攝影、以及服化道之類(lèi)的。從后期CG特效人員來(lái)說(shuō),首先你需要把畫(huà)面在腦海中設(shè)計(jì)出來(lái),然后就要做分鏡,完成后還需要做一些拍前預(yù)覽。就是要把鏡頭先分好、做出動(dòng)態(tài),之后要看節(jié)奏和時(shí)長(zhǎng)進(jìn)行預(yù)剪輯。實(shí)際上在2023年最后剪輯播出之前,我們已經(jīng)看過(guò)無(wú)數(shù)遍了,基本上在2020年的夏天的時(shí)候它就已經(jīng)定稿了,這個(gè)部分的工作叫 Previz或者Layout。接下來(lái)就是實(shí)拍,整個(gè)設(shè)置組會(huì)以Previz為藍(lán)本來(lái)拍攝各種各樣的鏡頭,每個(gè)鏡頭不一定是在同一個(gè)地方拍,再加上航拍等,前前后后有大概四五百人要參與進(jìn)來(lái)。在前期的素材都拍完之后,還有一個(gè)工序叫掃描,就是要用航拍機(jī)器或者地面的如雷達(dá)掃描等一些設(shè)備去真實(shí)地拍攝環(huán)境作為資產(chǎn)拿回來(lái),后期的CG公司根據(jù)資產(chǎn)來(lái)做還原、相關(guān)的動(dòng)畫(huà)綁定、材質(zhì)建模這些工作。

在三體的“古箏行動(dòng)”部分,還有很大的一部分內(nèi)容叫動(dòng)力學(xué)模擬。對(duì)于鋼材碎片落地、船撞上泥土等這些效果,都需要做一些物理上的動(dòng)力學(xué)模擬,這種模擬不是人用手工調(diào)出來(lái)的,船的動(dòng)畫(huà)行動(dòng)、我們叫關(guān)鍵幀動(dòng)畫(huà)可以用手工調(diào)整,但這種物理學(xué)模擬是沒(méi)有辦法的。比如天上飛了上千萬(wàn)片紙片,用手調(diào)是不可能的。在這個(gè)過(guò)程中我們就會(huì)運(yùn)用到一些相關(guān)軟件,比如Houdini這種結(jié)算、物理學(xué)模擬非常好的軟件,有時(shí)候還要自己做一些插件來(lái)處理一些東西。

我們?cè)谀M的時(shí)候畫(huà)面看上去是灰色的,一般我們叫灰模,不一定有最終畫(huà)面中那么好的光線(xiàn)和顏色。這是因?yàn)槲覀儽仨氃谠缙诰痛_定模擬是否成功,不能把光那些全部調(diào)好再去看,那可能就來(lái)不及,因?yàn)闆](méi)有足夠的算力可以讓一次一次地去渲染它。確認(rèn)好畫(huà)面之后,接下來(lái)再做測(cè)試渲染。一般來(lái)說(shuō),電影的測(cè)試渲染可以做小分辨率的這種一個(gè)個(gè)動(dòng)態(tài)的畫(huà)面,但電視劇一般沒(méi)有這個(gè)預(yù)算,所以就很靠導(dǎo)演經(jīng)驗(yàn),需要通過(guò)很少量的幾張單幀的圖片就確定好這個(gè)畫(huà)面是不是能夠大批量地做渲染。

等確定好了光線(xiàn)這些部分后,就開(kāi)始下要求渲染。這個(gè)過(guò)程就是一個(gè)算力的過(guò)程,有的渲染要靠GPU,但“古箏行動(dòng)”里面可能70% 還是用的CPU運(yùn)算,用的是一些渲染器來(lái)呈現(xiàn)出最終的光效。這些步驟都完成之后就要做合成,因?yàn)殇值臅r(shí)候并不是一次渲完的,而是一層一層地渲。比如有diffuse光線(xiàn)層,看上去沒(méi)有那么強(qiáng)的光線(xiàn),還有一些條件層,還有OCC避光層等等,這些層最后要合并成一個(gè)完整畫(huà)面的時(shí)候,就要用到合成軟件,最后在合成軟件里面把它合成一個(gè)最終的鏡頭就可以真序列膠片看了。

船體分割的模擬分鏡

《硅谷101》:過(guò)程真的是非常復(fù)雜。那么在一部電影或者是一部電視劇當(dāng)中,一般有多少的預(yù)算會(huì)撥給后期特效呢? 陸貝珂:這個(gè)是一個(gè)非常非標(biāo)準(zhǔn)化的事情,很難有一個(gè)固定的數(shù)據(jù)。一般來(lái)說(shuō),要是類(lèi)似于《復(fù)仇者聯(lián)盟》這種特別重特效的項(xiàng)目,很有可能占到50%左右,因?yàn)樘匦Я糠浅4螅婕暗酱罅科婊?、科幻的?huà)面。但如果只是一個(gè)常規(guī)的都市劇、愛(ài)情片,那可能就只有10%、5%甚至5%以下,都看實(shí)際需求。

對(duì)于《三體》來(lái)說(shuō),目前的第一季也就是小說(shuō)的第一部分其實(shí)還好。我們的實(shí)際的制作預(yù)算是遠(yuǎn)低于Netflix版本的,大概只是它的1/10、或者1/20 這種級(jí)別。這其實(shí)也是我們國(guó)內(nèi)的動(dòng)畫(huà)特效制作的一個(gè)難點(diǎn)。它的難點(diǎn)不在于純粹的技術(shù)難點(diǎn),而在于平衡,也就是如何用偏小的預(yù)算制作出精良的畫(huà)面。

02 AI改變影視特效

《硅谷101》:你曾經(jīng)在拍完《三體》之后接受采訪(fǎng)時(shí)說(shuō)感謝數(shù)字科技的進(jìn)步,如果放在 10 年前可能很難用現(xiàn)在的成本去做到現(xiàn)在的效果。很好奇具體是哪些數(shù)字科技的進(jìn)步,讓《三體》這樣的一部作品能現(xiàn)在在中國(guó)被拍出來(lái)?

陸貝珂:其實(shí)整個(gè)進(jìn)展是具有連續(xù)性的,倒并沒(méi)有一個(gè)類(lèi)似于22年底23年初ChatGPT那種顛覆性創(chuàng)新。

在特效行業(yè)里面,成本方面的變化體現(xiàn)在軟件的成熟,降低了使用這些軟件的成本。比如在10年前,很少會(huì)在工作流程中用到引擎式的工作,比如UE(Unreal Engine)的那個(gè)引擎,但在《三體》制作的時(shí)候,前期工作中間有大量的Previz都是引擎做的,以前可能需要8到10人的團(tuán)隊(duì)做工作現(xiàn)在就能縮減到2、3個(gè)人。此外,很多部門(mén)都會(huì)有渲染優(yōu)化,就需要渲染算法的進(jìn)步來(lái)節(jié)省CPU的算力,但這個(gè)進(jìn)步是臺(tái)階式的,沒(méi)有那么顛覆性。

還有一點(diǎn)就是技術(shù)的易用性大大提升。以前有大量的東西需要自己去寫(xiě)去查,比如用 Python去編很多東西,但近十幾年,很多問(wèn)題都是已經(jīng)技術(shù)上解決過(guò)了,有很多現(xiàn)成的方案,不需要我們?nèi)膱D形圖像學(xué)論文里邊去找方法了。所以整體來(lái)說(shuō)制作成本大幅下降,十幾年前這樣的效果可能可以做出來(lái),但就是很貴,電視劇是做不起這個(gè)效果的。 《硅谷101》:芯片的發(fā)展是不是有助于預(yù)算優(yōu)化呢?為什么當(dāng)時(shí)《三體》效果渲染的時(shí)候不用GPU?

陸貝珂:因?yàn)殇秩局饕婕暗戒秩酒?,渲染器的算法決定了有些東西不是像那種分布式渲染。GPU的算法決定了它更多的是在不同的通道上算一些簡(jiǎn)單的東西,但它的光線(xiàn)追蹤的算法、或一些特定的OCC算法本來(lái)就是在CPU運(yùn)算上來(lái)編的,所以它這個(gè)渲染器就支持的就是CPU運(yùn)算,并沒(méi)有把它進(jìn)行那么大的分布式簡(jiǎn)單運(yùn)算。GPU有很大的一個(gè)特點(diǎn)是它的線(xiàn)程超級(jí)的多,但是它每個(gè)線(xiàn)程算的內(nèi)容其實(shí)很簡(jiǎn)單。但是有很多需要做大量運(yùn)算的渲染器本身不是基于這種方法來(lái)編輯開(kāi)發(fā),所以我們也得繼承這個(gè)方案。但是現(xiàn)在也確實(shí)大量的GPU的運(yùn)算的方式越來(lái)越多了,其實(shí)《三體》里面大概有30%是GPU結(jié)算的,還有70%是傳統(tǒng)的CPU運(yùn)算的渲染。

《硅谷101》:在當(dāng)前特效行業(yè)當(dāng)中,哪個(gè)公司的CPU、GPU大家覺(jué)得用起來(lái)比較好呢?

陸貝珂:目前來(lái)說(shuō)CPU方面基本上都是英特爾的,AMD也有一些,很少有其他家的。但是大家完全沒(méi)有以品牌作為判斷的標(biāo)準(zhǔn),因?yàn)檫@種渲染的模式?jīng)Q定了只要你是用同一種基礎(chǔ)的算法分布這些算力,那分到哪個(gè)上面都可以的。

《硅谷101》:這一輪生成式 AI技術(shù)浪潮的到來(lái)對(duì)整個(gè)特效行業(yè)有什么樣的影響嗎?

陸貝珂:目前最大的影響是前期和合成部分,還有一些是在動(dòng)力學(xué)特效上,因?yàn)閯?dòng)力學(xué)特效涉及到一些編程工作,這個(gè)工作要讓人工自己去完成的話(huà)還是很費(fèi)勁的,這種既可以做好編程、又能夠理解畫(huà)面效果的這種特效師人才其實(shí)是很少的。但是現(xiàn)在ChatGPT的編程的能力確實(shí)讓我們感覺(jué)有比較大的提高。

關(guān)于前期部分的提高主要是在概念設(shè)計(jì)方面。概念設(shè)計(jì)需要很多發(fā)散性的想法,在以前這種發(fā)散性想法我們是以手繪為主,把一個(gè)簡(jiǎn)單的構(gòu)圖或者是白描的東西變成完成高,需要投入很多的資源和時(shí)間。但現(xiàn)在有AI加持之后,這個(gè)完稿過(guò)程就變得特別的快,特別是不屬于原創(chuàng)設(shè)定的概念設(shè)計(jì)和美術(shù)繪畫(huà)類(lèi)人員,總的需要量大概只有原來(lái)的20%左右。但提出創(chuàng)意人員,就是給AI以目標(biāo)、使用的提示詞的人倒不會(huì)減少,這一部分是AI也很難去直接替代的。

還有就是在光線(xiàn)上做完稿效果測(cè)試圖的生產(chǎn)量,現(xiàn)在可能有上百倍的提高。以前一個(gè)科幻項(xiàng)目的圖量在前期可能有500-1000張,現(xiàn)在是完全有可能提高到1萬(wàn)張圖這種級(jí)別。這樣一來(lái)你會(huì)看到特別多不同的東西,導(dǎo)演部門(mén)有更多選擇,但另外一個(gè)角度可能更難選,因?yàn)闀?huì)出現(xiàn)很多圖。

《硅谷101》:那 AI 生成式視頻相關(guān)技術(shù)開(kāi)始對(duì)這個(gè)產(chǎn)業(yè)產(chǎn)生影響了嗎?

陸貝珂:有的,最近做的片子里面就用到過(guò)這個(gè)技術(shù)。Gen-2、Runway這些公司的產(chǎn)品其實(shí)我們都用過(guò),目前它們有一個(gè)特點(diǎn)是做出畫(huà)面的速度很快,很適合用于沒(méi)有特別具體的目標(biāo)、隨便放一個(gè)背景之類(lèi)的情況中,比如我們拍一個(gè)片子中間有時(shí)候常常會(huì)出現(xiàn)電視里出現(xiàn)一個(gè)什么畫(huà)面。以前出于版權(quán)的考慮,你還不能用別人的,我們還真得花時(shí)間去拍或者做一個(gè),但現(xiàn)在有個(gè)AI的幫助之后,就節(jié)省了大量的這類(lèi)型工作。

總體來(lái)說(shuō)就是你需要的東西不在具體的情節(jié)、邏輯里面就可以用AI來(lái)幫忙做。它目前特別不行的就是邏輯、概念上的連貫,這個(gè)并不是指畫(huà)面本身或者人臉是不是連貫對(duì)齊,而主要是前一個(gè)鏡頭跟后一個(gè)鏡頭的絕對(duì)邏輯比較差。我們往往看到它們做那個(gè)trailer(預(yù)告片)比較好看,那是因?yàn)閠railer往往并不需要你有那么強(qiáng)的那個(gè)邏輯,而且它的慢動(dòng)作的效果會(huì)比正常動(dòng)作要好,因?yàn)槁齽?dòng)作的特點(diǎn)其實(shí)是畫(huà)面中間是以pose為主的,有人就有pose,其實(shí)是一個(gè)競(jìng)爭(zhēng)狀態(tài)下的一個(gè)微動(dòng)態(tài)。但如果是一個(gè)常速,比如我在這說(shuō)話(huà)這個(gè)手的動(dòng)作它是帶有邏輯性的,這其實(shí)是很難讓它在3D的環(huán)境中間完全模擬出來(lái)的,這一點(diǎn)應(yīng)該是生成式AI 的算法在短期內(nèi)很難解決的一個(gè)問(wèn)題。

此前由AI生成的手的圖片

我們現(xiàn)在主要解決的方案是,二維畫(huà)面用control net 的方案,就是你先用自己的構(gòu)圖框死了畫(huà)面,這個(gè)構(gòu)圖本身是你自己做的,一個(gè)3D文件,或者是一個(gè)3D做出來(lái)的一個(gè)帶有明確的輪廓線(xiàn)的文件,你讓它不斷地給你重新打光、重新做渲染就行了,AI可以完成得很快的。

我在2023年的年初的時(shí)候看過(guò)一本書(shū)講得很好,就是Mathematica 軟件的作者斯蒂芬·沃爾夫勒姆寫(xiě)GPT是如何運(yùn)作的,里面講到現(xiàn)在的AI生成式算法,它最擅長(zhǎng)解決的就是那些可約化的部分。人的語(yǔ)言其實(shí)是一種規(guī)律性的東西,人的語(yǔ)言永遠(yuǎn)不可能直接跟現(xiàn)象做對(duì)等關(guān)系,比如說(shuō)一個(gè)礦泉水瓶子,其實(shí)你也沒(méi)有辦法靠語(yǔ)言去100%地描述它,你要想真正描述它,你必須把它一點(diǎn)點(diǎn)地測(cè)量出來(lái),規(guī)定它具體的反射度、光線(xiàn)的折射度、反射度、還有它的透明度,這些東西才能把一個(gè)瓶子完整地說(shuō)出來(lái),那么這個(gè)部分并不是現(xiàn)在的生成式 AI 所擅長(zhǎng)的。因?yàn)檫@個(gè)部分是不可約化的,它的計(jì)算本身是算法很難解決的,它有點(diǎn)像一些程序性的計(jì)算方法跟蒙特卡洛式的算法的區(qū)別。蒙特卡洛式算法就是你得把這個(gè)東西測(cè)出來(lái),不能用一個(gè)公式去簡(jiǎn)單解決它,它是解決不了的。你在用AI做一張圖的時(shí)候,你可能會(huì)發(fā)現(xiàn)我們用AI去算那種記憶非常的規(guī)律性的東西的時(shí)候是很容易做的,比如說(shuō)動(dòng)態(tài)的云或者非動(dòng)態(tài)的云,AI算起來(lái)是非常容易的它很容易處理這種東西,因?yàn)槿藢?duì)這個(gè)東西的印象是非常的模糊的,人對(duì)于天上的云的印象是一種概念,并沒(méi)有一個(gè)我曾經(jīng)有記憶過(guò)云的一個(gè)一個(gè)的點(diǎn)是如何排布的,可能有一些氣象學(xué)家會(huì)感覺(jué)到AI算的很多云有不合理的地方,但是一般人是絕對(duì)看不出來(lái)的。這就是你對(duì)這個(gè)東西的認(rèn)識(shí),你是概念化、很約化的。

但是如果這件事情是人本來(lái)就很擅長(zhǎng)的,比如我們經(jīng)常發(fā)現(xiàn)AI生成的手有問(wèn)題,因?yàn)槭值倪@個(gè)動(dòng)作充滿(mǎn)了邏輯性,它處于什么位置的時(shí)候是不容易約化的,它既有邏輯關(guān)系,又有三維方向上的排布的約束性,它并不是一個(gè)可以不管什么方向都能動(dòng)的東西,既有約束性又有邏輯性,就是沒(méi)有辦法絕對(duì)找到它的規(guī)律性,這種東西AI做出來(lái)就很困難。

所以當(dāng)我們?cè)嚼斫膺@個(gè)東西的時(shí)候,就越知道目前的這些生成式AI的圖形算法我們能用在什么地方,什么地方使用它就沒(méi)有太大的意義。比如說(shuō)影子,陰影的生成現(xiàn)在來(lái)說(shuō)就用傳統(tǒng)的方法更簡(jiǎn)單的,用AI算法是很困難的,它會(huì)經(jīng)常理解地不精確,只會(huì)看起來(lái)像個(gè)陰影,但你仔細(xì)一看就會(huì)發(fā)現(xiàn)這個(gè)陰影不對(duì)。因?yàn)楝F(xiàn)在都屬于平面階段,并沒(méi)有一種z方向也就是深度方向的信息,那樣一來(lái)會(huì)涉及到大量的算力,現(xiàn)在就是在一個(gè)平面的、可數(shù)的一個(gè)二維方向上去做出它的可約化的可能性。

《硅谷101》:你們現(xiàn)在用的比較多的是比如Gen-2那種已經(jīng)開(kāi)發(fā)出來(lái)的軟件應(yīng)用?還是有可能也會(huì)使用如 Stable Diffusion 這種模型自己去做一些開(kāi)發(fā)?

陸貝珂:都用。SD 用的更多,Midjourney 也常用。因?yàn)镾table Diffusion能很好地支持control net。只要有合適的模型,或者你自己煉了相關(guān)的合適模型,在很多開(kāi)發(fā)里面它都明顯會(huì)降低成本,比如我剛才提到以前需要10個(gè)人、現(xiàn)在可能只需要3個(gè)人就可以。SD會(huì)很明顯幫助到前期開(kāi)發(fā)、概念設(shè)計(jì),比如在畫(huà)草圖階段,你讓它生成一些星空或者某種風(fēng)格的建筑,只要你手里的Lora或者是CheckPoint的模型是里面有這個(gè)信息數(shù)據(jù)的,那還原它還是挺容易的。在這個(gè)基礎(chǔ)之上,再用設(shè)計(jì)師的能力去填補(bǔ)它做錯(cuò)了的那些地方就可以,這就比你從頭開(kāi)始做肯定是要快得多了。

《硅谷101》:所以目前生成式的AI已經(jīng)是在幫影視特效行業(yè)起到降本增效的作用了嗎?如果量化的話(huà),你覺(jué)得目前能夠幫你們加快多少的進(jìn)度或者是降低多少的預(yù)算呢?

陸貝珂:概念設(shè)計(jì)方面可能有30%-40%以上,正常的特效工作目前大概在5%左右。目前來(lái)說(shuō)有一個(gè)門(mén)檻,就是AI生成的3D模型現(xiàn)在并不可用,就是有這樣的東西,我看Orio也開(kāi)始有這樣的開(kāi)發(fā),但是離真正的影視劇應(yīng)用距離還挺遠(yuǎn)的。所以目前AI在前期階段降本增效的效果更強(qiáng),在中間以及最后合成階段現(xiàn)在沒(méi)有產(chǎn)生特別大的影響。

《硅谷101》:中后期現(xiàn)在還差在哪,怎么樣才能達(dá)到商業(yè)可用的狀態(tài)呢?

陸貝珂:主要是準(zhǔn)確度,邏輯上不夠準(zhǔn)確。比如合成里面用 AI 進(jìn)行摳圖這個(gè)工作是大大提升了,但你要讓它正確地改動(dòng)某些光線(xiàn),目前來(lái)說(shuō)還是基本不可用的。還有需要靠你的審美意識(shí)的東西做連貫性的處理的部分目前來(lái)說(shuō)還無(wú)法教給它,比如說(shuō)最簡(jiǎn)單的調(diào)色,在大多數(shù)情況下電影的畫(huà)面都需要它的光具有一定主觀意圖,我們叫表現(xiàn)主義燈光,這種調(diào)整取決于你對(duì)這個(gè)故事和人物氛圍的理解,那這個(gè)東西你很難讓AI去解決,這得真的是由人一點(diǎn)點(diǎn)調(diào)才能調(diào)出來(lái),就是它很難進(jìn)行約化的,也沒(méi)有絕對(duì)的規(guī)律性。大家在意識(shí)上、在審美上是追求創(chuàng)新的,而不是追求你跟別人講一樣的話(huà)。

《硅谷101》:接下來(lái)你希望生成式AI還能在什么方面發(fā)展,從而能夠更好地來(lái)幫助到特效的行業(yè)呢?

陸貝珂:我感覺(jué)現(xiàn)在的世界模型的開(kāi)發(fā)應(yīng)該接下來(lái)會(huì)是一個(gè)很好的方向,因?yàn)槭澜缒P妥畲蟮囊粋€(gè)核心特點(diǎn)其實(shí)就是讓AI真正的認(rèn)識(shí)到那些不可約化的東西,還有以及認(rèn)識(shí)到自身的邊界在哪里。

現(xiàn)在的AI有一種感覺(jué),它缺乏實(shí)際的自我邊界,對(duì)人來(lái)說(shuō)叫自我認(rèn)識(shí)。你想想一個(gè)人,他不知道自己長(zhǎng)處在哪、短處在哪,他不知道自己不知道什么其實(shí)很可怕的AI其實(shí)現(xiàn)在就是這樣,你讓它干什么它都努著干,但其實(shí)當(dāng)它對(duì)世界有個(gè)真實(shí)的認(rèn)識(shí)的時(shí)候,它就會(huì)自己知道什么東西自己并不一定擅長(zhǎng)去處理。你跟一個(gè)正常的人打交道,他會(huì)告訴你我是什么專(zhuān)業(yè),我什么東西比較擅長(zhǎng),對(duì)吧?所以沒(méi)有必要說(shuō)去強(qiáng)求說(shuō) AI一定要什么都知道。它目前只是基于算法就一定會(huì)往下編的模式,但如果這個(gè)模式中間加上了這種自我認(rèn)識(shí)感元素的時(shí)候,它就會(huì)在真實(shí)的工作中感覺(jué)到邊界在哪里的,因?yàn)槲覀冏鋈魏问虑槎际怯锌蚣苄缘模鎸?shí)的世界就是這個(gè)樣子。

真實(shí)世界的框架來(lái)自于大量的物理事實(shí)和人際關(guān)系的情緒事實(shí),以及這個(gè)世界運(yùn)轉(zhuǎn)時(shí)候的一種邏輯,如果你只是從語(yǔ)言的角度去理解世界,就無(wú)法發(fā)現(xiàn)這個(gè)世界真實(shí)的框架。我覺(jué)得在目前GPT 4仍然屬于語(yǔ)言模型,還沒(méi)有達(dá)到開(kāi)放式的世界模型的這種級(jí)別。但這個(gè)其實(shí)也不是我的專(zhuān)業(yè),我就是一個(gè)導(dǎo)演、應(yīng)該來(lái)說(shuō)是一個(gè)藝術(shù)創(chuàng)作類(lèi)人員。是因?yàn)槲以谡鎸?shí)的工作中經(jīng)歷著這些變化,才會(huì)有一個(gè)切身的感受。在這一部分上就不是從理論到理論了,是一個(gè)實(shí)踐反饋出來(lái)的狀態(tài)。

03 特效行業(yè)的進(jìn)化和Vision Pro的影響

《硅谷101》:影視行業(yè)從大約100 年前就開(kāi)始慢慢地解鎖一些CG特效技術(shù)。貝導(dǎo)能不能幫我們稍微回溯一下影視特效行業(yè)發(fā)展的一些里程碑的影片或者事件?

陸貝珂:世界上從早期梅里愛(ài)那個(gè)時(shí)代,包括1927年德國(guó)拍的《大都會(huì)》開(kāi)始那時(shí)候其實(shí)就已經(jīng)有手工特效,那些科幻環(huán)境、奇幻環(huán)境當(dāng)時(shí)都是畫(huà)在玻璃上的,然后再通過(guò)攝影機(jī)去拍攝它。后來(lái)一個(gè)里程碑式的作品就是《金剛》,出現(xiàn)了逐幀實(shí)體動(dòng)畫(huà)。大家很多人印象很深的《星球大戰(zhàn)(一)》實(shí)際上并不是電腦圖形圖像學(xué)真正發(fā)展的里程碑式的電影,它的太空還原這些方面的技術(shù)跟 1968 年的《太空奧德賽》的制作方案是非常非常接近的。但當(dāng)時(shí) Pixel 的一些動(dòng)畫(huà)片做了很多跟實(shí)體生物結(jié)合的那種 CG 生物,是很有時(shí)代意義的。在卡梅隆拍的《深淵》里面是后來(lái)還第一次用了動(dòng)力學(xué)解算出來(lái)的透明物體,《終結(jié)者2》里又把這個(gè)東西發(fā)展為液體金屬人。為什么這是標(biāo)志性的東西呢?它帶來(lái)了一種結(jié)果,就是有一種創(chuàng)作思維是必須植根于數(shù)字圖形圖像學(xué)的。

圖片來(lái)自《終結(jié)者2》

你拍飛船、光劍、怪物怪獸都有可能用實(shí)體特效來(lái)拍到,但如液體金屬人和那個(gè)深淵里的用海水組成的臉是實(shí)體特效完全做不出來(lái)的,是不可能完成的,所以它就帶來(lái)了一種創(chuàng)作上的一個(gè)分水嶺,它這個(gè)分水嶺就是說(shuō)計(jì)算機(jī)動(dòng)畫(huà)產(chǎn)生了某種獨(dú)立性,在創(chuàng)作需求上開(kāi)辟出了一個(gè)完全新、其他的特效方案無(wú)法完成的道路的道路。比如《三體》中,雷達(dá)、風(fēng)就是完全可以用傳統(tǒng)特效做出來(lái)的,但是 3D的整個(gè)船的切割、碎成那么多小條,傳統(tǒng)特效是不可能做出來(lái)的。

因?yàn)樗某霈F(xiàn)了開(kāi)辟了一個(gè)全新的道路,所以才叫里程碑式的作品。接下來(lái)還有一個(gè)大的里程碑,就是雖然畫(huà)面本身你知道這是假的,但是很難通過(guò)單看畫(huà)面去判斷是否是由CG 做的。比如我們現(xiàn)在再看《侏羅紀(jì)公園》,能夠很明顯能看到哪些恐龍是CG做的、哪些恐龍是2D模型,但到了 21 世紀(jì)初,有一些電影的特效已經(jīng)越過(guò)了真實(shí)度的據(jù)顯現(xiàn),讓觀眾難以分辨,比如《阿凡達(dá)》。在《阿凡達(dá)》之前,比如《指環(huán)王》里的咕嚕你還是能感覺(jué)到他是3D做的。但《阿凡達(dá)》里面它有些地方是真實(shí)的人,純CG的樣子你已經(jīng)看不出來(lái)了。再有一個(gè)著名的做人臉還原的非常高的《返老還童》,那個(gè)相當(dāng)于是特效化妝的里程碑,觀眾觀影的時(shí)候他是一個(gè)真實(shí)的生活中的人,還不像指環(huán)王或者是阿凡達(dá)是一個(gè)在一個(gè)特殊的奇幻環(huán)境或者科技環(huán)境下自洽的一個(gè)東西。這個(gè)時(shí)候觀眾是非常敏感的,有一點(diǎn)點(diǎn)不像真人都你能辨別,所以難度非常高。

《硅谷101》:雖然現(xiàn)在的技術(shù)越來(lái)越成熟,但我們也發(fā)現(xiàn)目前特效制作涉及到了大量的步驟,三體的“古箏行動(dòng)”的那20分鐘的呈現(xiàn)也是拍了很久。目前還是有非常多CG做不到的地方需要去實(shí)拍的,那么你覺(jué)得接下來(lái)整個(gè)特效行業(yè)會(huì)有一個(gè)什么樣的發(fā)展呢?會(huì)不會(huì)是我們需要實(shí)拍的東西越來(lái)越少?十年之后,會(huì)不會(huì)“古箏行動(dòng)”用純CG就可以做出來(lái)了?

陸貝珂:完全有可能。走向純數(shù)字化制作的趨勢(shì)這是一定的、沒(méi)有什么可爭(zhēng)議的?,F(xiàn)在的整個(gè)媒介,比如說(shuō)蘋(píng)果新出的Vision Pro它已經(jīng)開(kāi)始在進(jìn)行媒介的轉(zhuǎn)換。所謂轉(zhuǎn)換媒介其實(shí)就是沉浸式的媒介會(huì)越來(lái)越普遍,這些媒介出來(lái)之后,傳統(tǒng)的二維拍攝式的采集影像的方案應(yīng)該會(huì)漸漸地被純 3D 制作的影像方案替代。因?yàn)樘烊坏某两矫浇?,它更符合純?shù)字化的制作的方法,有些東西是沒(méi)法拍的。

比如說(shuō)Vision Pro要做MR的環(huán)境,你現(xiàn)在眼鏡戴好了,然后做好了空間計(jì)算,現(xiàn)在來(lái)一個(gè)人在你的桌子上走來(lái)走去,他跟另外一個(gè)人在這唱歌,另外一邊還有一個(gè)人在舞蹈。這個(gè)畫(huà)面是怎么用攝影機(jī)拍?是沒(méi)有辦法拍的,你要完成這個(gè)應(yīng)用,你肯定只能是CG人物、CG 角色,還有CG環(huán)境,你得依據(jù)空間計(jì)算把環(huán)境給你把這桌子的透視給還原出來(lái),這叫反向追蹤,這些技術(shù)都是CG技術(shù),都沒(méi)有辦法在實(shí)拍的這個(gè)方案里面完成。這是原理上的不同,沒(méi)有什么其他可以的方案。

《硅谷101》:你覺(jué)得到那一天還有多長(zhǎng)時(shí)間?

陸貝珂:這個(gè)挺快的,動(dòng)畫(huà)片應(yīng)該現(xiàn)在已經(jīng)就可以做到了,真人還有一段距離。還有就是播放環(huán)境的問(wèn)題,目前Vision Pro它可能可以完成,但是不代表你拿比較便宜的那種VR眼鏡也能做到。因?yàn)椴煌O(shè)備的算力不一樣,畫(huà)面的呈現(xiàn)是實(shí)時(shí)結(jié)算的,需要引擎支持,如果不是實(shí)時(shí)結(jié)算的,不需要你去還原這個(gè)空間計(jì)算的地方,相當(dāng)于你坐在這里只是看一個(gè)已經(jīng)編制好的或者錄制好的一段內(nèi)容而已,應(yīng)該現(xiàn)在就可以達(dá)到了。

【相關(guān)補(bǔ)充信息】

CG:Computer Graphics (計(jì)算機(jī)圖形學(xué))的英文縮寫(xiě),CG特效是用計(jì)算機(jī)制造出來(lái)的假象。當(dāng)傳統(tǒng)特效手段無(wú)法滿(mǎn)足影片要求的時(shí)候,就需要CG特效來(lái)實(shí)現(xiàn),CG特效幾乎可以實(shí)現(xiàn)所有人類(lèi)能想像出來(lái)的效果。主要分為三維特效和合成特效兩種。

史蒂芬·沃爾夫勒姆(Stephen Wolfram):計(jì)算機(jī)科學(xué)、數(shù)學(xué)、理論物理方面的著名英國(guó)科學(xué)家。作為程序開(kāi)發(fā)員,他是 數(shù)學(xué)軟件 Mathematica的發(fā)明者之一;他也以對(duì)計(jì)算型知識(shí)引擎 Wolfram Alpha上的工作而聞名;作為商人,他是 沃爾夫勒姆研究公司的創(chuàng)立者和首席執(zhí)行官。他于2023年3月發(fā)表了《ChatGPT在做什么…以及它為什么好使(What Is ChatGPT Doing ... and Why Does It Work? )》一書(shū)。

蒙特卡洛式算法:也稱(chēng)統(tǒng)計(jì)模擬方法,是1940年代中期由于科學(xué)技術(shù)的發(fā)展和電子計(jì)算機(jī)的發(fā)明,而提出的一種以概率統(tǒng)計(jì)理論為指導(dǎo)的數(shù)值計(jì)算方法。是指使用隨機(jī)數(shù)(或更常見(jiàn)的偽隨機(jī)數(shù))來(lái)解決很多計(jì)算問(wèn)題的方法。。主要工作原理是不斷抽樣、逐漸逼近。

Runway:一家美國(guó)圖片和視頻AI編輯軟件提供商,為設(shè)計(jì)師、藝術(shù)家和開(kāi)發(fā)人員提供一系列的工具和平臺(tái),幫助他們利用人工智能技術(shù)創(chuàng)建作品。Gen-2是其發(fā)布的一款多模態(tài)人工智能系統(tǒng),可以根據(jù)文字、圖片或視頻剪輯生成視頻。

Stable Diffusion :是一種基于潛在擴(kuò)散模型(Latent Diffusion Models)的文本到圖像、圖像到圖像生成模型,能夠根據(jù)任意文本或圖像輸入,生成高質(zhì)量、高分辨率、高逼真的圖像。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

對(duì)話(huà)《三體》電視劇視覺(jué)導(dǎo)演陸貝珂:GenAI與Vision Pro如何改變影視特效業(yè)

GenAI技術(shù)已經(jīng)能幫助特效行業(yè)縮減至少30%前期人員。

文|硅谷101

你或許還記得《三體》電視劇中那場(chǎng)令人震撼的的“古箏行動(dòng)”,制作團(tuán)隊(duì)近乎完美地還原了原著中納米飛刃切割審判日巨輪的情節(jié)。那么,這個(gè)場(chǎng)景是如何制作出來(lái)的呢?

近年來(lái),國(guó)產(chǎn)影視作品特效水平大幅提升,數(shù)字特效技術(shù)的應(yīng)用為豐富影視作品視覺(jué)效果、提升作品的表達(dá)空間打開(kāi)了新的大門(mén)。而如今,隨著生成式AI技術(shù)的快速發(fā)展,影視特效行業(yè)的制作效率和制作能力正在得到大規(guī)模地提升,蘋(píng)果Vision Pro等具有空間計(jì)算的3D硬件產(chǎn)品,也在讓特效行業(yè)重新經(jīng)歷一輪新的媒介的轉(zhuǎn)化。

《三體》古箏行動(dòng)片段,圖片取自于《三體電視劇》

本期節(jié)目中,我們邀請(qǐng)到了中國(guó)著名的視覺(jué)導(dǎo)演、影視制片人,也是《三體》的視覺(jué)導(dǎo)演陸貝珂來(lái)為我們揭秘《三體》電視劇特效制作背后的故事,以及深入探討生成式人工智能等前沿技術(shù)如今正在如何被應(yīng)用于影視特效行業(yè)中。

以下是部分訪(fǎng)談精選

01 “古箏行動(dòng)”如何被震撼還原

《硅谷101》:相信貝導(dǎo)的很多作品大家都看過(guò)。除了電視劇《三體》,貝導(dǎo)還在電影《鮫珠傳》、《白銀帝國(guó)》,電視劇《紅色》、《闖關(guān)東》《蕓汐傳》等知名影視作品中擔(dān)任視覺(jué)導(dǎo)演,在節(jié)目的開(kāi)頭能否跟我們簡(jiǎn)單分享一下您進(jìn)入到視覺(jué)導(dǎo)演行業(yè)中的一個(gè)職業(yè)經(jīng)歷? 陸貝珂:我大概是在1999年就進(jìn)入了這個(gè)行業(yè)。我的專(zhuān)業(yè)本身就是影視廣告,大概在96年左右開(kāi)始接觸計(jì)算機(jī)做圖形,當(dāng)時(shí)有用到如一些Autodesk、3DS之類(lèi)的工業(yè)設(shè)計(jì)方面的軟件,覺(jué)得很有意思。那時(shí)正好也是《玩具總動(dòng)員》 等皮克斯動(dòng)畫(huà)片比較火的時(shí)候,就開(kāi)始對(duì)這方面產(chǎn)生興趣。

因?yàn)槲冶旧硪彩菍W(xué)這個(gè)專(zhuān)業(yè),之后在具體的工作中也越來(lái)越多地接觸到這方面的內(nèi)容。其中最大的一個(gè)轉(zhuǎn)變是在 2004 年的時(shí)候,我當(dāng)時(shí)在北京跟一些朋友做一個(gè)后期特效和動(dòng)畫(huà)片的工作室,接觸到了很多美國(guó)B級(jí)片項(xiàng)目,并開(kāi)始給一個(gè)叫Base的美國(guó)制片公司代工做動(dòng)畫(huà)、特效,后來(lái)大家就一起在北京成立了一家專(zhuān)門(mén)的特效公司Base FX,前幾年我主要做導(dǎo)演、編劇后來(lái)就轉(zhuǎn)向了專(zhuān)門(mén)做特效。

《硅谷101》:現(xiàn)在大家經(jīng)??吹诫娪?、電視劇里面有很多很酷炫的特效,但是對(duì)于非從業(yè)者來(lái)說(shuō),很多人都不太清楚影視特效具體是什么工作的。能不能用《三體》電視劇里特別震撼的“古箏行動(dòng)”給我們舉個(gè)例子,聊聊它究竟是怎么拍出來(lái)的,整個(gè)團(tuán)隊(duì)由哪些人員組成、和劇組如何配合,以及后期都需要什么樣的工作才能最終呈現(xiàn)這樣的效果?

陸貝珂:我的崗位是叫視覺(jué)導(dǎo)演,也就是要從視覺(jué)的角度去做很多畫(huà)面的設(shè)計(jì)以及一些概念設(shè)計(jì),其中包括建筑設(shè)計(jì)、工業(yè)設(shè)計(jì)、角色形象等很多種類(lèi),簡(jiǎn)單來(lái)說(shuō)就是只要是涉及到用后期計(jì)算機(jī)去完成的內(nèi)容,它都?xì)w視覺(jué)導(dǎo)演來(lái)做。這其中有一大部分內(nèi)容叫 VFX 特效工作,具體到《三體》這個(gè)電視劇的話(huà),它的特效工作可以大致分成兩大部分:一部分是傳統(tǒng)的實(shí)拍特效,另一部分則是純計(jì)算機(jī)生成的動(dòng)畫(huà)片式的特效。在動(dòng)畫(huà)片式的特效之下又分成兩大塊,一塊是模擬效果,即是用動(dòng)畫(huà)片的方法模擬一個(gè)精度比較高的VR游戲的畫(huà)面。另外一塊叫做藝術(shù)動(dòng)畫(huà),即基于一些科技原理所創(chuàng)作的動(dòng)畫(huà),比如BBC制作的《行星地球》里對(duì)星球和它的運(yùn)轉(zhuǎn)原理做的藝術(shù)動(dòng)畫(huà),以及《三體》里火雞農(nóng)場(chǎng)主射手假說(shuō)等風(fēng)格比較強(qiáng)烈的一些藝術(shù)動(dòng)畫(huà)。

“古箏行動(dòng)”就屬于非常傳統(tǒng)的VFX特效,它的特效特點(diǎn)是有大量的內(nèi)容是需要前期進(jìn)行拍攝,不光只是后期做計(jì)算機(jī)特效。VFX工作不純粹是由計(jì)算機(jī)完成的,實(shí)體特效、道具模型等很多東西是實(shí)拍完成的,比如說(shuō)船、水稻、架子等可能需要使用實(shí)體置景道具,以及相關(guān)的那種用特殊道具的方法做出來(lái)的一些裝置,這個(gè)裝置是真的,而不是由計(jì)算機(jī)實(shí)現(xiàn)?!肮殴~行動(dòng)”里有大量的河道、隱蔽的營(yíng)地之類(lèi)的都是實(shí)拍。但是隨著現(xiàn)在計(jì)算機(jī)圖形圖像學(xué)的發(fā)展,很多東西以前要用真實(shí)的模型做現(xiàn)在也可以用計(jì)算機(jī)來(lái)完成。 《硅谷101》:在《三體》里的巴拿馬運(yùn)河你們實(shí)際上是在中國(guó)找了一個(gè)差不多的河道進(jìn)行實(shí)拍,然后用后期再把它變得像巴拿馬運(yùn)河對(duì)嗎? 陸貝珂:嚴(yán)格來(lái)說(shuō)我們并沒(méi)有找到一個(gè)跟它一樣的河,但是我們找了一個(gè)地形,那個(gè)地形的特點(diǎn)是我們參照研究了小說(shuō)中對(duì)巴拿馬運(yùn)河的描寫(xiě)找的。巴拿馬運(yùn)河非常長(zhǎng),有一部分是一個(gè)湖、有一部分是水壩,它有一個(gè)地方非常窄,叫做蓋拉德水道。我們研究了這個(gè)蓋拉德水道真實(shí)的地貌環(huán)境,在國(guó)內(nèi)找不到一個(gè)跟書(shū)中描繪的完全一樣的地方,但是我們可以找到不少看起來(lái)像的山勢(shì),它一邊是比較高,一邊地勢(shì)比較低,河的兩邊不是都像懸崖一樣的地方,而且還有一部分是人工的環(huán)境。我們?cè)谡憬伊艘粋€(gè)跟這個(gè)地貌很像的地方,但這個(gè)地方里面并沒(méi)有一條河道,所以那個(gè)河道是純CG(特效)完成的。

然后在一些局部的畫(huà)面里面,我們又找了一個(gè)看起來(lái)有水,就是“古箏行動(dòng)”中那個(gè)豎起來(lái)的兩根桿子的地方地方。我們拍的時(shí)候其實(shí)只拍了單邊的一根桿子,那個(gè)地方是天然的有水的地方,但是并不是一個(gè)真正的河道,是一個(gè)弧形的地形,但最后成片看起來(lái)會(huì)覺(jué)得它好像是在同一個(gè)地方拍攝的。。但這個(gè)地方跟我們撞船的位置、營(yíng)地的位置等畫(huà)面,其實(shí)是設(shè)計(jì)好之后分別找了六七個(gè)不同的地點(diǎn)單獨(dú)拍攝,之后再拼接起來(lái)的

“古箏行動(dòng)”的設(shè)計(jì),圖片來(lái)自陸貝珂知乎

《硅谷101》:這個(gè)看起來(lái)真的非常自然,之前看電視劇,還以為劇組真的在巴拿馬運(yùn)河那邊駐扎了好幾個(gè)月。

陸貝珂:原來(lái)確實(shí)有這個(gè)計(jì)劃,但我們2020年夏天拍的,因?yàn)橐咔闆](méi)有辦法出去。

《硅谷101》:“古箏行動(dòng)”里的那艘巨輪是真的嗎? 陸貝珂:船有一部分是真的,劇中在輪船上人的近景,那些在那個(gè)船甲板上的ETO(Earth-Trisolaris Organization,地球三體組織的簡(jiǎn)稱(chēng)) 人員大多數(shù)都是實(shí)拍。但船在河道上運(yùn)行以及最后被切割的畫(huà)面大部分都是CG。關(guān)于切割的部分,我們最后導(dǎo)完了之后也搭了一個(gè)實(shí)景,但是那個(gè)實(shí)景只有整個(gè)大環(huán)境的 1/ 20 的局部,因?yàn)樵谂耐晷≌f(shuō)中所描述輪船整體像撲克牌一樣攤開(kāi)之后,需要拍攝人進(jìn)去輪船內(nèi)部取硬盤(pán)的情節(jié),那就必須用實(shí)景來(lái)完成。

圖片來(lái)自陸貝珂知乎

《硅谷101》:聽(tīng)上去是一個(gè)挺巨大的工程,那么完成這么一個(gè)拍攝工作,需要多少人來(lái)完成呢? 陸貝珂:實(shí)拍部分有幾百個(gè)人,分成很多個(gè)不同的工種,有些人負(fù)責(zé)搭建實(shí)拍部分,有些人做道具,有人負(fù)責(zé)攝影、以及服化道之類(lèi)的。從后期CG特效人員來(lái)說(shuō),首先你需要把畫(huà)面在腦海中設(shè)計(jì)出來(lái),然后就要做分鏡,完成后還需要做一些拍前預(yù)覽。就是要把鏡頭先分好、做出動(dòng)態(tài),之后要看節(jié)奏和時(shí)長(zhǎng)進(jìn)行預(yù)剪輯。實(shí)際上在2023年最后剪輯播出之前,我們已經(jīng)看過(guò)無(wú)數(shù)遍了,基本上在2020年的夏天的時(shí)候它就已經(jīng)定稿了,這個(gè)部分的工作叫 Previz或者Layout。接下來(lái)就是實(shí)拍,整個(gè)設(shè)置組會(huì)以Previz為藍(lán)本來(lái)拍攝各種各樣的鏡頭,每個(gè)鏡頭不一定是在同一個(gè)地方拍,再加上航拍等,前前后后有大概四五百人要參與進(jìn)來(lái)。在前期的素材都拍完之后,還有一個(gè)工序叫掃描,就是要用航拍機(jī)器或者地面的如雷達(dá)掃描等一些設(shè)備去真實(shí)地拍攝環(huán)境作為資產(chǎn)拿回來(lái),后期的CG公司根據(jù)資產(chǎn)來(lái)做還原、相關(guān)的動(dòng)畫(huà)綁定、材質(zhì)建模這些工作。

在三體的“古箏行動(dòng)”部分,還有很大的一部分內(nèi)容叫動(dòng)力學(xué)模擬。對(duì)于鋼材碎片落地、船撞上泥土等這些效果,都需要做一些物理上的動(dòng)力學(xué)模擬,這種模擬不是人用手工調(diào)出來(lái)的,船的動(dòng)畫(huà)行動(dòng)、我們叫關(guān)鍵幀動(dòng)畫(huà)可以用手工調(diào)整,但這種物理學(xué)模擬是沒(méi)有辦法的。比如天上飛了上千萬(wàn)片紙片,用手調(diào)是不可能的。在這個(gè)過(guò)程中我們就會(huì)運(yùn)用到一些相關(guān)軟件,比如Houdini這種結(jié)算、物理學(xué)模擬非常好的軟件,有時(shí)候還要自己做一些插件來(lái)處理一些東西。

我們?cè)谀M的時(shí)候畫(huà)面看上去是灰色的,一般我們叫灰模,不一定有最終畫(huà)面中那么好的光線(xiàn)和顏色。這是因?yàn)槲覀儽仨氃谠缙诰痛_定模擬是否成功,不能把光那些全部調(diào)好再去看,那可能就來(lái)不及,因?yàn)闆](méi)有足夠的算力可以讓一次一次地去渲染它。確認(rèn)好畫(huà)面之后,接下來(lái)再做測(cè)試渲染。一般來(lái)說(shuō),電影的測(cè)試渲染可以做小分辨率的這種一個(gè)個(gè)動(dòng)態(tài)的畫(huà)面,但電視劇一般沒(méi)有這個(gè)預(yù)算,所以就很靠導(dǎo)演經(jīng)驗(yàn),需要通過(guò)很少量的幾張單幀的圖片就確定好這個(gè)畫(huà)面是不是能夠大批量地做渲染。

等確定好了光線(xiàn)這些部分后,就開(kāi)始下要求渲染。這個(gè)過(guò)程就是一個(gè)算力的過(guò)程,有的渲染要靠GPU,但“古箏行動(dòng)”里面可能70% 還是用的CPU運(yùn)算,用的是一些渲染器來(lái)呈現(xiàn)出最終的光效。這些步驟都完成之后就要做合成,因?yàn)殇值臅r(shí)候并不是一次渲完的,而是一層一層地渲。比如有diffuse光線(xiàn)層,看上去沒(méi)有那么強(qiáng)的光線(xiàn),還有一些條件層,還有OCC避光層等等,這些層最后要合并成一個(gè)完整畫(huà)面的時(shí)候,就要用到合成軟件,最后在合成軟件里面把它合成一個(gè)最終的鏡頭就可以真序列膠片看了。

船體分割的模擬分鏡

《硅谷101》:過(guò)程真的是非常復(fù)雜。那么在一部電影或者是一部電視劇當(dāng)中,一般有多少的預(yù)算會(huì)撥給后期特效呢? 陸貝珂:這個(gè)是一個(gè)非常非標(biāo)準(zhǔn)化的事情,很難有一個(gè)固定的數(shù)據(jù)。一般來(lái)說(shuō),要是類(lèi)似于《復(fù)仇者聯(lián)盟》這種特別重特效的項(xiàng)目,很有可能占到50%左右,因?yàn)樘匦Я糠浅4螅婕暗酱罅科婊谩⒖苹玫漠?huà)面。但如果只是一個(gè)常規(guī)的都市劇、愛(ài)情片,那可能就只有10%、5%甚至5%以下,都看實(shí)際需求。

對(duì)于《三體》來(lái)說(shuō),目前的第一季也就是小說(shuō)的第一部分其實(shí)還好。我們的實(shí)際的制作預(yù)算是遠(yuǎn)低于Netflix版本的,大概只是它的1/10、或者1/20 這種級(jí)別。這其實(shí)也是我們國(guó)內(nèi)的動(dòng)畫(huà)特效制作的一個(gè)難點(diǎn)。它的難點(diǎn)不在于純粹的技術(shù)難點(diǎn),而在于平衡,也就是如何用偏小的預(yù)算制作出精良的畫(huà)面。

02 AI改變影視特效

《硅谷101》:你曾經(jīng)在拍完《三體》之后接受采訪(fǎng)時(shí)說(shuō)感謝數(shù)字科技的進(jìn)步,如果放在 10 年前可能很難用現(xiàn)在的成本去做到現(xiàn)在的效果。很好奇具體是哪些數(shù)字科技的進(jìn)步,讓《三體》這樣的一部作品能現(xiàn)在在中國(guó)被拍出來(lái)?

陸貝珂:其實(shí)整個(gè)進(jìn)展是具有連續(xù)性的,倒并沒(méi)有一個(gè)類(lèi)似于22年底23年初ChatGPT那種顛覆性創(chuàng)新。

在特效行業(yè)里面,成本方面的變化體現(xiàn)在軟件的成熟,降低了使用這些軟件的成本。比如在10年前,很少會(huì)在工作流程中用到引擎式的工作,比如UE(Unreal Engine)的那個(gè)引擎,但在《三體》制作的時(shí)候,前期工作中間有大量的Previz都是引擎做的,以前可能需要8到10人的團(tuán)隊(duì)做工作現(xiàn)在就能縮減到2、3個(gè)人。此外,很多部門(mén)都會(huì)有渲染優(yōu)化,就需要渲染算法的進(jìn)步來(lái)節(jié)省CPU的算力,但這個(gè)進(jìn)步是臺(tái)階式的,沒(méi)有那么顛覆性。

還有一點(diǎn)就是技術(shù)的易用性大大提升。以前有大量的東西需要自己去寫(xiě)去查,比如用 Python去編很多東西,但近十幾年,很多問(wèn)題都是已經(jīng)技術(shù)上解決過(guò)了,有很多現(xiàn)成的方案,不需要我們?nèi)膱D形圖像學(xué)論文里邊去找方法了。所以整體來(lái)說(shuō)制作成本大幅下降,十幾年前這樣的效果可能可以做出來(lái),但就是很貴,電視劇是做不起這個(gè)效果的。 《硅谷101》:芯片的發(fā)展是不是有助于預(yù)算優(yōu)化呢?為什么當(dāng)時(shí)《三體》效果渲染的時(shí)候不用GPU?

陸貝珂:因?yàn)殇秩局饕婕暗戒秩酒鳎秩酒鞯乃惴Q定了有些東西不是像那種分布式渲染。GPU的算法決定了它更多的是在不同的通道上算一些簡(jiǎn)單的東西,但它的光線(xiàn)追蹤的算法、或一些特定的OCC算法本來(lái)就是在CPU運(yùn)算上來(lái)編的,所以它這個(gè)渲染器就支持的就是CPU運(yùn)算,并沒(méi)有把它進(jìn)行那么大的分布式簡(jiǎn)單運(yùn)算。GPU有很大的一個(gè)特點(diǎn)是它的線(xiàn)程超級(jí)的多,但是它每個(gè)線(xiàn)程算的內(nèi)容其實(shí)很簡(jiǎn)單。但是有很多需要做大量運(yùn)算的渲染器本身不是基于這種方法來(lái)編輯開(kāi)發(fā),所以我們也得繼承這個(gè)方案。但是現(xiàn)在也確實(shí)大量的GPU的運(yùn)算的方式越來(lái)越多了,其實(shí)《三體》里面大概有30%是GPU結(jié)算的,還有70%是傳統(tǒng)的CPU運(yùn)算的渲染。

《硅谷101》:在當(dāng)前特效行業(yè)當(dāng)中,哪個(gè)公司的CPU、GPU大家覺(jué)得用起來(lái)比較好呢?

陸貝珂:目前來(lái)說(shuō)CPU方面基本上都是英特爾的,AMD也有一些,很少有其他家的。但是大家完全沒(méi)有以品牌作為判斷的標(biāo)準(zhǔn),因?yàn)檫@種渲染的模式?jīng)Q定了只要你是用同一種基礎(chǔ)的算法分布這些算力,那分到哪個(gè)上面都可以的。

《硅谷101》:這一輪生成式 AI技術(shù)浪潮的到來(lái)對(duì)整個(gè)特效行業(yè)有什么樣的影響嗎?

陸貝珂:目前最大的影響是前期和合成部分,還有一些是在動(dòng)力學(xué)特效上,因?yàn)閯?dòng)力學(xué)特效涉及到一些編程工作,這個(gè)工作要讓人工自己去完成的話(huà)還是很費(fèi)勁的,這種既可以做好編程、又能夠理解畫(huà)面效果的這種特效師人才其實(shí)是很少的。但是現(xiàn)在ChatGPT的編程的能力確實(shí)讓我們感覺(jué)有比較大的提高。

關(guān)于前期部分的提高主要是在概念設(shè)計(jì)方面。概念設(shè)計(jì)需要很多發(fā)散性的想法,在以前這種發(fā)散性想法我們是以手繪為主,把一個(gè)簡(jiǎn)單的構(gòu)圖或者是白描的東西變成完成高,需要投入很多的資源和時(shí)間。但現(xiàn)在有AI加持之后,這個(gè)完稿過(guò)程就變得特別的快,特別是不屬于原創(chuàng)設(shè)定的概念設(shè)計(jì)和美術(shù)繪畫(huà)類(lèi)人員,總的需要量大概只有原來(lái)的20%左右。但提出創(chuàng)意人員,就是給AI以目標(biāo)、使用的提示詞的人倒不會(huì)減少,這一部分是AI也很難去直接替代的。

還有就是在光線(xiàn)上做完稿效果測(cè)試圖的生產(chǎn)量,現(xiàn)在可能有上百倍的提高。以前一個(gè)科幻項(xiàng)目的圖量在前期可能有500-1000張,現(xiàn)在是完全有可能提高到1萬(wàn)張圖這種級(jí)別。這樣一來(lái)你會(huì)看到特別多不同的東西,導(dǎo)演部門(mén)有更多選擇,但另外一個(gè)角度可能更難選,因?yàn)闀?huì)出現(xiàn)很多圖。

《硅谷101》:那 AI 生成式視頻相關(guān)技術(shù)開(kāi)始對(duì)這個(gè)產(chǎn)業(yè)產(chǎn)生影響了嗎?

陸貝珂:有的,最近做的片子里面就用到過(guò)這個(gè)技術(shù)。Gen-2、Runway這些公司的產(chǎn)品其實(shí)我們都用過(guò),目前它們有一個(gè)特點(diǎn)是做出畫(huà)面的速度很快,很適合用于沒(méi)有特別具體的目標(biāo)、隨便放一個(gè)背景之類(lèi)的情況中,比如我們拍一個(gè)片子中間有時(shí)候常常會(huì)出現(xiàn)電視里出現(xiàn)一個(gè)什么畫(huà)面。以前出于版權(quán)的考慮,你還不能用別人的,我們還真得花時(shí)間去拍或者做一個(gè),但現(xiàn)在有個(gè)AI的幫助之后,就節(jié)省了大量的這類(lèi)型工作。

總體來(lái)說(shuō)就是你需要的東西不在具體的情節(jié)、邏輯里面就可以用AI來(lái)幫忙做。它目前特別不行的就是邏輯、概念上的連貫,這個(gè)并不是指畫(huà)面本身或者人臉是不是連貫對(duì)齊,而主要是前一個(gè)鏡頭跟后一個(gè)鏡頭的絕對(duì)邏輯比較差。我們往往看到它們做那個(gè)trailer(預(yù)告片)比較好看,那是因?yàn)閠railer往往并不需要你有那么強(qiáng)的那個(gè)邏輯,而且它的慢動(dòng)作的效果會(huì)比正常動(dòng)作要好,因?yàn)槁齽?dòng)作的特點(diǎn)其實(shí)是畫(huà)面中間是以pose為主的,有人就有pose,其實(shí)是一個(gè)競(jìng)爭(zhēng)狀態(tài)下的一個(gè)微動(dòng)態(tài)。但如果是一個(gè)常速,比如我在這說(shuō)話(huà)這個(gè)手的動(dòng)作它是帶有邏輯性的,這其實(shí)是很難讓它在3D的環(huán)境中間完全模擬出來(lái)的,這一點(diǎn)應(yīng)該是生成式AI 的算法在短期內(nèi)很難解決的一個(gè)問(wèn)題。

此前由AI生成的手的圖片

我們現(xiàn)在主要解決的方案是,二維畫(huà)面用control net 的方案,就是你先用自己的構(gòu)圖框死了畫(huà)面,這個(gè)構(gòu)圖本身是你自己做的,一個(gè)3D文件,或者是一個(gè)3D做出來(lái)的一個(gè)帶有明確的輪廓線(xiàn)的文件,你讓它不斷地給你重新打光、重新做渲染就行了,AI可以完成得很快的。

我在2023年的年初的時(shí)候看過(guò)一本書(shū)講得很好,就是Mathematica 軟件的作者斯蒂芬·沃爾夫勒姆寫(xiě)GPT是如何運(yùn)作的,里面講到現(xiàn)在的AI生成式算法,它最擅長(zhǎng)解決的就是那些可約化的部分。人的語(yǔ)言其實(shí)是一種規(guī)律性的東西,人的語(yǔ)言永遠(yuǎn)不可能直接跟現(xiàn)象做對(duì)等關(guān)系,比如說(shuō)一個(gè)礦泉水瓶子,其實(shí)你也沒(méi)有辦法靠語(yǔ)言去100%地描述它,你要想真正描述它,你必須把它一點(diǎn)點(diǎn)地測(cè)量出來(lái),規(guī)定它具體的反射度、光線(xiàn)的折射度、反射度、還有它的透明度,這些東西才能把一個(gè)瓶子完整地說(shuō)出來(lái),那么這個(gè)部分并不是現(xiàn)在的生成式 AI 所擅長(zhǎng)的。因?yàn)檫@個(gè)部分是不可約化的,它的計(jì)算本身是算法很難解決的,它有點(diǎn)像一些程序性的計(jì)算方法跟蒙特卡洛式的算法的區(qū)別。蒙特卡洛式算法就是你得把這個(gè)東西測(cè)出來(lái),不能用一個(gè)公式去簡(jiǎn)單解決它,它是解決不了的。你在用AI做一張圖的時(shí)候,你可能會(huì)發(fā)現(xiàn)我們用AI去算那種記憶非常的規(guī)律性的東西的時(shí)候是很容易做的,比如說(shuō)動(dòng)態(tài)的云或者非動(dòng)態(tài)的云,AI算起來(lái)是非常容易的它很容易處理這種東西,因?yàn)槿藢?duì)這個(gè)東西的印象是非常的模糊的,人對(duì)于天上的云的印象是一種概念,并沒(méi)有一個(gè)我曾經(jīng)有記憶過(guò)云的一個(gè)一個(gè)的點(diǎn)是如何排布的,可能有一些氣象學(xué)家會(huì)感覺(jué)到AI算的很多云有不合理的地方,但是一般人是絕對(duì)看不出來(lái)的。這就是你對(duì)這個(gè)東西的認(rèn)識(shí),你是概念化、很約化的。

但是如果這件事情是人本來(lái)就很擅長(zhǎng)的,比如我們經(jīng)常發(fā)現(xiàn)AI生成的手有問(wèn)題,因?yàn)槭值倪@個(gè)動(dòng)作充滿(mǎn)了邏輯性,它處于什么位置的時(shí)候是不容易約化的,它既有邏輯關(guān)系,又有三維方向上的排布的約束性,它并不是一個(gè)可以不管什么方向都能動(dòng)的東西,既有約束性又有邏輯性,就是沒(méi)有辦法絕對(duì)找到它的規(guī)律性,這種東西AI做出來(lái)就很困難。

所以當(dāng)我們?cè)嚼斫膺@個(gè)東西的時(shí)候,就越知道目前的這些生成式AI的圖形算法我們能用在什么地方,什么地方使用它就沒(méi)有太大的意義。比如說(shuō)影子,陰影的生成現(xiàn)在來(lái)說(shuō)就用傳統(tǒng)的方法更簡(jiǎn)單的,用AI算法是很困難的,它會(huì)經(jīng)常理解地不精確,只會(huì)看起來(lái)像個(gè)陰影,但你仔細(xì)一看就會(huì)發(fā)現(xiàn)這個(gè)陰影不對(duì)。因?yàn)楝F(xiàn)在都屬于平面階段,并沒(méi)有一種z方向也就是深度方向的信息,那樣一來(lái)會(huì)涉及到大量的算力,現(xiàn)在就是在一個(gè)平面的、可數(shù)的一個(gè)二維方向上去做出它的可約化的可能性。

《硅谷101》:你們現(xiàn)在用的比較多的是比如Gen-2那種已經(jīng)開(kāi)發(fā)出來(lái)的軟件應(yīng)用?還是有可能也會(huì)使用如 Stable Diffusion 這種模型自己去做一些開(kāi)發(fā)?

陸貝珂:都用。SD 用的更多,Midjourney 也常用。因?yàn)镾table Diffusion能很好地支持control net。只要有合適的模型,或者你自己煉了相關(guān)的合適模型,在很多開(kāi)發(fā)里面它都明顯會(huì)降低成本,比如我剛才提到以前需要10個(gè)人、現(xiàn)在可能只需要3個(gè)人就可以。SD會(huì)很明顯幫助到前期開(kāi)發(fā)、概念設(shè)計(jì),比如在畫(huà)草圖階段,你讓它生成一些星空或者某種風(fēng)格的建筑,只要你手里的Lora或者是CheckPoint的模型是里面有這個(gè)信息數(shù)據(jù)的,那還原它還是挺容易的。在這個(gè)基礎(chǔ)之上,再用設(shè)計(jì)師的能力去填補(bǔ)它做錯(cuò)了的那些地方就可以,這就比你從頭開(kāi)始做肯定是要快得多了。

《硅谷101》:所以目前生成式的AI已經(jīng)是在幫影視特效行業(yè)起到降本增效的作用了嗎?如果量化的話(huà),你覺(jué)得目前能夠幫你們加快多少的進(jìn)度或者是降低多少的預(yù)算呢?

陸貝珂:概念設(shè)計(jì)方面可能有30%-40%以上,正常的特效工作目前大概在5%左右。目前來(lái)說(shuō)有一個(gè)門(mén)檻,就是AI生成的3D模型現(xiàn)在并不可用,就是有這樣的東西,我看Orio也開(kāi)始有這樣的開(kāi)發(fā),但是離真正的影視劇應(yīng)用距離還挺遠(yuǎn)的。所以目前AI在前期階段降本增效的效果更強(qiáng),在中間以及最后合成階段現(xiàn)在沒(méi)有產(chǎn)生特別大的影響。

《硅谷101》:中后期現(xiàn)在還差在哪,怎么樣才能達(dá)到商業(yè)可用的狀態(tài)呢?

陸貝珂:主要是準(zhǔn)確度,邏輯上不夠準(zhǔn)確。比如合成里面用 AI 進(jìn)行摳圖這個(gè)工作是大大提升了,但你要讓它正確地改動(dòng)某些光線(xiàn),目前來(lái)說(shuō)還是基本不可用的。還有需要靠你的審美意識(shí)的東西做連貫性的處理的部分目前來(lái)說(shuō)還無(wú)法教給它,比如說(shuō)最簡(jiǎn)單的調(diào)色,在大多數(shù)情況下電影的畫(huà)面都需要它的光具有一定主觀意圖,我們叫表現(xiàn)主義燈光,這種調(diào)整取決于你對(duì)這個(gè)故事和人物氛圍的理解,那這個(gè)東西你很難讓AI去解決,這得真的是由人一點(diǎn)點(diǎn)調(diào)才能調(diào)出來(lái),就是它很難進(jìn)行約化的,也沒(méi)有絕對(duì)的規(guī)律性。大家在意識(shí)上、在審美上是追求創(chuàng)新的,而不是追求你跟別人講一樣的話(huà)。

《硅谷101》:接下來(lái)你希望生成式AI還能在什么方面發(fā)展,從而能夠更好地來(lái)幫助到特效的行業(yè)呢?

陸貝珂:我感覺(jué)現(xiàn)在的世界模型的開(kāi)發(fā)應(yīng)該接下來(lái)會(huì)是一個(gè)很好的方向,因?yàn)槭澜缒P妥畲蟮囊粋€(gè)核心特點(diǎn)其實(shí)就是讓AI真正的認(rèn)識(shí)到那些不可約化的東西,還有以及認(rèn)識(shí)到自身的邊界在哪里。

現(xiàn)在的AI有一種感覺(jué),它缺乏實(shí)際的自我邊界,對(duì)人來(lái)說(shuō)叫自我認(rèn)識(shí)。你想想一個(gè)人,他不知道自己長(zhǎng)處在哪、短處在哪,他不知道自己不知道什么其實(shí)很可怕的AI其實(shí)現(xiàn)在就是這樣,你讓它干什么它都努著干,但其實(shí)當(dāng)它對(duì)世界有個(gè)真實(shí)的認(rèn)識(shí)的時(shí)候,它就會(huì)自己知道什么東西自己并不一定擅長(zhǎng)去處理。你跟一個(gè)正常的人打交道,他會(huì)告訴你我是什么專(zhuān)業(yè),我什么東西比較擅長(zhǎng),對(duì)吧?所以沒(méi)有必要說(shuō)去強(qiáng)求說(shuō) AI一定要什么都知道。它目前只是基于算法就一定會(huì)往下編的模式,但如果這個(gè)模式中間加上了這種自我認(rèn)識(shí)感元素的時(shí)候,它就會(huì)在真實(shí)的工作中感覺(jué)到邊界在哪里的,因?yàn)槲覀冏鋈魏问虑槎际怯锌蚣苄缘?,真?shí)的世界就是這個(gè)樣子。

真實(shí)世界的框架來(lái)自于大量的物理事實(shí)和人際關(guān)系的情緒事實(shí),以及這個(gè)世界運(yùn)轉(zhuǎn)時(shí)候的一種邏輯,如果你只是從語(yǔ)言的角度去理解世界,就無(wú)法發(fā)現(xiàn)這個(gè)世界真實(shí)的框架。我覺(jué)得在目前GPT 4仍然屬于語(yǔ)言模型,還沒(méi)有達(dá)到開(kāi)放式的世界模型的這種級(jí)別。但這個(gè)其實(shí)也不是我的專(zhuān)業(yè),我就是一個(gè)導(dǎo)演、應(yīng)該來(lái)說(shuō)是一個(gè)藝術(shù)創(chuàng)作類(lèi)人員。是因?yàn)槲以谡鎸?shí)的工作中經(jīng)歷著這些變化,才會(huì)有一個(gè)切身的感受。在這一部分上就不是從理論到理論了,是一個(gè)實(shí)踐反饋出來(lái)的狀態(tài)。

03 特效行業(yè)的進(jìn)化和Vision Pro的影響

《硅谷101》:影視行業(yè)從大約100 年前就開(kāi)始慢慢地解鎖一些CG特效技術(shù)。貝導(dǎo)能不能幫我們稍微回溯一下影視特效行業(yè)發(fā)展的一些里程碑的影片或者事件?

陸貝珂:世界上從早期梅里愛(ài)那個(gè)時(shí)代,包括1927年德國(guó)拍的《大都會(huì)》開(kāi)始那時(shí)候其實(shí)就已經(jīng)有手工特效,那些科幻環(huán)境、奇幻環(huán)境當(dāng)時(shí)都是畫(huà)在玻璃上的,然后再通過(guò)攝影機(jī)去拍攝它。后來(lái)一個(gè)里程碑式的作品就是《金剛》,出現(xiàn)了逐幀實(shí)體動(dòng)畫(huà)。大家很多人印象很深的《星球大戰(zhàn)(一)》實(shí)際上并不是電腦圖形圖像學(xué)真正發(fā)展的里程碑式的電影,它的太空還原這些方面的技術(shù)跟 1968 年的《太空奧德賽》的制作方案是非常非常接近的。但當(dāng)時(shí) Pixel 的一些動(dòng)畫(huà)片做了很多跟實(shí)體生物結(jié)合的那種 CG 生物,是很有時(shí)代意義的。在卡梅隆拍的《深淵》里面是后來(lái)還第一次用了動(dòng)力學(xué)解算出來(lái)的透明物體,《終結(jié)者2》里又把這個(gè)東西發(fā)展為液體金屬人。為什么這是標(biāo)志性的東西呢?它帶來(lái)了一種結(jié)果,就是有一種創(chuàng)作思維是必須植根于數(shù)字圖形圖像學(xué)的。

圖片來(lái)自《終結(jié)者2》

你拍飛船、光劍、怪物怪獸都有可能用實(shí)體特效來(lái)拍到,但如液體金屬人和那個(gè)深淵里的用海水組成的臉是實(shí)體特效完全做不出來(lái)的,是不可能完成的,所以它就帶來(lái)了一種創(chuàng)作上的一個(gè)分水嶺,它這個(gè)分水嶺就是說(shuō)計(jì)算機(jī)動(dòng)畫(huà)產(chǎn)生了某種獨(dú)立性,在創(chuàng)作需求上開(kāi)辟出了一個(gè)完全新、其他的特效方案無(wú)法完成的道路的道路。比如《三體》中,雷達(dá)、風(fēng)就是完全可以用傳統(tǒng)特效做出來(lái)的,但是 3D的整個(gè)船的切割、碎成那么多小條,傳統(tǒng)特效是不可能做出來(lái)的。

因?yàn)樗某霈F(xiàn)了開(kāi)辟了一個(gè)全新的道路,所以才叫里程碑式的作品。接下來(lái)還有一個(gè)大的里程碑,就是雖然畫(huà)面本身你知道這是假的,但是很難通過(guò)單看畫(huà)面去判斷是否是由CG 做的。比如我們現(xiàn)在再看《侏羅紀(jì)公園》,能夠很明顯能看到哪些恐龍是CG做的、哪些恐龍是2D模型,但到了 21 世紀(jì)初,有一些電影的特效已經(jīng)越過(guò)了真實(shí)度的據(jù)顯現(xiàn),讓觀眾難以分辨,比如《阿凡達(dá)》。在《阿凡達(dá)》之前,比如《指環(huán)王》里的咕嚕你還是能感覺(jué)到他是3D做的。但《阿凡達(dá)》里面它有些地方是真實(shí)的人,純CG的樣子你已經(jīng)看不出來(lái)了。再有一個(gè)著名的做人臉還原的非常高的《返老還童》,那個(gè)相當(dāng)于是特效化妝的里程碑,觀眾觀影的時(shí)候他是一個(gè)真實(shí)的生活中的人,還不像指環(huán)王或者是阿凡達(dá)是一個(gè)在一個(gè)特殊的奇幻環(huán)境或者科技環(huán)境下自洽的一個(gè)東西。這個(gè)時(shí)候觀眾是非常敏感的,有一點(diǎn)點(diǎn)不像真人都你能辨別,所以難度非常高。

《硅谷101》:雖然現(xiàn)在的技術(shù)越來(lái)越成熟,但我們也發(fā)現(xiàn)目前特效制作涉及到了大量的步驟,三體的“古箏行動(dòng)”的那20分鐘的呈現(xiàn)也是拍了很久。目前還是有非常多CG做不到的地方需要去實(shí)拍的,那么你覺(jué)得接下來(lái)整個(gè)特效行業(yè)會(huì)有一個(gè)什么樣的發(fā)展呢?會(huì)不會(huì)是我們需要實(shí)拍的東西越來(lái)越少?十年之后,會(huì)不會(huì)“古箏行動(dòng)”用純CG就可以做出來(lái)了?

陸貝珂:完全有可能。走向純數(shù)字化制作的趨勢(shì)這是一定的、沒(méi)有什么可爭(zhēng)議的?,F(xiàn)在的整個(gè)媒介,比如說(shuō)蘋(píng)果新出的Vision Pro它已經(jīng)開(kāi)始在進(jìn)行媒介的轉(zhuǎn)換。所謂轉(zhuǎn)換媒介其實(shí)就是沉浸式的媒介會(huì)越來(lái)越普遍,這些媒介出來(lái)之后,傳統(tǒng)的二維拍攝式的采集影像的方案應(yīng)該會(huì)漸漸地被純 3D 制作的影像方案替代。因?yàn)樘烊坏某两矫浇?,它更符合純?shù)字化的制作的方法,有些東西是沒(méi)法拍的。

比如說(shuō)Vision Pro要做MR的環(huán)境,你現(xiàn)在眼鏡戴好了,然后做好了空間計(jì)算,現(xiàn)在來(lái)一個(gè)人在你的桌子上走來(lái)走去,他跟另外一個(gè)人在這唱歌,另外一邊還有一個(gè)人在舞蹈。這個(gè)畫(huà)面是怎么用攝影機(jī)拍?是沒(méi)有辦法拍的,你要完成這個(gè)應(yīng)用,你肯定只能是CG人物、CG 角色,還有CG環(huán)境,你得依據(jù)空間計(jì)算把環(huán)境給你把這桌子的透視給還原出來(lái),這叫反向追蹤,這些技術(shù)都是CG技術(shù),都沒(méi)有辦法在實(shí)拍的這個(gè)方案里面完成。這是原理上的不同,沒(méi)有什么其他可以的方案。

《硅谷101》:你覺(jué)得到那一天還有多長(zhǎng)時(shí)間?

陸貝珂:這個(gè)挺快的,動(dòng)畫(huà)片應(yīng)該現(xiàn)在已經(jīng)就可以做到了,真人還有一段距離。還有就是播放環(huán)境的問(wèn)題,目前Vision Pro它可能可以完成,但是不代表你拿比較便宜的那種VR眼鏡也能做到。因?yàn)椴煌O(shè)備的算力不一樣,畫(huà)面的呈現(xiàn)是實(shí)時(shí)結(jié)算的,需要引擎支持,如果不是實(shí)時(shí)結(jié)算的,不需要你去還原這個(gè)空間計(jì)算的地方,相當(dāng)于你坐在這里只是看一個(gè)已經(jīng)編制好的或者錄制好的一段內(nèi)容而已,應(yīng)該現(xiàn)在就可以達(dá)到了。

【相關(guān)補(bǔ)充信息】

CG:Computer Graphics (計(jì)算機(jī)圖形學(xué))的英文縮寫(xiě),CG特效是用計(jì)算機(jī)制造出來(lái)的假象。當(dāng)傳統(tǒng)特效手段無(wú)法滿(mǎn)足影片要求的時(shí)候,就需要CG特效來(lái)實(shí)現(xiàn),CG特效幾乎可以實(shí)現(xiàn)所有人類(lèi)能想像出來(lái)的效果。主要分為三維特效和合成特效兩種。

史蒂芬·沃爾夫勒姆(Stephen Wolfram):計(jì)算機(jī)科學(xué)、數(shù)學(xué)、理論物理方面的著名英國(guó)科學(xué)家。作為程序開(kāi)發(fā)員,他是 數(shù)學(xué)軟件 Mathematica的發(fā)明者之一;他也以對(duì)計(jì)算型知識(shí)引擎 Wolfram Alpha上的工作而聞名;作為商人,他是 沃爾夫勒姆研究公司的創(chuàng)立者和首席執(zhí)行官。他于2023年3月發(fā)表了《ChatGPT在做什么…以及它為什么好使(What Is ChatGPT Doing ... and Why Does It Work? )》一書(shū)。

蒙特卡洛式算法:也稱(chēng)統(tǒng)計(jì)模擬方法,是1940年代中期由于科學(xué)技術(shù)的發(fā)展和電子計(jì)算機(jī)的發(fā)明,而提出的一種以概率統(tǒng)計(jì)理論為指導(dǎo)的數(shù)值計(jì)算方法。是指使用隨機(jī)數(shù)(或更常見(jiàn)的偽隨機(jī)數(shù))來(lái)解決很多計(jì)算問(wèn)題的方法。。主要工作原理是不斷抽樣、逐漸逼近。

Runway:一家美國(guó)圖片和視頻AI編輯軟件提供商,為設(shè)計(jì)師、藝術(shù)家和開(kāi)發(fā)人員提供一系列的工具和平臺(tái),幫助他們利用人工智能技術(shù)創(chuàng)建作品。Gen-2是其發(fā)布的一款多模態(tài)人工智能系統(tǒng),可以根據(jù)文字、圖片或視頻剪輯生成視頻。

Stable Diffusion :是一種基于潛在擴(kuò)散模型(Latent Diffusion Models)的文本到圖像、圖像到圖像生成模型,能夠根據(jù)任意文本或圖像輸入,生成高質(zhì)量、高分辨率、高逼真的圖像。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。