正在閱讀:

同樣是AI換臉,為何只罵成龍不罵湯姆·漢克斯?

掃一掃下載界面新聞APP

同樣是AI換臉,為何只罵成龍不罵湯姆·漢克斯?

AI已經(jīng)在路上。

文 | 娛樂(lè)資本論 James

在最近的北美票房中,《阿甘正傳》的原班人馬打造,湯姆·漢克斯主演的電影《此心安處》(Here)于11月1日首映,首周末票房約為500萬(wàn)美元,排名第5位。表現(xiàn)雖然不算突出,但也有一些值得一提的亮點(diǎn)。

首先,該電影講的是在新澤西州的一個(gè)客廳發(fā)生的一個(gè)阿甘般的傳統(tǒng)白男一生的故事,觀眾比藍(lán)營(yíng)評(píng)論家更喜歡這部電影。

其次,這部電影是一部重度使用了AI換臉技術(shù)的影片。但在美國(guó)市場(chǎng),不管是專業(yè)評(píng)論員,還是普通觀眾,似乎沒(méi)人把AI這一點(diǎn)太當(dāng)回事。

要知道,《異人之下》和《傳說(shuō)》里面都對(duì)我們的大腕名角做了AI換臉或AI重繪,但在中國(guó)市場(chǎng)里,光是用了AI這一點(diǎn),就已經(jīng)足以招致不少觀眾的口誅筆伐了。

許多觀眾認(rèn)為,《傳說(shuō)》AI換臉后的成龍面部表情僵硬,效果讓人出戲,甚至在煽情場(chǎng)景中引發(fā)笑場(chǎng)。部分觀眾還認(rèn)為,只要用了AI,別說(shuō)效果好不好,都是一種情懷消費(fèi),缺乏誠(chéng)意。

第三,漢克斯甚至愿意自己死后AI公司繼續(xù)使用他的面部形象,以便其形象能夠在未來(lái)的電影中“永生”。這個(gè)行為甚至引發(fā)了演員們的抗議,抗議他影響了年輕演員的演戲空間。

在剛剛經(jīng)歷過(guò)一場(chǎng)史無(wú)前例的好萊塢大罷工后的美國(guó),影視從業(yè)者和消費(fèi)者對(duì)AI的態(tài)度是怎樣的?或許這里面會(huì)有利益的重新分配,會(huì)有看得見(jiàn)的不滿和抵制,但更多時(shí)候,AI進(jìn)軍影視工業(yè)的腳步,是“潤(rùn)物細(xì)無(wú)聲”的,在不知不覺(jué)之間,已經(jīng)遍地都是。

01 實(shí)時(shí)換臉,給演員打造“逆齡魔鏡”

《此心安處》是好萊塢首批圍繞AI視覺(jué)特效打造的長(zhǎng)篇電影之一。該片利用了視覺(jué)特效公司Metaphysic開(kāi)發(fā)的實(shí)時(shí) AI 面部變換技術(shù),讓湯姆 漢克斯和羅賓 懷特兩位演員跨越了 60 年的年齡跨度。

在拍攝過(guò)程中,劇組人員同時(shí)觀看兩臺(tái)顯示器,一臺(tái)顯示演員的真實(shí)面貌,另一臺(tái)則顯示處理過(guò)后的“逆齡”樣子。

Metaphysic 通過(guò)對(duì)漢克斯和賴特以前電影的畫面,訓(xùn)練定制的機(jī)器學(xué)習(xí)模型,向其喂入了大量的面部運(yùn)動(dòng)、皮膚紋理,和不同光照條件和相機(jī)角度下的外觀數(shù)據(jù)。

因此,這種模型生成的任何面部變換都是即時(shí)的,而無(wú)需傳統(tǒng)長(zhǎng)達(dá)數(shù)月的人工后期制作工序?!洞诵陌蔡帯返闹谱饕曈X(jué)效果總監(jiān) Kevin Baillie 說(shuō):

“看到 Metaphysic 的 AI 生成內(nèi)容完美地集成到現(xiàn)場(chǎng)直播的鏡頭中,真是令人難以置信!演員們甚至可以將這項(xiàng)技術(shù)用作‘青春鏡子’——實(shí)時(shí)測(cè)試年輕時(shí)的自我的表演選擇。這種反饋循環(huán)和年輕的表現(xiàn)對(duì)于實(shí)現(xiàn)真實(shí)、令人愉悅的結(jié)果絕對(duì)是必不可少的?!?/p>

Metaphysic甚至用同樣的技術(shù),主導(dǎo)了一場(chǎng)全程用換臉模型對(duì)外展示的音樂(lè)會(huì)場(chǎng)景。在2022年《美國(guó)達(dá)人秀》(AGT)上,Metaphysic展示了 AI 生成的搖滾巨星貓王,整個(gè)過(guò)程由動(dòng)捕演員的表演和訓(xùn)練的貓王模型實(shí)時(shí)直出,直接打在了電視屏幕上。

回想2023年春天,當(dāng)娛樂(lè)資本論拜訪天工異彩等業(yè)內(nèi)視效巨頭時(shí),普遍采用的換臉技術(shù)都是需要大量的重人力投入,以免中間“穿幫”。當(dāng)時(shí),他們的工作人員引用的案例集中在其效果的完美,和無(wú)縫嵌入生產(chǎn)線的能力上。所有換臉效果都可以在原本的管線中一鍵啟用和禁用,為后期制作提供了很大方便。

然而,恐怕再方便的后期制作,也不如直接就從拍攝片場(chǎng)出成品更簡(jiǎn)單。

Metaphysic表示,以高達(dá)每秒 30 幀的速度流式傳輸 AI 生成的逼真內(nèi)容,并將其映射到現(xiàn)實(shí)世界的場(chǎng)景中,這是面部替換技術(shù)的巨大進(jìn)步,對(duì)于在不久的將來(lái)創(chuàng)建沉浸式 AR/VR、游戲和娛樂(lè)體驗(yàn)至關(guān)重要。

其實(shí),還有一點(diǎn)值得注意的是,這次用的技術(shù)并不是“新”技術(shù),甚至準(zhǔn)確講,跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波。它在原理上更接近早年Deepfake(深度偽造)使用的算法,也就是生成對(duì)抗網(wǎng)絡(luò)(GAN)。這意味著該技術(shù)和國(guó)內(nèi)已經(jīng)在《流浪地球2》《傳說(shuō)》等地用過(guò)的“AI換臉”技術(shù)是同源的,只是經(jīng)過(guò)了Metaphysic公司的二次開(kāi)發(fā)和優(yōu)化。

自2014年以來(lái),GAN在圖像生成、風(fēng)格遷移等領(lǐng)域取得了顯著進(jìn)展,成為Deepfake技術(shù)的核心算法之一。2015年提出的擴(kuò)散模型概念,在2020年后迅速發(fā)展,應(yīng)用于高質(zhì)量的“文生圖”場(chǎng)景。而2017年提出的Transformer則成為大語(yǔ)言模型(如GPT系列)的基礎(chǔ)架構(gòu)。

GAN相當(dāng)于讓兩個(gè)AI分別作為“畫家”和“鑒別者”,一個(gè)畫,一個(gè)分辨好壞,直到“鑒別者”再也分不清哪些是人類作品為止,“畫家”就畫出了符合要求的圖像。因此,這個(gè)技術(shù)在“圖片無(wú)損放大”、“去水印”以及換臉等方面會(huì)非常有效。

《流浪地球 2》視效總監(jiān)徐建曾在知乎分享其技術(shù)路線選型過(guò)程。他指出,當(dāng)時(shí)全世界主流的逆齡換臉?lè)椒ü卜譃槿悺?/p>

Wētā FX為代表的完全電腦生成路線,要演員佩戴動(dòng)捕設(shè)備制作數(shù)字人,然后對(duì)數(shù)字人換臉。工業(yè)光魔為代表的路線需要環(huán)繞攝像機(jī),通過(guò)拍攝紅外鏡頭收集必要數(shù)據(jù),然后僅用電腦生成臉部。這些方法預(yù)算高、國(guó)內(nèi)相關(guān)人才不足,且當(dāng)時(shí)的采集設(shè)備太重,戴著不方便。

在《美國(guó)隊(duì)長(zhǎng)3:內(nèi)戰(zhàn)》中,視效團(tuán)隊(duì)利用小羅伯特·唐尼早期的影視作品、視覺(jué)素材,訓(xùn)練基于 Deepfake 算法的 AI 模型并完成換臉。Deepfake歷史悠久,而且最早引起反響的作品是網(wǎng)友用家用電腦自行訓(xùn)練而成,已經(jīng)證明了它容易上手。

據(jù)徐建介紹,早在《流浪地球 2》開(kāi)拍一年半之前,視效團(tuán)隊(duì)就開(kāi)始了技術(shù)實(shí)驗(yàn),測(cè)試了 5、6 種換臉?lè)椒ê螅曅F(tuán)隊(duì)最終決定采用 Deepfake,最終迭代 500 多萬(wàn)次后,替換實(shí)拍素材。

與以往依賴逐幀操作的Deepfake不同,Metaphysic 的方法通過(guò)分析面部特征點(diǎn),并將其映射到訓(xùn)練過(guò)的年齡段上,從而實(shí)時(shí)生成變臉效果。

這很大程度上同時(shí)得益于該公司在工程能力上的進(jìn)步,以及芯片運(yùn)算能力的大幅度提升。在Deepfake技術(shù)初期的2017年,制作一段幾分鐘的Deepfake視頻可能需要數(shù)小時(shí)甚至數(shù)天的時(shí)間,具體取決于視頻的長(zhǎng)度和所用硬件的性能。

隨著硬件和算法的進(jìn)步,Deepfake生成的效率得到了顯著提高?,F(xiàn)代 GPU 和 TPU 等專用硬件顯著加快了計(jì)算過(guò)程。在算法方面,StyleGAN等改進(jìn)的架構(gòu)將生成時(shí)間縮短到每幀僅幾分鐘,甚至幾秒鐘。當(dāng)工程優(yōu)化不斷進(jìn)行,硬件不斷堆高以后,基于GAN的換臉過(guò)渡到實(shí)時(shí)渲染,也只是時(shí)間問(wèn)題了。

雖說(shuō)是“直出”,但考慮到大銀幕的質(zhì)量要求,在后期處理階段,AI生成的面孔效果還會(huì)進(jìn)一步精細(xì)化,包括去除小瑕疵、調(diào)整面部光影,耳垂、脖子等部位被化妝師稍作“提升”,以確保畫面和真實(shí)面部更吻合。

與此同時(shí),《此心安處》通過(guò)較少的武戲?qū)崿F(xiàn)了“揚(yáng)長(zhǎng)避短”,技術(shù)上可能穿幫的地方在實(shí)際效果中沒(méi)有明顯感知。

《傳說(shuō)》同樣采用了后期再Deepfake的方法,據(jù)導(dǎo)演唐季禮介紹,換臉成龍?jiān)陔娪爸械某鲧R率超過(guò)70%。不過(guò),《傳說(shuō)》挑戰(zhàn)了動(dòng)作戲+白天光源+長(zhǎng)時(shí)間換臉這一最困難的任務(wù),而從成品效果來(lái)看,與國(guó)外的換臉效果還是有著較為明顯的差距,可以說(shuō)勇氣可嘉。

Metaphysic的技術(shù)不僅效果出色,而且顯著降低了成本?!都~約時(shí)報(bào)》的報(bào)道提醒,要讓觀眾相信他們看到的是20多歲的漢克斯和賴特,需要數(shù)百位VFX藝術(shù)家、數(shù)千萬(wàn)美元以及數(shù)月的后期制作工作,大型電影公司通常不會(huì)為《此心安處》這樣的電影花這么多錢。

盡管《此心安處》的制作成本約5000萬(wàn)美元,看起來(lái)有點(diǎn)高,但還不到某些漫威電影預(yù)算的1/4。

02 由不得你不擁抱,AI已經(jīng)在路上

《此心安處》導(dǎo)演澤米吉斯提到,他本可以為每個(gè)角色選擇多位演員,這是以前拍攝影視劇的常見(jiàn)做法。

但這樣做,如果是多人物群像還好說(shuō),在一個(gè)舞臺(tái)劇一樣的地方,觀眾會(huì)迅速發(fā)現(xiàn)人物長(zhǎng)得不像的問(wèn)題。傳統(tǒng)化妝手段可以讓漢克斯顯得年輕十年,但無(wú)法讓他年輕50歲。電腦特效的難題則在于時(shí)間和金錢。

然而AI軟件改變了成本計(jì)算。Metaphysic的技術(shù)只需點(diǎn)擊幾個(gè)鍵,便能生成一個(gè)實(shí)時(shí)數(shù)字人,沒(méi)有六個(gè)月的制作滯后,也不需要巨額資金。

Ed Ulbrich花了30年時(shí)間在傳統(tǒng)視效工業(yè),他的作品包括:《壯志凌云:特立獨(dú)行》、《黑豹》、《復(fù)仇者聯(lián)盟:無(wú)限戰(zhàn)爭(zhēng)》、《自殺小隊(duì)》、《本杰明·巴頓奇案》和《泰坦尼克號(hào)》。他后來(lái)加入Metaphysic負(fù)責(zé)統(tǒng)籌制片和質(zhì)量控制。“質(zhì)量、速度和成本”是他決定轉(zhuǎn)型的關(guān)鍵。

“我的職業(yè)生涯在我眼前閃過(guò),我可以帶上我以前公司的整支團(tuán)隊(duì),用金錢能買到的最好的CGI工具來(lái)工作,卻無(wú)法呈現(xiàn)出我們現(xiàn)在展示的效果。而這只需毫秒完成。是時(shí)候告別CGI了。在現(xiàn)今世界,我怎么能良心無(wú)愧地繼續(xù)用馬、車、石頭和棍棒來(lái)制作影像呢?”

當(dāng)然,技術(shù)再好,要想投入使用,最根本的也離不開(kāi)演員本人的支持。

湯姆·漢克斯年逾六旬,但他在電影中需要扮演年輕的自己。他對(duì)延長(zhǎng)自己的演藝生涯表示過(guò)強(qiáng)烈的興趣。

“如果我能扮演比我年輕的人物——我總是會(huì)讀到一些我很想演的角色,然后想到,哦,天哪,我都68了,我無(wú)法演伊阿古,因?yàn)樗?0多歲。但如果有機(jī)會(huì),我會(huì)毫不猶豫地去演?!?/p>

也許不是巧合,在演藝生涯同樣獲得了巨大成功的成龍,同樣對(duì)換臉技術(shù)高度認(rèn)可和支持,這才有了《傳說(shuō)》里面的合作。

成龍?jiān)诎l(fā)布會(huì)上感慨,雖然自己無(wú)法真正回到年輕,但通過(guò)電影技術(shù)實(shí)現(xiàn)了這一夢(mèng)想。他甚至賦詩(shī)一首:“青絲白發(fā)一瞬間,年華老去向誰(shuí)言;春風(fēng)若有憐花意,可否許我再少年!”

換臉技術(shù)不僅幫助年長(zhǎng)演員,同時(shí)減少了化妝、特效的負(fù)擔(dān),極大拓展了演員的戲路,甚至在他們過(guò)世后也“持續(xù)演出”。

當(dāng)漢克斯看到實(shí)時(shí)生成的“魔鏡”效果時(shí),他被徹底征服了,描述它為“跨越時(shí)空的觀影體驗(yàn)”。他甚至愿意自己死后AI公司繼續(xù)使用他的面部形象,以便其形象能夠在未來(lái)的電影中“永生”。

Metaphysic表示,它與好萊塢主要人才機(jī)構(gòu)CAA合作,幫助明星掌控自己數(shù)據(jù)集的使用權(quán)。不過(guò)技術(shù)廠家的承諾,也不能不假思索地全部采信。

演員Dan Dewhirst于2021年與科技公司 Synthesia 簽署了一份合同,成為首批將肖像制作成 AI 化身的演員之一。對(duì)方提供了一份確認(rèn)書,規(guī)定頭像不能用于非法或令人討厭的目的。

然而,兩年后,他收到了一個(gè)指向虛假 CNN 報(bào)道的鏈接,該報(bào)道顯示他冒充電視新聞主播,傳播委內(nèi)瑞拉馬杜羅(Nicolas Maduro)政府推動(dòng)的假新聞。他的頭像告訴觀眾該國(guó)“經(jīng)濟(jì)狀況良好”,還有一系列其他不準(zhǔn)確和有爭(zhēng)議的敘述。

上個(gè)月,Dewhirst通過(guò)英國(guó)演員工會(huì) Equity 發(fā)表了一份關(guān)于他經(jīng)歷的聲明,以警告其他人不要簽署 AI 頭像合同。

漢克斯說(shuō),他其實(shí)也產(chǎn)生了一些恐懼心理。

“他們可以在未來(lái)122年拍攝以我為主角的電影,如果他們想的話,他們是否應(yīng)該被法律允許這么做?那我的遺產(chǎn)怎么辦?”

但他沒(méi)有被嚇倒,相反,他似乎已準(zhǔn)備好簽署文件?!皝?lái)吧,讓我們現(xiàn)在就把協(xié)議擬定出來(lái)?!?/p>

當(dāng)然,其他人就不一定這么想了。視智未來(lái)提到過(guò),60歲的尼古拉斯·凱奇(Nicolas Cage)在接受《紐約客》采訪時(shí)感到恐懼。“他們必須把我放進(jìn)電腦里,匹配我的眼睛顏色和變化——我不知道。他們只是會(huì)通過(guò)數(shù)字AI偷我的身體,然后隨心所欲地利用它?!?/p>

這只是過(guò)去一年多來(lái),花樣百出的抗議AI的影視人的其中一例。

在英國(guó),ITV在10月初發(fā)布了一則招聘啟事,尋找一名“生成式AI創(chuàng)新負(fù)責(zé)人”,稱AI的目的是提升生產(chǎn)效率,無(wú)意替代人類創(chuàng)作者。

對(duì)此,英劇《德里女孩》的編劇Lisa McGee和《大男孩》編劇Jack Rooke等多位編劇都集體抗議。英劇編劇工會(huì)也對(duì)此表示擔(dān)憂,認(rèn)為應(yīng)該將資金用于雇傭人類編劇和創(chuàng)意人才,而不是購(gòu)買AI工具?,F(xiàn)在也有不少年輕演員在抗議湯姆·漢克斯的AI化行為,認(rèn)為這無(wú)疑阻礙了年輕演員的演戲機(jī)會(huì)。

《傳說(shuō)》在國(guó)內(nèi)宣發(fā)期間高調(diào)說(shuō)了AI作為賣點(diǎn),此事也引發(fā)了一些觀眾的逆反心理,觀眾們非常積極地給換臉結(jié)果中的“生硬”等問(wèn)題挑刺。其實(shí)在好萊塢,如果公開(kāi)說(shuō)自己用了AI技術(shù),也同樣有一定風(fēng)險(xiǎn)觸動(dòng)到從業(yè)者的逆鱗。

就連漢克斯自己也在采訪中承認(rèn),如果他可以一直扮演年輕角色,這就會(huì)讓20多歲的年輕演員錯(cuò)失扮演的機(jī)會(huì)。

好萊塢的歷史可以被描述為一系列技術(shù)飛躍的過(guò)程,從相機(jī)的發(fā)明開(kāi)始,每次新技術(shù)的出現(xiàn)都會(huì)導(dǎo)致職位的流失和創(chuàng)造,整個(gè)行業(yè)會(huì)重新組織。然而,過(guò)去的技術(shù)飛躍往往影響范圍較?。杭彝ヒ曨l改變了電影發(fā)行,數(shù)字相機(jī)改變了電影制作,CGI改變了視覺(jué)效果。

“不同的是,這次AI有潛力擾亂我們生產(chǎn)線中的多個(gè)環(huán)節(jié),感覺(jué)像是整個(gè)行業(yè)的顛覆者?!盧evelations Entertainment的首席執(zhí)行官、美國(guó)制片人協(xié)會(huì)董事會(huì)成員Lori McCreary說(shuō),她與摩根·弗里曼共同創(chuàng)立了這家制片公司。

AI進(jìn)化得如此之快,且好萊塢許多人對(duì)其了解有限,以至于很難預(yù)測(cè)它最終在哪些方面最具優(yōu)勢(shì),又會(huì)首先打擊電影制作的哪些環(huán)節(jié)。美國(guó)制片人協(xié)會(huì)的首席執(zhí)行官Susan Sprung表示:

“每個(gè)人都感到緊張,但沒(méi)有人確切知道該擔(dān)心什么?!?/p>

只不過(guò),到目前為止,AI在好萊塢的應(yīng)用實(shí)際比大規(guī)模顛覆和失業(yè)的噩夢(mèng)場(chǎng)景,要溫和、漸進(jìn)得多。被宣傳為行業(yè)地震的變化并沒(méi)有發(fā)生,但改變更像是緩慢滲入土壤當(dāng)中一樣。

Runway的CEO Cristóbal Valenzuela說(shuō),

“今天好萊塢有太多人以為只要輸入‘電影’然后按回車鍵,你就能得到一部電影。一旦你開(kāi)始使用它,你會(huì)明白:‘哦,實(shí)際上它還沒(méi)有那么好用,滿是缺陷,根本不能真正達(dá)到我的預(yù)期。’”

《紐約時(shí)報(bào)》發(fā)現(xiàn),盡管電影行業(yè)中AI樂(lè)觀主義者不在少數(shù),他們往往不愿公開(kāi)表達(dá)這種觀點(diǎn),擔(dān)心被認(rèn)為是在偏袒機(jī)器,或顯得鼓勵(lì)同行失業(yè)。有時(shí),一些熱心的早期使用者安排了采訪,卻在最后一刻因上司的謹(jǐn)慎而取消。

當(dāng)前影視工業(yè)的AI應(yīng)用,就像《此心安處》中的AI——隱形卻無(wú)處不在,充滿整個(gè)銀幕。只要你不說(shuō),我不提,觀眾也沒(méi)感覺(jué)到出戲,那大家還是好朋友。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

同樣是AI換臉,為何只罵成龍不罵湯姆·漢克斯?

AI已經(jīng)在路上。

文 | 娛樂(lè)資本論 James

在最近的北美票房中,《阿甘正傳》的原班人馬打造,湯姆·漢克斯主演的電影《此心安處》(Here)于11月1日首映,首周末票房約為500萬(wàn)美元,排名第5位。表現(xiàn)雖然不算突出,但也有一些值得一提的亮點(diǎn)。

首先,該電影講的是在新澤西州的一個(gè)客廳發(fā)生的一個(gè)阿甘般的傳統(tǒng)白男一生的故事,觀眾比藍(lán)營(yíng)評(píng)論家更喜歡這部電影。

其次,這部電影是一部重度使用了AI換臉技術(shù)的影片。但在美國(guó)市場(chǎng),不管是專業(yè)評(píng)論員,還是普通觀眾,似乎沒(méi)人把AI這一點(diǎn)太當(dāng)回事。

要知道,《異人之下》和《傳說(shuō)》里面都對(duì)我們的大腕名角做了AI換臉或AI重繪,但在中國(guó)市場(chǎng)里,光是用了AI這一點(diǎn),就已經(jīng)足以招致不少觀眾的口誅筆伐了。

許多觀眾認(rèn)為,《傳說(shuō)》AI換臉后的成龍面部表情僵硬,效果讓人出戲,甚至在煽情場(chǎng)景中引發(fā)笑場(chǎng)。部分觀眾還認(rèn)為,只要用了AI,別說(shuō)效果好不好,都是一種情懷消費(fèi),缺乏誠(chéng)意。

第三,漢克斯甚至愿意自己死后AI公司繼續(xù)使用他的面部形象,以便其形象能夠在未來(lái)的電影中“永生”。這個(gè)行為甚至引發(fā)了演員們的抗議,抗議他影響了年輕演員的演戲空間。

在剛剛經(jīng)歷過(guò)一場(chǎng)史無(wú)前例的好萊塢大罷工后的美國(guó),影視從業(yè)者和消費(fèi)者對(duì)AI的態(tài)度是怎樣的?或許這里面會(huì)有利益的重新分配,會(huì)有看得見(jiàn)的不滿和抵制,但更多時(shí)候,AI進(jìn)軍影視工業(yè)的腳步,是“潤(rùn)物細(xì)無(wú)聲”的,在不知不覺(jué)之間,已經(jīng)遍地都是。

01 實(shí)時(shí)換臉,給演員打造“逆齡魔鏡”

《此心安處》是好萊塢首批圍繞AI視覺(jué)特效打造的長(zhǎng)篇電影之一。該片利用了視覺(jué)特效公司Metaphysic開(kāi)發(fā)的實(shí)時(shí) AI 面部變換技術(shù),讓湯姆 漢克斯和羅賓 懷特兩位演員跨越了 60 年的年齡跨度。

在拍攝過(guò)程中,劇組人員同時(shí)觀看兩臺(tái)顯示器,一臺(tái)顯示演員的真實(shí)面貌,另一臺(tái)則顯示處理過(guò)后的“逆齡”樣子。

Metaphysic 通過(guò)對(duì)漢克斯和賴特以前電影的畫面,訓(xùn)練定制的機(jī)器學(xué)習(xí)模型,向其喂入了大量的面部運(yùn)動(dòng)、皮膚紋理,和不同光照條件和相機(jī)角度下的外觀數(shù)據(jù)。

因此,這種模型生成的任何面部變換都是即時(shí)的,而無(wú)需傳統(tǒng)長(zhǎng)達(dá)數(shù)月的人工后期制作工序。《此心安處》的制作視覺(jué)效果總監(jiān) Kevin Baillie 說(shuō):

“看到 Metaphysic 的 AI 生成內(nèi)容完美地集成到現(xiàn)場(chǎng)直播的鏡頭中,真是令人難以置信!演員們甚至可以將這項(xiàng)技術(shù)用作‘青春鏡子’——實(shí)時(shí)測(cè)試年輕時(shí)的自我的表演選擇。這種反饋循環(huán)和年輕的表現(xiàn)對(duì)于實(shí)現(xiàn)真實(shí)、令人愉悅的結(jié)果絕對(duì)是必不可少的?!?/p>

Metaphysic甚至用同樣的技術(shù),主導(dǎo)了一場(chǎng)全程用換臉模型對(duì)外展示的音樂(lè)會(huì)場(chǎng)景。在2022年《美國(guó)達(dá)人秀》(AGT)上,Metaphysic展示了 AI 生成的搖滾巨星貓王,整個(gè)過(guò)程由動(dòng)捕演員的表演和訓(xùn)練的貓王模型實(shí)時(shí)直出,直接打在了電視屏幕上。

回想2023年春天,當(dāng)娛樂(lè)資本論拜訪天工異彩等業(yè)內(nèi)視效巨頭時(shí),普遍采用的換臉技術(shù)都是需要大量的重人力投入,以免中間“穿幫”。當(dāng)時(shí),他們的工作人員引用的案例集中在其效果的完美,和無(wú)縫嵌入生產(chǎn)線的能力上。所有換臉效果都可以在原本的管線中一鍵啟用和禁用,為后期制作提供了很大方便。

然而,恐怕再方便的后期制作,也不如直接就從拍攝片場(chǎng)出成品更簡(jiǎn)單。

Metaphysic表示,以高達(dá)每秒 30 幀的速度流式傳輸 AI 生成的逼真內(nèi)容,并將其映射到現(xiàn)實(shí)世界的場(chǎng)景中,這是面部替換技術(shù)的巨大進(jìn)步,對(duì)于在不久的將來(lái)創(chuàng)建沉浸式 AR/VR、游戲和娛樂(lè)體驗(yàn)至關(guān)重要。

其實(shí),還有一點(diǎn)值得注意的是,這次用的技術(shù)并不是“新”技術(shù),甚至準(zhǔn)確講,跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波。它在原理上更接近早年Deepfake(深度偽造)使用的算法,也就是生成對(duì)抗網(wǎng)絡(luò)(GAN)。這意味著該技術(shù)和國(guó)內(nèi)已經(jīng)在《流浪地球2》《傳說(shuō)》等地用過(guò)的“AI換臉”技術(shù)是同源的,只是經(jīng)過(guò)了Metaphysic公司的二次開(kāi)發(fā)和優(yōu)化。

自2014年以來(lái),GAN在圖像生成、風(fēng)格遷移等領(lǐng)域取得了顯著進(jìn)展,成為Deepfake技術(shù)的核心算法之一。2015年提出的擴(kuò)散模型概念,在2020年后迅速發(fā)展,應(yīng)用于高質(zhì)量的“文生圖”場(chǎng)景。而2017年提出的Transformer則成為大語(yǔ)言模型(如GPT系列)的基礎(chǔ)架構(gòu)。

GAN相當(dāng)于讓兩個(gè)AI分別作為“畫家”和“鑒別者”,一個(gè)畫,一個(gè)分辨好壞,直到“鑒別者”再也分不清哪些是人類作品為止,“畫家”就畫出了符合要求的圖像。因此,這個(gè)技術(shù)在“圖片無(wú)損放大”、“去水印”以及換臉等方面會(huì)非常有效。

《流浪地球 2》視效總監(jiān)徐建曾在知乎分享其技術(shù)路線選型過(guò)程。他指出,當(dāng)時(shí)全世界主流的逆齡換臉?lè)椒ü卜譃槿悺?/p>

Wētā FX為代表的完全電腦生成路線,要演員佩戴動(dòng)捕設(shè)備制作數(shù)字人,然后對(duì)數(shù)字人換臉。工業(yè)光魔為代表的路線需要環(huán)繞攝像機(jī),通過(guò)拍攝紅外鏡頭收集必要數(shù)據(jù),然后僅用電腦生成臉部。這些方法預(yù)算高、國(guó)內(nèi)相關(guān)人才不足,且當(dāng)時(shí)的采集設(shè)備太重,戴著不方便。

在《美國(guó)隊(duì)長(zhǎng)3:內(nèi)戰(zhàn)》中,視效團(tuán)隊(duì)利用小羅伯特·唐尼早期的影視作品、視覺(jué)素材,訓(xùn)練基于 Deepfake 算法的 AI 模型并完成換臉。Deepfake歷史悠久,而且最早引起反響的作品是網(wǎng)友用家用電腦自行訓(xùn)練而成,已經(jīng)證明了它容易上手。

據(jù)徐建介紹,早在《流浪地球 2》開(kāi)拍一年半之前,視效團(tuán)隊(duì)就開(kāi)始了技術(shù)實(shí)驗(yàn),測(cè)試了 5、6 種換臉?lè)椒ê?,視效團(tuán)隊(duì)最終決定采用 Deepfake,最終迭代 500 多萬(wàn)次后,替換實(shí)拍素材。

與以往依賴逐幀操作的Deepfake不同,Metaphysic 的方法通過(guò)分析面部特征點(diǎn),并將其映射到訓(xùn)練過(guò)的年齡段上,從而實(shí)時(shí)生成變臉效果。

這很大程度上同時(shí)得益于該公司在工程能力上的進(jìn)步,以及芯片運(yùn)算能力的大幅度提升。在Deepfake技術(shù)初期的2017年,制作一段幾分鐘的Deepfake視頻可能需要數(shù)小時(shí)甚至數(shù)天的時(shí)間,具體取決于視頻的長(zhǎng)度和所用硬件的性能。

隨著硬件和算法的進(jìn)步,Deepfake生成的效率得到了顯著提高?,F(xiàn)代 GPU 和 TPU 等專用硬件顯著加快了計(jì)算過(guò)程。在算法方面,StyleGAN等改進(jìn)的架構(gòu)將生成時(shí)間縮短到每幀僅幾分鐘,甚至幾秒鐘。當(dāng)工程優(yōu)化不斷進(jìn)行,硬件不斷堆高以后,基于GAN的換臉過(guò)渡到實(shí)時(shí)渲染,也只是時(shí)間問(wèn)題了。

雖說(shuō)是“直出”,但考慮到大銀幕的質(zhì)量要求,在后期處理階段,AI生成的面孔效果還會(huì)進(jìn)一步精細(xì)化,包括去除小瑕疵、調(diào)整面部光影,耳垂、脖子等部位被化妝師稍作“提升”,以確保畫面和真實(shí)面部更吻合。

與此同時(shí),《此心安處》通過(guò)較少的武戲?qū)崿F(xiàn)了“揚(yáng)長(zhǎng)避短”,技術(shù)上可能穿幫的地方在實(shí)際效果中沒(méi)有明顯感知。

《傳說(shuō)》同樣采用了后期再Deepfake的方法,據(jù)導(dǎo)演唐季禮介紹,換臉成龍?jiān)陔娪爸械某鲧R率超過(guò)70%。不過(guò),《傳說(shuō)》挑戰(zhàn)了動(dòng)作戲+白天光源+長(zhǎng)時(shí)間換臉這一最困難的任務(wù),而從成品效果來(lái)看,與國(guó)外的換臉效果還是有著較為明顯的差距,可以說(shuō)勇氣可嘉。

Metaphysic的技術(shù)不僅效果出色,而且顯著降低了成本?!都~約時(shí)報(bào)》的報(bào)道提醒,要讓觀眾相信他們看到的是20多歲的漢克斯和賴特,需要數(shù)百位VFX藝術(shù)家、數(shù)千萬(wàn)美元以及數(shù)月的后期制作工作,大型電影公司通常不會(huì)為《此心安處》這樣的電影花這么多錢。

盡管《此心安處》的制作成本約5000萬(wàn)美元,看起來(lái)有點(diǎn)高,但還不到某些漫威電影預(yù)算的1/4。

02 由不得你不擁抱,AI已經(jīng)在路上

《此心安處》導(dǎo)演澤米吉斯提到,他本可以為每個(gè)角色選擇多位演員,這是以前拍攝影視劇的常見(jiàn)做法。

但這樣做,如果是多人物群像還好說(shuō),在一個(gè)舞臺(tái)劇一樣的地方,觀眾會(huì)迅速發(fā)現(xiàn)人物長(zhǎng)得不像的問(wèn)題。傳統(tǒng)化妝手段可以讓漢克斯顯得年輕十年,但無(wú)法讓他年輕50歲。電腦特效的難題則在于時(shí)間和金錢。

然而AI軟件改變了成本計(jì)算。Metaphysic的技術(shù)只需點(diǎn)擊幾個(gè)鍵,便能生成一個(gè)實(shí)時(shí)數(shù)字人,沒(méi)有六個(gè)月的制作滯后,也不需要巨額資金。

Ed Ulbrich花了30年時(shí)間在傳統(tǒng)視效工業(yè),他的作品包括:《壯志凌云:特立獨(dú)行》、《黑豹》、《復(fù)仇者聯(lián)盟:無(wú)限戰(zhàn)爭(zhēng)》、《自殺小隊(duì)》、《本杰明·巴頓奇案》和《泰坦尼克號(hào)》。他后來(lái)加入Metaphysic負(fù)責(zé)統(tǒng)籌制片和質(zhì)量控制?!百|(zhì)量、速度和成本”是他決定轉(zhuǎn)型的關(guān)鍵。

“我的職業(yè)生涯在我眼前閃過(guò),我可以帶上我以前公司的整支團(tuán)隊(duì),用金錢能買到的最好的CGI工具來(lái)工作,卻無(wú)法呈現(xiàn)出我們現(xiàn)在展示的效果。而這只需毫秒完成。是時(shí)候告別CGI了。在現(xiàn)今世界,我怎么能良心無(wú)愧地繼續(xù)用馬、車、石頭和棍棒來(lái)制作影像呢?”

當(dāng)然,技術(shù)再好,要想投入使用,最根本的也離不開(kāi)演員本人的支持。

湯姆·漢克斯年逾六旬,但他在電影中需要扮演年輕的自己。他對(duì)延長(zhǎng)自己的演藝生涯表示過(guò)強(qiáng)烈的興趣。

“如果我能扮演比我年輕的人物——我總是會(huì)讀到一些我很想演的角色,然后想到,哦,天哪,我都68了,我無(wú)法演伊阿古,因?yàn)樗?0多歲。但如果有機(jī)會(huì),我會(huì)毫不猶豫地去演?!?/p>

也許不是巧合,在演藝生涯同樣獲得了巨大成功的成龍,同樣對(duì)換臉技術(shù)高度認(rèn)可和支持,這才有了《傳說(shuō)》里面的合作。

成龍?jiān)诎l(fā)布會(huì)上感慨,雖然自己無(wú)法真正回到年輕,但通過(guò)電影技術(shù)實(shí)現(xiàn)了這一夢(mèng)想。他甚至賦詩(shī)一首:“青絲白發(fā)一瞬間,年華老去向誰(shuí)言;春風(fēng)若有憐花意,可否許我再少年!”

換臉技術(shù)不僅幫助年長(zhǎng)演員,同時(shí)減少了化妝、特效的負(fù)擔(dān),極大拓展了演員的戲路,甚至在他們過(guò)世后也“持續(xù)演出”。

當(dāng)漢克斯看到實(shí)時(shí)生成的“魔鏡”效果時(shí),他被徹底征服了,描述它為“跨越時(shí)空的觀影體驗(yàn)”。他甚至愿意自己死后AI公司繼續(xù)使用他的面部形象,以便其形象能夠在未來(lái)的電影中“永生”。

Metaphysic表示,它與好萊塢主要人才機(jī)構(gòu)CAA合作,幫助明星掌控自己數(shù)據(jù)集的使用權(quán)。不過(guò)技術(shù)廠家的承諾,也不能不假思索地全部采信。

演員Dan Dewhirst于2021年與科技公司 Synthesia 簽署了一份合同,成為首批將肖像制作成 AI 化身的演員之一。對(duì)方提供了一份確認(rèn)書,規(guī)定頭像不能用于非法或令人討厭的目的。

然而,兩年后,他收到了一個(gè)指向虛假 CNN 報(bào)道的鏈接,該報(bào)道顯示他冒充電視新聞主播,傳播委內(nèi)瑞拉馬杜羅(Nicolas Maduro)政府推動(dòng)的假新聞。他的頭像告訴觀眾該國(guó)“經(jīng)濟(jì)狀況良好”,還有一系列其他不準(zhǔn)確和有爭(zhēng)議的敘述。

上個(gè)月,Dewhirst通過(guò)英國(guó)演員工會(huì) Equity 發(fā)表了一份關(guān)于他經(jīng)歷的聲明,以警告其他人不要簽署 AI 頭像合同。

漢克斯說(shuō),他其實(shí)也產(chǎn)生了一些恐懼心理。

“他們可以在未來(lái)122年拍攝以我為主角的電影,如果他們想的話,他們是否應(yīng)該被法律允許這么做?那我的遺產(chǎn)怎么辦?”

但他沒(méi)有被嚇倒,相反,他似乎已準(zhǔn)備好簽署文件?!皝?lái)吧,讓我們現(xiàn)在就把協(xié)議擬定出來(lái)?!?/p>

當(dāng)然,其他人就不一定這么想了。視智未來(lái)提到過(guò),60歲的尼古拉斯·凱奇(Nicolas Cage)在接受《紐約客》采訪時(shí)感到恐懼?!八麄儽仨毎盐曳胚M(jìn)電腦里,匹配我的眼睛顏色和變化——我不知道。他們只是會(huì)通過(guò)數(shù)字AI偷我的身體,然后隨心所欲地利用它?!?/p>

這只是過(guò)去一年多來(lái),花樣百出的抗議AI的影視人的其中一例。

在英國(guó),ITV在10月初發(fā)布了一則招聘啟事,尋找一名“生成式AI創(chuàng)新負(fù)責(zé)人”,稱AI的目的是提升生產(chǎn)效率,無(wú)意替代人類創(chuàng)作者。

對(duì)此,英劇《德里女孩》的編劇Lisa McGee和《大男孩》編劇Jack Rooke等多位編劇都集體抗議。英劇編劇工會(huì)也對(duì)此表示擔(dān)憂,認(rèn)為應(yīng)該將資金用于雇傭人類編劇和創(chuàng)意人才,而不是購(gòu)買AI工具。現(xiàn)在也有不少年輕演員在抗議湯姆·漢克斯的AI化行為,認(rèn)為這無(wú)疑阻礙了年輕演員的演戲機(jī)會(huì)。

《傳說(shuō)》在國(guó)內(nèi)宣發(fā)期間高調(diào)說(shuō)了AI作為賣點(diǎn),此事也引發(fā)了一些觀眾的逆反心理,觀眾們非常積極地給換臉結(jié)果中的“生硬”等問(wèn)題挑刺。其實(shí)在好萊塢,如果公開(kāi)說(shuō)自己用了AI技術(shù),也同樣有一定風(fēng)險(xiǎn)觸動(dòng)到從業(yè)者的逆鱗。

就連漢克斯自己也在采訪中承認(rèn),如果他可以一直扮演年輕角色,這就會(huì)讓20多歲的年輕演員錯(cuò)失扮演的機(jī)會(huì)。

好萊塢的歷史可以被描述為一系列技術(shù)飛躍的過(guò)程,從相機(jī)的發(fā)明開(kāi)始,每次新技術(shù)的出現(xiàn)都會(huì)導(dǎo)致職位的流失和創(chuàng)造,整個(gè)行業(yè)會(huì)重新組織。然而,過(guò)去的技術(shù)飛躍往往影響范圍較?。杭彝ヒ曨l改變了電影發(fā)行,數(shù)字相機(jī)改變了電影制作,CGI改變了視覺(jué)效果。

“不同的是,這次AI有潛力擾亂我們生產(chǎn)線中的多個(gè)環(huán)節(jié),感覺(jué)像是整個(gè)行業(yè)的顛覆者?!盧evelations Entertainment的首席執(zhí)行官、美國(guó)制片人協(xié)會(huì)董事會(huì)成員Lori McCreary說(shuō),她與摩根·弗里曼共同創(chuàng)立了這家制片公司。

AI進(jìn)化得如此之快,且好萊塢許多人對(duì)其了解有限,以至于很難預(yù)測(cè)它最終在哪些方面最具優(yōu)勢(shì),又會(huì)首先打擊電影制作的哪些環(huán)節(jié)。美國(guó)制片人協(xié)會(huì)的首席執(zhí)行官Susan Sprung表示:

“每個(gè)人都感到緊張,但沒(méi)有人確切知道該擔(dān)心什么?!?/p>

只不過(guò),到目前為止,AI在好萊塢的應(yīng)用實(shí)際比大規(guī)模顛覆和失業(yè)的噩夢(mèng)場(chǎng)景,要溫和、漸進(jìn)得多。被宣傳為行業(yè)地震的變化并沒(méi)有發(fā)生,但改變更像是緩慢滲入土壤當(dāng)中一樣。

Runway的CEO Cristóbal Valenzuela說(shuō),

“今天好萊塢有太多人以為只要輸入‘電影’然后按回車鍵,你就能得到一部電影。一旦你開(kāi)始使用它,你會(huì)明白:‘哦,實(shí)際上它還沒(méi)有那么好用,滿是缺陷,根本不能真正達(dá)到我的預(yù)期?!?/p>

《紐約時(shí)報(bào)》發(fā)現(xiàn),盡管電影行業(yè)中AI樂(lè)觀主義者不在少數(shù),他們往往不愿公開(kāi)表達(dá)這種觀點(diǎn),擔(dān)心被認(rèn)為是在偏袒機(jī)器,或顯得鼓勵(lì)同行失業(yè)。有時(shí),一些熱心的早期使用者安排了采訪,卻在最后一刻因上司的謹(jǐn)慎而取消。

當(dāng)前影視工業(yè)的AI應(yīng)用,就像《此心安處》中的AI——隱形卻無(wú)處不在,充滿整個(gè)銀幕。只要你不說(shuō),我不提,觀眾也沒(méi)感覺(jué)到出戲,那大家還是好朋友。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。