界面新聞記者 | 于浩

界面新聞編輯 | 文姝琪

你的上司給你發(fā)來視頻會議，會議中還有多名財務人員在場。會議中，上司表示要進行機密交易，要求你向某個銀行戶口轉賬。會議中的高管面容、聲音均與真人一致，你會心生疑慮嗎？ 

這是今年年初某跨國公司香港分行職員真實經歷的視頻騙局。據已披露的信息顯示，詐騙者通過公司的YouTube視頻和從其他公開渠道獲取的媒體資料，成功地仿造了英國公司高層管理人員的形象和聲音，再利用Deepfake（深度偽造）技術制作偽冒視頻，造成多人參與視頻會議的效果，然而會議內只有參加的職員一人為“真人”。 

由于會議中詐騙者是以上司身份向被騙職員下達命令，職員也沒有機會與會議參與者進行交流。該職員僅僅被要求做一次簡短的自我介紹，隨后詐騙者便結束會議，在即時通訊軟件上繼續(xù)下達命令。

受騙職員前后轉賬15次，合計共2億港元到5個銀行戶口，其后向總部查詢才得知受騙。因涉案金額巨大，該案也成為香港歷史上損失最慘重的“變臉”案例。

隨著生成式人工智能技術的發(fā)展，通過AI技術換臉換聲的方式來模擬出另一個人的真實外觀已不再困難。這一技術被稱作“深度偽造”，即借助神經網絡技術進行大樣本學習，以機器學習模型將個人的聲音、面部表情及身體動作拼接合成虛假內容的人工智能技術。

界面新聞記者從某些技術開源社區(qū)上以“GAN”等關鍵詞檢索，可輕易得到深度合成相關的技術開源項目。目前在國內主流電商平臺已經對“AI換臉”關鍵詞進行了屏蔽，但是在部分社交平臺上，還是能通過關鍵詞檢索聯系到相關工具的賣家。 

技術的發(fā)展與普及進一步模糊了真實與虛擬的邊界，而這類無法分辨真?zhèn)蔚慕唤绲貛t成為了滋生犯罪行為的溫床。據長期關注AI安全的瑞萊智慧的不完全統(tǒng)計，AI詐騙案件數量在近年來快速增長，僅2023年一年在全國已發(fā)生至少16起。

底層技術已成熟

追本溯源來看，深度偽造相關的技術已十分成熟。 

2014年，由蒙特利爾大學提出的生成對抗網絡（GAN）提高了數據生成的逼真程度，但也大大降低了深度合成的門檻。近年來，除GAN之外，擴散性模型（Diffusion Model）等技術路線也證明了其提升數據生成逼真程度的價值。  

在論文預印本網站arXiv.org搜索“GAN”可得到10694篇相關論文；以“GAN”、“NeRf”、“TTS”等深度合成相關關鍵詞在開源社區(qū)GitHub進行檢索，可得到超12萬個開源項目。 

開源的氛圍加速了技術的交流與突破，但客觀上也使得如AI換臉、擬聲等技術不再神秘。 

界面新聞記者以“AI換臉”為關鍵詞在某視頻平臺搜索，可以很輕易找到相關教程；同時，據在某社交平臺上找到的換臉工具賣家介紹，該工具只需少數照片即可完成視頻的一鍵換臉，而整套工具及教程只需20元。 

日漸降低的使用門檻使得深度偽造技術成為諸多違法犯罪行為的工具。2023年4月，百萬網紅博主“Caro賴賴_”曾發(fā)文稱有不法分子利用換臉技術制作色情視頻，并明碼標價獲取利潤。在小紅書等社交平臺上，也有多位博主發(fā)文稱自己曾被“換臉”至陌生人照片上。 

有業(yè)內人士告訴界面新聞，因為深度偽造制作的材料是個人音頻、圖片、視頻，這些數據越多，訓練出的視頻就越逼真，所以社交媒體上相關數據較多的博主、明星容易成為深度偽造的目標。

《民法典》1019條規(guī)定，未經肖像權人同意，他人不得制作、使用、公開肖像權人的肖像。在《民法典》1020條中則補充規(guī)定，為個人學習、藝術欣賞、課堂教學或者科學研究；為實施新聞報道；國家機關為依法履行職責在必要范圍內制作、使用、公開肖像權人的肖像等情況屬于肖像合理實施。

天元律師事務所合伙人李昀鍇律師解釋稱，《民法典》中關于肖像權合理實施所給出的空間是很窄的，如在網絡上廣為流傳的使用他人肖像的鬼畜作品，實際上被鬼畜者享有追責的權利，只是在大多數實踐中被鬼畜者并未追究。他進一步表示，換臉之后直播、發(fā)貼，都涉嫌侵犯肖像權，如果將生成內容用于色情暴力內容，則可能會涉及刑事犯罪。

因此，李昀鍇律師建議，在發(fā)現侵權情形后，當事人可以通過如時間戳等第三方存證平臺把涉嫌侵權內容通過手機錄屏的方式進行保存，之后無論是向平臺投訴或者通過法院起訴都可以作為有效證據使用；如果涉及刑事責任，則要盡快前往去屬地派出所報案，并保留侵權鏈接供公安調查。

如何辨別真?zhèn)危?/span>

在瑞萊智慧聯合創(chuàng)始人、算法科學家蕭子豪的觀察中，深度偽造的技術門檻在不斷下降?！爸饕蚴沁@些技術被逐漸開源出來，而且變得越來越好用。一些低門檻的開源軟件已經可以來做出質量比較好的視頻?！彼f。

此前在網絡上也曾廣泛流傳的一些辨別真?zhèn)蔚募记?，如觀察對方的牙齒、舌頭、耳朵或者手指是否會隨著人物移動而出現不自然的陰影。在部分場景中，這些技巧確實存在可行性。布局出海短劇的易點天下也在嘗試使用AI換臉技術。易點天下KreadoAI負責人羅曉奇也指出，在手部遮擋臉部的時候，AI產出的內容往往會有很大的瑕疵。

但如果想要追求準確分辨真?zhèn)危@些細節(jié)僅能作為參考。以此前梅西澄清視頻事件為例，有質疑指出原視頻“面部反光不自然”、“未露出牙齒”等特征。但有業(yè)內人士告訴界面新聞，AI可以做到生成清晰的牙齒，這些特征不能作為證據。 

多年與深度偽造技術接觸的蕭子豪則直言，如果對方的技術方案相對精細，那么單純用肉眼去分辨會有些挑戰(zhàn)性。

由于深度合成內容越發(fā)逼真，采用技術手段進行鑒別的解決方案也隨之出現。據業(yè)內人士介紹，常用的方法包括基于偽造內容數據集完成對模型檢測器的訓練、基于幀間不一致性實現對偽造內容的判別等。

據蕭子豪介紹，從技術角度，其辨別思路大致可分為兩種，一種是尋找圖像編輯痕跡，另一類則是判斷行為是否符合常識。

“一般來說這類換臉都會對原先的人臉進行編輯，做動畫的過程中會有類似圖片編輯的操作并且留下痕跡，這類痕跡和真正拍攝時的痕跡時不一樣的，”蕭子豪解釋說。另一類則是檢測視頻中是否會展現出不符合常識的行為，如長時間不眨眼等等。

但由于新型偽造方法層出不窮，反深偽檢測技術也需要持續(xù)更新與迭代優(yōu)化。

技術監(jiān)管尤為重要

正如一枚硬幣的兩面，AI換臉技術一方面可能觸及隱私和倫理的敏感邊界，另一方面卻也為視頻制作、心理療愈等領域帶來了新的可能性。 

在爆火的短劇領域，使用AI換臉技術可以快速將國內短劇中的華人面孔轉變成外國演員的模樣。布局出海短劇的易點天下已經開始嘗試使用AI換臉技術。易點天下社媒營銷經理李佩玉在采訪時表示，如果對質量沒有過高要求，那使用AI進行簡單替換在時間和資金上至少可以降低20%的成本。

同時，業(yè)內也出現了“AI療愈”的嘗試，即利用AI換臉技術將客戶逝去親人的外貌附加在專業(yè)心理咨詢師臉上，隨后與客戶進行視頻聊天，以此提升心理療愈的效果。

如何界定應用技術的邊界是多方關注的焦點，其中服務提供方所扮演的角色尤為重要。

業(yè)務涉及“AI療愈”的超級頭腦創(chuàng)始人張澤偉告訴界面新聞，團隊會事前明確委托人的訴求、與“克隆人”的關系，接單前也會與客戶簽署合同避免產品被用于任何違法違規(guī)的途徑。

這一做法與目前主流的AIGC產品不謀而合。小冰公司曾于去年5月于海外發(fā)布“GPT克隆人計劃”，稱最短只要采集三分鐘數據，即可創(chuàng)造源于本人性格、技能、聲音、外貌的AI克隆人。 

據小冰CEO李笛所說，在使用“GPT克隆人計劃”服務前，使用者需提供本人權屬證明，如是企業(yè)用戶申請則需提供營業(yè)執(zhí)照。同時他強調，該服務并未開放任何API接口，僅可在該平臺內使用，不會存在轉接至社交平臺上的情況，公司內部也會配置技術手段以防范自身服務被用作他處。 

伴隨ChatGPT在國內迅速掀起生成式人工智能浪潮，國內針對AIGC產品的相關監(jiān)管也快速跟進。

《生成式人工智能服務管理暫行辦法》中規(guī)定生成式人工智能服務提供者涉及個人信息的，應當取得個人同意或者符合法律、行政法規(guī)規(guī)定的其他情形；發(fā)現使用者利用生成式人工智能服務從事違法活動的，應當依法依約采取警示、限制功能、暫停或者終止向其提供服務等處置措施，保存有關記錄，并向有關主管部門報告。

李昀鍇律師也指出，當前通過互聯網提供AI服務的應當屬于電子商務范疇，需要按照《電子商務法》、《網絡安全法》履行相應的監(jiān)管義務?！爸辽倨脚_要做到使用主體真實性的核驗，也要做到法律責任的提示；如果發(fā)現侵權內容平臺應該及時采取刪除、下架、屏蔽等相應措施；如果是涉及到刑事犯罪，平臺要主動去進行證據保存，并主動向屬地公安機關報案。”