界面新聞記者 | 呂雅萱

界面新聞編輯 | 翟瑞民

接通微信視頻電話，你是否會懷疑屏幕對面說話的“好友”實則是個AI換臉的陌生人？

2023年5月8日，內(nèi)蒙古自治區(qū)包頭市公安局微信公眾號“平安包頭”發(fā)布了一起使用“AI換臉技術”進行電信詐騙的案件。福州市某科技公司法人代表郭先生的好友通過微信視頻聯(lián)系到他，稱自己的朋友在外地投標，需要430萬元保證金，想要借用郭先生公司的賬戶走賬，并聲稱已經(jīng)把錢打到郭先生的賬戶上。

基于視頻聊天的信任，郭先生沒有核實錢是否到賬，就分兩筆把430萬元給對方轉賬過去。事后，郭先生撥打好友電話，對方說沒有這回事，郭先生才意識到遇上了“高端”騙局，騙子通過智能AI換臉技術，佯裝成好友對他實施了詐騙。目前，330多萬元已被緊急止付，剩下93.16萬元正在追繳中。

ChatGPT的走紅，引發(fā)了新一輪對生成式AI技術的討論熱潮。一些人開始利用生成式AI技術牟利，甚至實施違法犯罪行為。針對上述詐騙案件，業(yè)內(nèi)人士分析，詐騙團伙可能盜用了郭先生好友的微信號，并掌握了其朋友的圖片和音視頻等信息，以及對話風格等，以用來訓練AI模型，成功實施了詐騙。

浙江大學網(wǎng)絡空間安全學院院長任奎2022年4月接受新華社采訪時表示，隨著合成技術應用門檻的進一步降低，合成內(nèi)容已模糊真實與偽造的邊界。專家擔心，科技界針對深度合成技術的識別能力，跑不過“偽造”技術的升級。

“換臉”成本低

打開網(wǎng)購平臺和社交媒體，各類“AI換臉”軟件教程、視頻教學層出不窮，這也為其使用場景的泛化乃至被不法使用提供了便利條件。

界面新聞記者以購買者身份咨詢一位銷售“AI換臉”軟件教程的客服。對方稱，全套軟件和教程分為400元和800元兩檔，后者作為高階版能讓換臉完成度更好。在對方展示的教學視頻中，使用者只需要上傳一張臉部照片，標注出五官位置并調整軟件參數(shù)，一張“新臉”便應用在視頻人物身上?？头Q，換臉后的視頻在各類場景中通過率高，人工審核也難辨真假。

清華大學人工智能研究院基礎理論研究中心主任朱軍此前接受新華社采訪時稱，目前公眾對照片等靜態(tài)信息易被篡改已有所警惕，但對視頻、聲音等動態(tài)信息內(nèi)容仍持有較高信任度。深度合成技術飛速演進，已經(jīng)讓“眼見不再為實”，破解身份核驗的難度會越來越低、耗時將越來越短。

除了生成式AI技術，被打包銷售的個人信息則是AI網(wǎng)絡詐騙中所需投喂的“原料”。

據(jù)報道，合肥警方在2021年抓捕了一個利用AI技術偽造人臉動態(tài)視頻的涉案嫌疑團伙。在嫌疑人的電腦里，警方發(fā)現(xiàn)了十幾個G的公民人臉數(shù)據(jù)，人臉照片和身份證照片分門別類存放在一個個文件夾里。民警介紹，身份證正反面照片、手持身份證照片、自拍照等被稱為一套，成套照片被稱為“料”，出售照片的人被稱為“料商”，這些“料”在網(wǎng)上已轉手多次，而“料”的主人卻毫不知情。

犯罪嫌疑人馬某交代，由于制作簡單，一個視頻價格僅為2至10元，“客戶”往往是成百上千購買，牟利空間巨大。

對于這些公民照片信息的來源，北京京師律師事務所高級合伙人劉宏輝律師對界面新聞說，一些平臺在注冊或登錄時要求用戶上傳人臉或身份證照片，這些個人信息極易被盜取和泄露，進而被犯罪分子利用。對此，在信息隱私極度缺乏的網(wǎng)絡時代，公民自身也要盡量避免在社交媒體上過多暴露個人信息。

法律規(guī)制亟待細化

界面新聞注意到，2022年以來，媒體已報道多起“換臉”詐騙案。比如浙江衢州中級人民法院的一份刑事裁定書披露，2018年7月份開始，張某等人利用已非法獲取的公民個人信息，運用技術手段騙過支付寶人臉識別認證，并使用公民個人信息注冊支付寶賬戶，非法獲利數(shù)萬元。

微信、支付寶等作為換臉詐騙的承載平臺，是否需要在此次事件中擔責？劉宏輝接受界面新聞采訪認為，此案件中平臺并不生產(chǎn)實際內(nèi)容，所以無需承擔責任。但如果有人發(fā)現(xiàn)平臺中存在詐騙行為并舉報，及時做出處理是平臺的責任。

在成為獲利工具的路上，“AI換臉”技術還被應用于直播。近日，某短視頻平臺的一個直播間里，AI換臉后的“楊冪”“迪麗熱巴”等女星正在直播帶貨。此舉引發(fā)了人們關于肖像權的討論。據(jù)稱，這種“AI換臉”直播技術的全套價格為3.5萬元。

劉宏輝對界面新聞表示，在沒有經(jīng)過對方授權情況下，“AI換臉”并運用于商業(yè)直播明顯侵犯了對方的肖像權。而且，用作直播盈利還只是侵犯民事肖像權的問題，如果將其運作于違法事件，那就是刑事犯罪問題。

4月11日，國家互聯(lián)網(wǎng)信息辦公室起草了《生成式人工智能服務管理辦法（征求意見稿）》并向社會公開征求意見，其中對數(shù)據(jù)合規(guī)性、生成內(nèi)容合法性提出進一步要求。

其中提出，提供生成式人工智能產(chǎn)品或服務應當遵守法律法規(guī)的要求，尊重社會公德、公序良俗， 尊重他人合法利益，防止傷害他人身心健康，損害肖像權、名譽權和個人隱私，侵犯知識產(chǎn)權。禁止非法獲取、披露、利用個人信息和隱私、商業(yè)秘密。

中倫律師事務所合伙人陳際紅接受新華社采訪時還指出，目前法律規(guī)定，禁止利用信息技術手段偽造等方式侵害他人的肖像權，但技術如何使用算合理使用，哪些情形下應禁止使用等，沒有具體規(guī)定；收集或收購個人聲紋、照片，使用人臉、指紋、DNA、虹膜等個人生物信息等行為，在哪些范圍內(nèi)構成犯罪、將面臨怎樣的懲罰，需要司法裁判進一步給出明確指引。

多位專家提醒，針對花樣翻新的“變臉”詐騙，公眾要提高防范意識，不輕易提供人臉、指紋等個人生物信息給他人，不過度公開或分享動圖、視頻等；網(wǎng)絡轉賬前要通過電話、視頻等多種溝通渠道核驗對方身份。一旦發(fā)現(xiàn)風險，及時報警求助。