正在閱讀:

“一夜長(zhǎng)大”的ChatGPT,值得被信任嗎?

掃一掃下載界面新聞APP

“一夜長(zhǎng)大”的ChatGPT,值得被信任嗎?

ChatGPT狂歡背后的“善惡門”。

文| IT時(shí)報(bào)記者 郝俊慧

編輯|王昕 孫妍

短短十天,全球被一波又一波的ChatGPT浪潮“炸暈”了。

無(wú)論是可支持多模態(tài)輸入的ChatGPT 4.0,內(nèi)置ChatGPT 4.0后可以一鍵生成PPT的Office 365,還是雖然不那么令人滿意但也還算能打的文心一言,最終都濃縮為英偉達(dá)創(chuàng)始人CEO黃仁勛在3月21日年度技術(shù)峰會(huì)GTC上連續(xù)強(qiáng)調(diào)七次的那句話——“我們正處在AI的iPhone時(shí)刻”。

然而,當(dāng)絕大多數(shù)人歡呼AIGC(利用人工智能技術(shù)生成內(nèi)容)降低了普通人使用AI的門檻時(shí),擔(dān)憂接踵而來(lái):AI或?qū)?lái)新型網(wǎng)絡(luò)攻擊。

3月21日,中國(guó)產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展聯(lián)盟、《中國(guó)信息安全》雜志、南方日?qǐng)?bào)、中國(guó)網(wǎng)絡(luò)空間新興技術(shù)創(chuàng)新論壇、騰訊安全、騰訊研究院聯(lián)合發(fā)布的《2023產(chǎn)業(yè)互聯(lián)網(wǎng)安全十大趨勢(shì)》提出,以ChatGPT為代表的生成式人工智能技術(shù)進(jìn)步,將會(huì)引發(fā)潛在新型攻擊和內(nèi)容合規(guī)等安全風(fēng)險(xiǎn)。

目前,已有安全團(tuán)隊(duì)發(fā)現(xiàn),網(wǎng)絡(luò)攻擊者開(kāi)始使用ChatGPT創(chuàng)建惡意軟件、暗網(wǎng)站點(diǎn)和其他實(shí)施網(wǎng)絡(luò)攻擊的工具,甚至詐騙團(tuán)伙也開(kāi)始用ChatGPT生成“劇本”,進(jìn)行更有針對(duì)性的精準(zhǔn)詐騙。

ChatGPT版“詐騙劇本”已上線

ChatGPT的橫空出世,讓很多人擔(dān)憂自己會(huì)失業(yè)。生成式人工智能技術(shù)的發(fā)展,讓寫(xiě)論文、寫(xiě)代碼等原本具有一定門檻的人類創(chuàng)作性工作,變成只需輸入的一行文字請(qǐng)求。黃仁勛便認(rèn)為,程序員將成為第一批失業(yè)的職業(yè),ChatGPT讓普通人對(duì)原本復(fù)雜的編碼程序唾手可得。

同時(shí)被拉低的,還有“詐騙的門檻”。騰訊安全策略發(fā)展中心總經(jīng)理呂一平的安全團(tuán)隊(duì)觀察到,已經(jīng)有詐騙分子開(kāi)始利用ChatGPT編寫(xiě)“釣魚(yú)劇本”,這大大提高了騙子實(shí)施精準(zhǔn)詐騙的效率。

安全領(lǐng)域有一個(gè)專用名詞叫“社攻”,也即利用社交關(guān)系攻擊的方式。詐騙分子通過(guò)與被害者聊天,誘導(dǎo)其點(diǎn)擊惡意鏈接,或者下載一些惡意軟件,從而在電腦里“種好木馬”,常見(jiàn)的話術(shù)有:“你孩子在學(xué)校生病了”“你被法院起訴了”“你獲得一筆退款”等。

“為了贏得被騙人的信任,詐騙分子通常有多套溝通劇本,分別扮演警察、老師、客服等角色,原本這些劇本需人工編寫(xiě),且必須具備一定的專業(yè)知識(shí)。比如扮演HR,你要深入了解對(duì)方的工作;扮演保險(xiǎn)公司業(yè)務(wù)員,要對(duì)保險(xiǎn)業(yè)務(wù)有比較清晰的了解……”呂一平告訴《IT時(shí)報(bào)》記者,通過(guò)ChatGPT,編寫(xiě)劇本不再需要有“專業(yè)能力”的騙子,而且“劇本”幾乎瞬間生成,大大提升了行騙的效率,因此,未來(lái)“劇本”里很可能會(huì)出現(xiàn)更多樣化的角色、誘騙手段,形成新的釣魚(yú)攻擊方式。

調(diào)用ChatGPT API?未必合規(guī)

3月初,OpenAI放出ChatGPT API,開(kāi)發(fā)者可以將ChatGPT集成到自家應(yīng)用和服務(wù)的門檻上,構(gòu)建屬于自己的AI聊天機(jī)器人。

但安全專家建議,國(guó)內(nèi)開(kāi)發(fā)者先別急著“沖”,首先要評(píng)估這種應(yīng)用方式是否合規(guī)。隨著《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》的頒布,以及《信息安全技術(shù)個(gè)人信息安全規(guī)范》等行業(yè)標(biāo)準(zhǔn)的實(shí)施,數(shù)據(jù)安全成為企業(yè)構(gòu)建安全體系的重中之重,尤其是對(duì)“出境數(shù)據(jù)”,國(guó)家有明確嚴(yán)格的評(píng)估要求,2022年9月1日,國(guó)家互聯(lián)網(wǎng)信息辦公室公布《數(shù)據(jù)出境安全評(píng)估辦法》正式施行。

“調(diào)用ChatGPT API,意味著要將ChatGPT接入App,但目前ChatGPT所有服務(wù)器全部在國(guó)外,需根據(jù)我國(guó)法律對(duì)出境數(shù)據(jù)進(jìn)行評(píng)估,尤其如果App涉及個(gè)人信息、地理位置等隱私數(shù)據(jù),更要重視合規(guī)性?!眳我黄秸J(rèn)為,數(shù)據(jù)安全隱患是中國(guó)企業(yè)引入ChatGPT時(shí)的最直接風(fēng)險(xiǎn)。

此外,調(diào)試ChatGPT時(shí)輸入的數(shù)據(jù)、代碼,也有同樣風(fēng)險(xiǎn)。據(jù)《IT時(shí)報(bào)》記者了解,目前國(guó)內(nèi)幾家互聯(lián)網(wǎng)大廠都明確要求,員工不得用公司數(shù)據(jù)“喂”ChatGPT。

信任ChatGPT?不能太天真

作為大規(guī)模語(yǔ)言模型,新發(fā)布的ChatGPT4.0展現(xiàn)出比上一代版本更強(qiáng)大的輸入能力和輸出結(jié)果,也出現(xiàn)了更多的“涌現(xiàn)”。所謂涌現(xiàn),是指當(dāng)大模型的參數(shù)規(guī)模超過(guò)某一個(gè)臨界值時(shí),只需給模型提供提示,就可以讓其自動(dòng)執(zhí)行任務(wù),而這種提示既沒(méi)有經(jīng)過(guò)專門訓(xùn)練,也從未被期望過(guò)出現(xiàn),也即會(huì)呈現(xiàn)出強(qiáng)大的“智慧能力”。

但在斯坦福大學(xué)眾多學(xué)者聯(lián)合撰寫(xiě)的文章《On the Opportunities and Risks of Foundation Models(基礎(chǔ)模型的機(jī)會(huì)與風(fēng)險(xiǎn))》中,“涌現(xiàn)”意味著系統(tǒng)的行為是隱式歸納而不是顯式構(gòu)造的,故基礎(chǔ)模型顯得更難以理解,并具有難以預(yù)料的錯(cuò)誤模式。

“一夜長(zhǎng)大”的ChatGPT固然讓人類看到真正強(qiáng)人工智能時(shí)代帶來(lái)的曙光,但同時(shí)也深藏隱憂——它為什么會(huì)如此想?它是真正這么想嗎?正如《流浪地球2》中的MOSS,它的“涌現(xiàn)”究竟從何時(shí)開(kāi)始?誰(shuí)又能控制它?所有一切都指向終極問(wèn)題——AI值得信任嗎?

“至少目前來(lái)看,大規(guī)模語(yǔ)言模型還無(wú)法做到被證偽,如果人們信任它們給出的一些回答,很可能會(huì)引起嚴(yán)重的后果。”安全公司知其安創(chuàng)始人聶君認(rèn)為,ChatGPT使生成高質(zhì)量、高逼真信息的門檻大大降低,而老人、孩子是最容易被高逼真信息困擾或傷害的弱勢(shì)群體,因此一些需要職業(yè)資格認(rèn)定的領(lǐng)域不應(yīng)該輕易使用類ChatGPT產(chǎn)品,比如律師、醫(yī)生等,“國(guó)家今后也很可能會(huì)出臺(tái)一些相應(yīng)的法律規(guī)范?!?/p>

排版/ 季嘉穎

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

“一夜長(zhǎng)大”的ChatGPT,值得被信任嗎?

ChatGPT狂歡背后的“善惡門”。

文| IT時(shí)報(bào)記者 郝俊慧

編輯|王昕 孫妍

短短十天,全球被一波又一波的ChatGPT浪潮“炸暈”了。

無(wú)論是可支持多模態(tài)輸入的ChatGPT 4.0,內(nèi)置ChatGPT 4.0后可以一鍵生成PPT的Office 365,還是雖然不那么令人滿意但也還算能打的文心一言,最終都濃縮為英偉達(dá)創(chuàng)始人CEO黃仁勛在3月21日年度技術(shù)峰會(huì)GTC上連續(xù)強(qiáng)調(diào)七次的那句話——“我們正處在AI的iPhone時(shí)刻”。

然而,當(dāng)絕大多數(shù)人歡呼AIGC(利用人工智能技術(shù)生成內(nèi)容)降低了普通人使用AI的門檻時(shí),擔(dān)憂接踵而來(lái):AI或?qū)?lái)新型網(wǎng)絡(luò)攻擊。

3月21日,中國(guó)產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展聯(lián)盟、《中國(guó)信息安全》雜志、南方日?qǐng)?bào)、中國(guó)網(wǎng)絡(luò)空間新興技術(shù)創(chuàng)新論壇、騰訊安全、騰訊研究院聯(lián)合發(fā)布的《2023產(chǎn)業(yè)互聯(lián)網(wǎng)安全十大趨勢(shì)》提出,以ChatGPT為代表的生成式人工智能技術(shù)進(jìn)步,將會(huì)引發(fā)潛在新型攻擊和內(nèi)容合規(guī)等安全風(fēng)險(xiǎn)。

目前,已有安全團(tuán)隊(duì)發(fā)現(xiàn),網(wǎng)絡(luò)攻擊者開(kāi)始使用ChatGPT創(chuàng)建惡意軟件、暗網(wǎng)站點(diǎn)和其他實(shí)施網(wǎng)絡(luò)攻擊的工具,甚至詐騙團(tuán)伙也開(kāi)始用ChatGPT生成“劇本”,進(jìn)行更有針對(duì)性的精準(zhǔn)詐騙。

ChatGPT版“詐騙劇本”已上線

ChatGPT的橫空出世,讓很多人擔(dān)憂自己會(huì)失業(yè)。生成式人工智能技術(shù)的發(fā)展,讓寫(xiě)論文、寫(xiě)代碼等原本具有一定門檻的人類創(chuàng)作性工作,變成只需輸入的一行文字請(qǐng)求。黃仁勛便認(rèn)為,程序員將成為第一批失業(yè)的職業(yè),ChatGPT讓普通人對(duì)原本復(fù)雜的編碼程序唾手可得。

同時(shí)被拉低的,還有“詐騙的門檻”。騰訊安全策略發(fā)展中心總經(jīng)理呂一平的安全團(tuán)隊(duì)觀察到,已經(jīng)有詐騙分子開(kāi)始利用ChatGPT編寫(xiě)“釣魚(yú)劇本”,這大大提高了騙子實(shí)施精準(zhǔn)詐騙的效率。

安全領(lǐng)域有一個(gè)專用名詞叫“社攻”,也即利用社交關(guān)系攻擊的方式。詐騙分子通過(guò)與被害者聊天,誘導(dǎo)其點(diǎn)擊惡意鏈接,或者下載一些惡意軟件,從而在電腦里“種好木馬”,常見(jiàn)的話術(shù)有:“你孩子在學(xué)校生病了”“你被法院起訴了”“你獲得一筆退款”等。

“為了贏得被騙人的信任,詐騙分子通常有多套溝通劇本,分別扮演警察、老師、客服等角色,原本這些劇本需人工編寫(xiě),且必須具備一定的專業(yè)知識(shí)。比如扮演HR,你要深入了解對(duì)方的工作;扮演保險(xiǎn)公司業(yè)務(wù)員,要對(duì)保險(xiǎn)業(yè)務(wù)有比較清晰的了解……”呂一平告訴《IT時(shí)報(bào)》記者,通過(guò)ChatGPT,編寫(xiě)劇本不再需要有“專業(yè)能力”的騙子,而且“劇本”幾乎瞬間生成,大大提升了行騙的效率,因此,未來(lái)“劇本”里很可能會(huì)出現(xiàn)更多樣化的角色、誘騙手段,形成新的釣魚(yú)攻擊方式。

調(diào)用ChatGPT API?未必合規(guī)

3月初,OpenAI放出ChatGPT API,開(kāi)發(fā)者可以將ChatGPT集成到自家應(yīng)用和服務(wù)的門檻上,構(gòu)建屬于自己的AI聊天機(jī)器人。

但安全專家建議,國(guó)內(nèi)開(kāi)發(fā)者先別急著“沖”,首先要評(píng)估這種應(yīng)用方式是否合規(guī)。隨著《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》的頒布,以及《信息安全技術(shù)個(gè)人信息安全規(guī)范》等行業(yè)標(biāo)準(zhǔn)的實(shí)施,數(shù)據(jù)安全成為企業(yè)構(gòu)建安全體系的重中之重,尤其是對(duì)“出境數(shù)據(jù)”,國(guó)家有明確嚴(yán)格的評(píng)估要求,2022年9月1日,國(guó)家互聯(lián)網(wǎng)信息辦公室公布《數(shù)據(jù)出境安全評(píng)估辦法》正式施行。

“調(diào)用ChatGPT API,意味著要將ChatGPT接入App,但目前ChatGPT所有服務(wù)器全部在國(guó)外,需根據(jù)我國(guó)法律對(duì)出境數(shù)據(jù)進(jìn)行評(píng)估,尤其如果App涉及個(gè)人信息、地理位置等隱私數(shù)據(jù),更要重視合規(guī)性?!眳我黄秸J(rèn)為,數(shù)據(jù)安全隱患是中國(guó)企業(yè)引入ChatGPT時(shí)的最直接風(fēng)險(xiǎn)。

此外,調(diào)試ChatGPT時(shí)輸入的數(shù)據(jù)、代碼,也有同樣風(fēng)險(xiǎn)。據(jù)《IT時(shí)報(bào)》記者了解,目前國(guó)內(nèi)幾家互聯(lián)網(wǎng)大廠都明確要求,員工不得用公司數(shù)據(jù)“喂”ChatGPT。

信任ChatGPT?不能太天真

作為大規(guī)模語(yǔ)言模型,新發(fā)布的ChatGPT4.0展現(xiàn)出比上一代版本更強(qiáng)大的輸入能力和輸出結(jié)果,也出現(xiàn)了更多的“涌現(xiàn)”。所謂涌現(xiàn),是指當(dāng)大模型的參數(shù)規(guī)模超過(guò)某一個(gè)臨界值時(shí),只需給模型提供提示,就可以讓其自動(dòng)執(zhí)行任務(wù),而這種提示既沒(méi)有經(jīng)過(guò)專門訓(xùn)練,也從未被期望過(guò)出現(xiàn),也即會(huì)呈現(xiàn)出強(qiáng)大的“智慧能力”。

但在斯坦福大學(xué)眾多學(xué)者聯(lián)合撰寫(xiě)的文章《On the Opportunities and Risks of Foundation Models(基礎(chǔ)模型的機(jī)會(huì)與風(fēng)險(xiǎn))》中,“涌現(xiàn)”意味著系統(tǒng)的行為是隱式歸納而不是顯式構(gòu)造的,故基礎(chǔ)模型顯得更難以理解,并具有難以預(yù)料的錯(cuò)誤模式。

“一夜長(zhǎng)大”的ChatGPT固然讓人類看到真正強(qiáng)人工智能時(shí)代帶來(lái)的曙光,但同時(shí)也深藏隱憂——它為什么會(huì)如此想?它是真正這么想嗎?正如《流浪地球2》中的MOSS,它的“涌現(xiàn)”究竟從何時(shí)開(kāi)始?誰(shuí)又能控制它?所有一切都指向終極問(wèn)題——AI值得信任嗎?

“至少目前來(lái)看,大規(guī)模語(yǔ)言模型還無(wú)法做到被證偽,如果人們信任它們給出的一些回答,很可能會(huì)引起嚴(yán)重的后果?!卑踩局浒矂?chuàng)始人聶君認(rèn)為,ChatGPT使生成高質(zhì)量、高逼真信息的門檻大大降低,而老人、孩子是最容易被高逼真信息困擾或傷害的弱勢(shì)群體,因此一些需要職業(yè)資格認(rèn)定的領(lǐng)域不應(yīng)該輕易使用類ChatGPT產(chǎn)品,比如律師、醫(yī)生等,“國(guó)家今后也很可能會(huì)出臺(tái)一些相應(yīng)的法律規(guī)范?!?/p>

排版/ 季嘉穎

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。