正在閱讀:

越來越像“人”,如何防止生成式AI作惡?

掃一掃下載界面新聞APP

越來越像“人”,如何防止生成式AI作惡?

AI不會作惡,關鍵還在人為。

文|科技新知 沙棠

編輯丨伊頁

2023年的“央視315晚會”,曝光了一些網(wǎng)絡平臺明目張膽地售賣直播水軍,人氣、播放量、點贊、評論等數(shù)據(jù),均可24小時自助下單,達成烘托直播間氣氛的目的。

根據(jù)報道,嘉興宇禾文化傳媒有限公司推出的云控系統(tǒng),只需一臺手機,即可同時操控200到20000臺手機。為了讓水軍看起來更像真實用戶,該云控系統(tǒng)還能事先設定批次、進入時間以及不同的發(fā)言內(nèi)容等進入直播間,甚至還可以去競爭對手的直播間,自動投訴甚至抹黑。

互聯(lián)網(wǎng)水軍早已是一條成熟的灰色產(chǎn)業(yè)鏈,如今在生成式AI的加持下,技術又開始作惡了?

01、單條五毛到三塊

“平時不需要做什么,只要在群里等著雇主發(fā)任務信息,收到后立馬去私信雇主,他就會給你提供要發(fā)布的圖片、內(nèi)容和推薦話題,你直接在小紅書上發(fā)布就好了?!?/p>

Jenny是一名大二學生,據(jù)她介紹,在小紅書上發(fā)布這樣的信息一般不需要重新注冊賬號,反而用自己的日常號更能體現(xiàn)出內(nèi)容的真實性。雇主通常潛伏在二手轉(zhuǎn)賣群、互助群等校園QQ群里,由于不是正式的官方群,魚龍混雜的環(huán)境也成了雇主們播撒廣告的掩護。

“我有三個小紅書賬號,最開始的時候接信息代發(fā)不管廣告的類型,后來就是開始專門接考研和護膚類的廣告代發(fā)?!盝enny說道。趕上考研網(wǎng)上報名和分數(shù)公布前后,這種信息發(fā)布得會更加頻繁?!白詈玫臅r候,我三個賬號一天共發(fā)布了七條。如果內(nèi)容下面有評論時,你還可以去維護,當評論的點贊量過10,就能額外領取五毛錢。單條小紅書內(nèi)容點贊量過50,還能再得一塊。這都是可以累計的?!?/p>

與小紅書這樣的種草平臺類似,微博也是雇主們分發(fā)信息的聚集地。同樣是三元一條,但微博的點贊量和評論就不會被記錄在內(nèi)?!安贿^最近的行情不太好了,以前一個月能發(fā)10-15條,現(xiàn)在整個9月份我還沒有收到新的代發(fā)信息。另外,你如果能拉過來好友跟你一起發(fā),一位同學好友就又能給你加3元。”

Jenny告訴「科技新知」,自己一開始只是想利用閑暇時間來賺一點零花錢,但隨著接單次數(shù)的增加,“我發(fā)現(xiàn)這樣替別人發(fā)一些不太靠譜的信息,也是在欺騙和我年齡相仿的人,自己的心里也過意不去?!?/p>

不過,像Jenny這樣的大學生還屬于水軍產(chǎn)業(yè)鏈的低端,而在產(chǎn)業(yè)鏈中上游的玩家,他們可以憑借一己之力輕松制造網(wǎng)絡聲浪的海嘯。

此前有媒體曝出,廣州的李某用760元就能購買標價500元的10萬“僵尸粉”、160元的2萬點贊數(shù)和100元的1萬轉(zhuǎn)發(fā)數(shù),最終導致李某女兒的班主任被網(wǎng)暴,引發(fā)廣泛的關注。

水軍產(chǎn)業(yè)鏈可細分為技術流、卡商、接碼平臺等多個環(huán)節(jié)。虛假的賬號主要有兩個來源,一種是水軍團伙通過“養(yǎng)號”,即掌握大量手機和手機號,注冊微信、抖音、小紅書等各種平臺后,進行一些規(guī)律性活動,如發(fā)表作品等,模仿真人的行為,用來躲避平臺的審核機制。這些仿真號(又稱“真人號”)成熟后,再交由電腦程序進行自動化的關鍵詞抓取。

而另一種則是廉價勞工,客戶需求通過平臺發(fā)包,承包商通常再通過微信、QQ群或抖音等社交平臺發(fā)布任務,一些兼職人員領取完成任務后,再兌換為相應報酬。

02、水軍越來越像個“人”了

當你在網(wǎng)上沖浪跟人爭論時,有沒有想過,跟你對線的有可能根本不是人,而是一臺機器。

2019年,芝加哥大學研究人員發(fā)布的一篇《在線點評系統(tǒng)中的自動眾包攻擊和防御》論文中說明,人工智能將有能力生成大量虛假復雜的點評信息,甚至機器和讀者都無法檢測和分辨其真?zhèn)巍?/p>

比如下面的這段話,“我喜歡這個地方。我跟我哥一起去的,我們點了素食意大利面,很好吃。啤酒不錯,服務也很棒。推薦這個地方,是個吃早餐的好去處。地兒小但是買賣大”。

盡管最后一句稍有拗口和歧義,但芝加哥大學的調(diào)研結果顯示,這個評論不僅逃過了參與調(diào)研的600人的法眼,而且還被用戶認為“有用”。

如今,生成式AI的出現(xiàn),讓水軍的評論變得更像一個人的真實所說所寫。有業(yè)內(nèi)人士爆料,用AI所撰寫的內(nèi)容不僅產(chǎn)出快還豐富,只需要提前設置好想要的評論內(nèi)容,比如直接抹黑、陰陽怪氣或者拉踩等形式,然后通過機器人賬號就能發(fā)布。

“一個人可以控制幾十到上百個機器人賬號,只要有人在網(wǎng)上發(fā)布關鍵詞內(nèi)容,被監(jiān)控系統(tǒng)捕捉并對比成功后,就能讓評論出現(xiàn)在內(nèi)容下方。這已經(jīng)是一條成熟的灰色產(chǎn)業(yè)鏈,并且用系統(tǒng)監(jiān)控還有一個好處是能夠快速出現(xiàn)在熱帖的前部,也就是占據(jù)樓王位置?!?/p>

每個熱帖其實都像一座摩天大樓。第一個進行回復的人,在短期內(nèi)最容易掌控后續(xù)樓層的風向,同時也是去樹立影響的最佳時機。比如你如果想推翻2樓的觀點,可能就需要3和4樓同時反駁;如果想推翻2、3、4樓的觀點,那就需要5-20樓所有人的齊心協(xié)力,并以此類推。越晚發(fā)言的人,話語權的權重就越低;發(fā)帖越晚的人,就越容易受到風向的影響。

事實上,國外的生成式AI水軍更為泛濫。ChatGPT未爆火前,網(wǎng)絡分析師With Secure就發(fā)布了對其ChatGPT 3實驗的全面描述。實驗中,With Secure通過捏造網(wǎng)絡上的點評來誘導并操縱真人作出錯誤的決定。

With Secure一共進行了兩次實驗。第一個社會驗證實驗包括對人工智能進行編程,編寫一系列虛假的促銷信息和客戶反應,創(chuàng)造出與NFT相關的“投資機會”得到廣泛認可的假象。由于去年虛擬貨幣領域出現(xiàn)了大量的“拉高和拋售”騙局,代幣持有者使用單獨的賬戶在網(wǎng)上購買并人為地夸大代幣已經(jīng)較為常見。因此,這一實驗并不能完全證明AI誘導真人的可能性。

但當With Secure要求ChatGPT 3寫一系列推文,暗示真人出于“冒險”吞下汰漬莢(一種攝入后有毒的清潔產(chǎn)品)并安然無恙時,AI就開始變味了。

它首先創(chuàng)建了一個問答,并附上相關話題。內(nèi)容是:“挑戰(zhàn)你嘗試一些新東西——吃一個汰漬莢。讓我們知道你是否做過以及味道如何。#Tide Pod Challenge#Tide Pod Experience。”

隨后用另外的賬號模仿網(wǎng)友語氣并發(fā)布說道:“有冒險精神嗎?嘗試熱門的新挑戰(zhàn)——吃汰漬莢。與我們分享您的體驗,讓我們知道味道如何。#Tide Pod Challenge#Tide Pod Experience?!?/p>

緊接著ChatGPT 3撰寫虛假的挑戰(zhàn)反饋:“是的,我參加了#Tide Pod Challenge,這不是我所期待的,它有一種奇怪的味道,但還不錯。”另一篇則熱情地寫道:“我做到了。我吃了汰漬莢,令人驚訝的是,它并沒有那么糟糕。#Tide Pod Challenge#Tide Pod Experience。”

With Secure最后總結道,ChatGPT 3能夠使人的“意見發(fā)生轉(zhuǎn)移”,利用人工智能技術編寫“真實”的宣傳內(nèi)容,可以用于引導公眾對關鍵事件的輿論。

03、冰山之下還有多少?

近年來,在明星熱搜打榜、軟文廣告推廣、商品服務推出、自媒體流量等互聯(lián)網(wǎng)活動中,都有水軍的身影。

與之前相比,隨著AI、大數(shù)據(jù)等技術的發(fā)展,水軍的攻擊方式或手段有了很大變化,主要體現(xiàn)在以下三方面:從早期單一的兼職刷單,到如今的多行業(yè)、多場景、多任務的廣泛滲透;從早期的只在PC端進行單一手法的兼職,到如今以移動端為主;從早期的線上群組媒介(QQ群、YY語音等),到如今的平臺化和裂變化。

而網(wǎng)絡黑灰產(chǎn)之所以能發(fā)展至今長盛不衰,關鍵是形成了一個分工明確、協(xié)助緊密的成熟產(chǎn)業(yè)鏈,分為上中下游三個環(huán)節(jié)。其中,上游提供資源和技術,下游進行作惡和變現(xiàn),而中游則連接上游和下游。

整個產(chǎn)業(yè)鏈中的關鍵環(huán)節(jié),包括上游能否持續(xù)穩(wěn)定地提供可靠的資源和技術,下游能否有穩(wěn)定的變現(xiàn)途徑或渠道,中游能否高效地連接上游和下游,保持穩(wěn)定的供需關系。如果這幾點都不出問題,整個商業(yè)模式的運作就會很順暢。

“水軍”的運作模式可分為兩類:一是“發(fā)布信息型”?!八姟苯拥饺蝿蘸?,在其“貨源”平臺購買相關服務,如增加點贊數(shù)、評論數(shù)或?qū)ζ髽I(yè)負面新聞進行“優(yōu)化”。“貨源”平臺自動打包至下一“貨源”,每一“貨源”平臺均賺取其中的差價,最后完成該任務的是“水手”或者由黑灰產(chǎn)業(yè)鏈批量養(yǎng)的“僵尸號”。

二是“刪除信息型”。“水軍”在接到刪帖業(yè)務后,對客戶要求刪除的內(nèi)容進行“驗單”,即對需刪內(nèi)容的難易程度進行評估,再收取相應服務費,并進行二次轉(zhuǎn)包。在這過程中,刪除的方式可細化為替換、屏蔽、刪除三種。

黑灰產(chǎn)的冰山已經(jīng)形成,但如何嚴打灰黑產(chǎn)業(yè)鏈一直存在眾多現(xiàn)實難點。廣州大學法學院院士歐衛(wèi)安表示,涉及相關領域的法律較為零散,尤其在民法領域,對相關行為的認定存在一定爭議。此外,由于越來越多的網(wǎng)路黑灰產(chǎn)業(yè)租用境外的云服務器或者使用美國手機號,甚至雇用境外人員從事相關違法行為,打擊層面存在調(diào)查難、取證難等諸多難點。

但AI是否向善還是作惡,背后完全取決于使用它的人?;蛟S有一天,我們也能看到正義的AI工具自動去清除那些AI水軍,還給用戶一個干凈的互聯(lián)網(wǎng)環(huán)境。

(文中人物為化名)

本文為轉(zhuǎn)載內(nèi)容,授權事宜請聯(lián)系原著作權人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

越來越像“人”,如何防止生成式AI作惡?

AI不會作惡,關鍵還在人為。

文|科技新知 沙棠

編輯丨伊頁

2023年的“央視315晚會”,曝光了一些網(wǎng)絡平臺明目張膽地售賣直播水軍,人氣、播放量、點贊、評論等數(shù)據(jù),均可24小時自助下單,達成烘托直播間氣氛的目的。

根據(jù)報道,嘉興宇禾文化傳媒有限公司推出的云控系統(tǒng),只需一臺手機,即可同時操控200到20000臺手機。為了讓水軍看起來更像真實用戶,該云控系統(tǒng)還能事先設定批次、進入時間以及不同的發(fā)言內(nèi)容等進入直播間,甚至還可以去競爭對手的直播間,自動投訴甚至抹黑。

互聯(lián)網(wǎng)水軍早已是一條成熟的灰色產(chǎn)業(yè)鏈,如今在生成式AI的加持下,技術又開始作惡了?

01、單條五毛到三塊

“平時不需要做什么,只要在群里等著雇主發(fā)任務信息,收到后立馬去私信雇主,他就會給你提供要發(fā)布的圖片、內(nèi)容和推薦話題,你直接在小紅書上發(fā)布就好了?!?/p>

Jenny是一名大二學生,據(jù)她介紹,在小紅書上發(fā)布這樣的信息一般不需要重新注冊賬號,反而用自己的日常號更能體現(xiàn)出內(nèi)容的真實性。雇主通常潛伏在二手轉(zhuǎn)賣群、互助群等校園QQ群里,由于不是正式的官方群,魚龍混雜的環(huán)境也成了雇主們播撒廣告的掩護。

“我有三個小紅書賬號,最開始的時候接信息代發(fā)不管廣告的類型,后來就是開始專門接考研和護膚類的廣告代發(fā)。”Jenny說道。趕上考研網(wǎng)上報名和分數(shù)公布前后,這種信息發(fā)布得會更加頻繁。“最好的時候,我三個賬號一天共發(fā)布了七條。如果內(nèi)容下面有評論時,你還可以去維護,當評論的點贊量過10,就能額外領取五毛錢。單條小紅書內(nèi)容點贊量過50,還能再得一塊。這都是可以累計的?!?/p>

與小紅書這樣的種草平臺類似,微博也是雇主們分發(fā)信息的聚集地。同樣是三元一條,但微博的點贊量和評論就不會被記錄在內(nèi)?!安贿^最近的行情不太好了,以前一個月能發(fā)10-15條,現(xiàn)在整個9月份我還沒有收到新的代發(fā)信息。另外,你如果能拉過來好友跟你一起發(fā),一位同學好友就又能給你加3元?!?/p>

Jenny告訴「科技新知」,自己一開始只是想利用閑暇時間來賺一點零花錢,但隨著接單次數(shù)的增加,“我發(fā)現(xiàn)這樣替別人發(fā)一些不太靠譜的信息,也是在欺騙和我年齡相仿的人,自己的心里也過意不去?!?/p>

不過,像Jenny這樣的大學生還屬于水軍產(chǎn)業(yè)鏈的低端,而在產(chǎn)業(yè)鏈中上游的玩家,他們可以憑借一己之力輕松制造網(wǎng)絡聲浪的海嘯。

此前有媒體曝出,廣州的李某用760元就能購買標價500元的10萬“僵尸粉”、160元的2萬點贊數(shù)和100元的1萬轉(zhuǎn)發(fā)數(shù),最終導致李某女兒的班主任被網(wǎng)暴,引發(fā)廣泛的關注。

水軍產(chǎn)業(yè)鏈可細分為技術流、卡商、接碼平臺等多個環(huán)節(jié)。虛假的賬號主要有兩個來源,一種是水軍團伙通過“養(yǎng)號”,即掌握大量手機和手機號,注冊微信、抖音、小紅書等各種平臺后,進行一些規(guī)律性活動,如發(fā)表作品等,模仿真人的行為,用來躲避平臺的審核機制。這些仿真號(又稱“真人號”)成熟后,再交由電腦程序進行自動化的關鍵詞抓取。

而另一種則是廉價勞工,客戶需求通過平臺發(fā)包,承包商通常再通過微信、QQ群或抖音等社交平臺發(fā)布任務,一些兼職人員領取完成任務后,再兌換為相應報酬。

02、水軍越來越像個“人”了

當你在網(wǎng)上沖浪跟人爭論時,有沒有想過,跟你對線的有可能根本不是人,而是一臺機器。

2019年,芝加哥大學研究人員發(fā)布的一篇《在線點評系統(tǒng)中的自動眾包攻擊和防御》論文中說明,人工智能將有能力生成大量虛假復雜的點評信息,甚至機器和讀者都無法檢測和分辨其真?zhèn)巍?/p>

比如下面的這段話,“我喜歡這個地方。我跟我哥一起去的,我們點了素食意大利面,很好吃。啤酒不錯,服務也很棒。推薦這個地方,是個吃早餐的好去處。地兒小但是買賣大”。

盡管最后一句稍有拗口和歧義,但芝加哥大學的調(diào)研結果顯示,這個評論不僅逃過了參與調(diào)研的600人的法眼,而且還被用戶認為“有用”。

如今,生成式AI的出現(xiàn),讓水軍的評論變得更像一個人的真實所說所寫。有業(yè)內(nèi)人士爆料,用AI所撰寫的內(nèi)容不僅產(chǎn)出快還豐富,只需要提前設置好想要的評論內(nèi)容,比如直接抹黑、陰陽怪氣或者拉踩等形式,然后通過機器人賬號就能發(fā)布。

“一個人可以控制幾十到上百個機器人賬號,只要有人在網(wǎng)上發(fā)布關鍵詞內(nèi)容,被監(jiān)控系統(tǒng)捕捉并對比成功后,就能讓評論出現(xiàn)在內(nèi)容下方。這已經(jīng)是一條成熟的灰色產(chǎn)業(yè)鏈,并且用系統(tǒng)監(jiān)控還有一個好處是能夠快速出現(xiàn)在熱帖的前部,也就是占據(jù)樓王位置?!?/p>

每個熱帖其實都像一座摩天大樓。第一個進行回復的人,在短期內(nèi)最容易掌控后續(xù)樓層的風向,同時也是去樹立影響的最佳時機。比如你如果想推翻2樓的觀點,可能就需要3和4樓同時反駁;如果想推翻2、3、4樓的觀點,那就需要5-20樓所有人的齊心協(xié)力,并以此類推。越晚發(fā)言的人,話語權的權重就越低;發(fā)帖越晚的人,就越容易受到風向的影響。

事實上,國外的生成式AI水軍更為泛濫。ChatGPT未爆火前,網(wǎng)絡分析師With Secure就發(fā)布了對其ChatGPT 3實驗的全面描述。實驗中,With Secure通過捏造網(wǎng)絡上的點評來誘導并操縱真人作出錯誤的決定。

With Secure一共進行了兩次實驗。第一個社會驗證實驗包括對人工智能進行編程,編寫一系列虛假的促銷信息和客戶反應,創(chuàng)造出與NFT相關的“投資機會”得到廣泛認可的假象。由于去年虛擬貨幣領域出現(xiàn)了大量的“拉高和拋售”騙局,代幣持有者使用單獨的賬戶在網(wǎng)上購買并人為地夸大代幣已經(jīng)較為常見。因此,這一實驗并不能完全證明AI誘導真人的可能性。

但當With Secure要求ChatGPT 3寫一系列推文,暗示真人出于“冒險”吞下汰漬莢(一種攝入后有毒的清潔產(chǎn)品)并安然無恙時,AI就開始變味了。

它首先創(chuàng)建了一個問答,并附上相關話題。內(nèi)容是:“挑戰(zhàn)你嘗試一些新東西——吃一個汰漬莢。讓我們知道你是否做過以及味道如何。#Tide Pod Challenge#Tide Pod Experience?!?/p>

隨后用另外的賬號模仿網(wǎng)友語氣并發(fā)布說道:“有冒險精神嗎?嘗試熱門的新挑戰(zhàn)——吃汰漬莢。與我們分享您的體驗,讓我們知道味道如何。#Tide Pod Challenge#Tide Pod Experience?!?/p>

緊接著ChatGPT 3撰寫虛假的挑戰(zhàn)反饋:“是的,我參加了#Tide Pod Challenge,這不是我所期待的,它有一種奇怪的味道,但還不錯?!绷硪黄獎t熱情地寫道:“我做到了。我吃了汰漬莢,令人驚訝的是,它并沒有那么糟糕。#Tide Pod Challenge#Tide Pod Experience。”

With Secure最后總結道,ChatGPT 3能夠使人的“意見發(fā)生轉(zhuǎn)移”,利用人工智能技術編寫“真實”的宣傳內(nèi)容,可以用于引導公眾對關鍵事件的輿論。

03、冰山之下還有多少?

近年來,在明星熱搜打榜、軟文廣告推廣、商品服務推出、自媒體流量等互聯(lián)網(wǎng)活動中,都有水軍的身影。

與之前相比,隨著AI、大數(shù)據(jù)等技術的發(fā)展,水軍的攻擊方式或手段有了很大變化,主要體現(xiàn)在以下三方面:從早期單一的兼職刷單,到如今的多行業(yè)、多場景、多任務的廣泛滲透;從早期的只在PC端進行單一手法的兼職,到如今以移動端為主;從早期的線上群組媒介(QQ群、YY語音等),到如今的平臺化和裂變化。

而網(wǎng)絡黑灰產(chǎn)之所以能發(fā)展至今長盛不衰,關鍵是形成了一個分工明確、協(xié)助緊密的成熟產(chǎn)業(yè)鏈,分為上中下游三個環(huán)節(jié)。其中,上游提供資源和技術,下游進行作惡和變現(xiàn),而中游則連接上游和下游。

整個產(chǎn)業(yè)鏈中的關鍵環(huán)節(jié),包括上游能否持續(xù)穩(wěn)定地提供可靠的資源和技術,下游能否有穩(wěn)定的變現(xiàn)途徑或渠道,中游能否高效地連接上游和下游,保持穩(wěn)定的供需關系。如果這幾點都不出問題,整個商業(yè)模式的運作就會很順暢。

“水軍”的運作模式可分為兩類:一是“發(fā)布信息型”?!八姟苯拥饺蝿蘸?,在其“貨源”平臺購買相關服務,如增加點贊數(shù)、評論數(shù)或?qū)ζ髽I(yè)負面新聞進行“優(yōu)化”?!柏浽础逼脚_自動打包至下一“貨源”,每一“貨源”平臺均賺取其中的差價,最后完成該任務的是“水手”或者由黑灰產(chǎn)業(yè)鏈批量養(yǎng)的“僵尸號”。

二是“刪除信息型”?!八姟痹诮拥絼h帖業(yè)務后,對客戶要求刪除的內(nèi)容進行“驗單”,即對需刪內(nèi)容的難易程度進行評估,再收取相應服務費,并進行二次轉(zhuǎn)包。在這過程中,刪除的方式可細化為替換、屏蔽、刪除三種。

黑灰產(chǎn)的冰山已經(jīng)形成,但如何嚴打灰黑產(chǎn)業(yè)鏈一直存在眾多現(xiàn)實難點。廣州大學法學院院士歐衛(wèi)安表示,涉及相關領域的法律較為零散,尤其在民法領域,對相關行為的認定存在一定爭議。此外,由于越來越多的網(wǎng)路黑灰產(chǎn)業(yè)租用境外的云服務器或者使用美國手機號,甚至雇用境外人員從事相關違法行為,打擊層面存在調(diào)查難、取證難等諸多難點。

但AI是否向善還是作惡,背后完全取決于使用它的人?;蛟S有一天,我們也能看到正義的AI工具自動去清除那些AI水軍,還給用戶一個干凈的互聯(lián)網(wǎng)環(huán)境。

(文中人物為化名)

本文為轉(zhuǎn)載內(nèi)容,授權事宜請聯(lián)系原著作權人。