正在閱讀:

AI“滅絕”人類前,OpenAI已經(jīng)被罵慘了

掃一掃下載界面新聞APP

AI“滅絕”人類前,OpenAI已經(jīng)被罵慘了

“智械危機(jī)”可能會(huì)爆發(fā)。

文|鋅財(cái)經(jīng) 孫鵬越

編輯|大風(fēng)

OpenAI的瓜還在繼續(xù),甚至已經(jīng)上升到人類存亡的歷史高度。

就在上周,頭部AI公司OpenAI和谷歌的13位員工(7名OpenAI前員工和4名現(xiàn)任員工,1名谷歌DeepMind現(xiàn)任員工和1名前員工),公開發(fā)表了一封名為《對(duì)先進(jìn)人工智能發(fā)出警告的權(quán)利》的聯(lián)名信。

在信中,他們用一種極為驚悚的語(yǔ)調(diào)表示:“人工智能可能帶來(lái)的人類滅絕風(fēng)險(xiǎn)”。

大權(quán)獨(dú)攬的山姆·奧特曼

目前,這封公開信已經(jīng)引發(fā)AI世界的大地震。

甚至還獲得了兩位2018年圖靈獎(jiǎng)得主約書亞·本吉奧(Yoshua Bengio)、喬弗里·辛頓(Geoffrey Hinton)的署名支持。

OpenAI和谷歌的員工們?cè)谛胖衅毓獬鲆粋€(gè)非常驚悚的言論:

“AI公司掌握了他們正在研究的人工智能技術(shù)的真正風(fēng)險(xiǎn)所在,但由于他們不需要向政府披露太多信息,因此他們系統(tǒng)的真正能力仍是一個(gè)‘秘密’。如果沒有適當(dāng)?shù)谋O(jiān)管,人工智能系統(tǒng)可以強(qiáng)大到足以造成嚴(yán)重危害,甚至‘滅絕人類’?!?/p>

據(jù)信中所說(shuō),當(dāng)前AI公司已經(jīng)了解到安全性的嚴(yán)重程度,但是在高層內(nèi)部正在產(chǎn)生分歧甚至分裂,大多數(shù)高層認(rèn)為利潤(rùn)至上,小部分高層認(rèn)為安全性更為重要。

不得不說(shuō),這封公開信戳中了OpenAI的內(nèi)部問(wèn)題,甚至隱晦指出去年爆發(fā)的“OpenAI政變危機(jī)”,以及首席科學(xué)家伊利亞·蘇斯克沃(Ilya Sutskever)的下臺(tái)。

去年11月,OpenAI爆發(fā)政變,首席科學(xué)家伊利亞·蘇斯克沃聯(lián)合董事會(huì),將CEO山姆·奧特曼和總裁格雷格·布羅克曼開除。

這場(chǎng)宮斗鬧劇吸引了全世界的目光,最終導(dǎo)致背后金主微軟的下場(chǎng),伊利亞·蘇斯克沃政變失敗,山姆·奧特曼官?gòu)?fù)原職。

據(jù)悉,雙方最大的矛盾點(diǎn),就在于AI安全性。

山姆·奧特曼加速OpenAI商業(yè)化,在不確定安全性是否會(huì)帶來(lái)嚴(yán)重后果的前提下,依然成立GPT應(yīng)用商店,允許私人創(chuàng)建GPT機(jī)器人,開放“灰色機(jī)器人”入駐ChatGPT。

在OpenAI主要負(fù)責(zé)AI監(jiān)督工作的伊利亞·蘇斯克沃,堅(jiān)持AI安全才是OpenAI的核心,而非商業(yè)化,對(duì)山姆·奧特曼大刀闊斧的加速商業(yè)化進(jìn)程非常不滿。

在2023年爆發(fā)過(guò)多次高層會(huì)議爭(zhēng)斗之后,最終實(shí)施政變。

在政變失敗后,山姆·奧特曼徹底將OpenAI變成“一言堂”,解除多位政見不合的董事職位,將伊利亞·蘇斯克沃雪藏半年后開除。

共同創(chuàng)建OpenAI的10年老搭檔黯然出局,但山姆·奧特曼依然沒有收手,甚至將安全部門視為“亂黨黨羽”,也要一一肅清。

伊利亞·蘇斯克沃負(fù)責(zé)的超級(jí)對(duì)齊團(tuán)隊(duì),原本是為能夠智勝和壓倒創(chuàng)造者的超級(jí)智能人工智能的出現(xiàn)做準(zhǔn)備,在伊利亞·蘇斯克沃離開后,團(tuán)隊(duì)直接解散,幾名相關(guān)研究人員離職。

制約OpenAI風(fēng)險(xiǎn)控制團(tuán)隊(duì)解散,負(fù)責(zé)AI安全的“最后一把鎖”被山姆·奧特曼砸碎,只能說(shuō)在他眼里,AI安全并沒有利益和金錢重要。

全球400多位大佬聯(lián)名警告

排除異見,讓關(guān)于“安全性”的秘密保留在公司內(nèi)部。

這個(gè)做法并不能滿足山姆·奧特曼,作為猶太裔的他,多疑是種天性。于是山姆·奧特曼強(qiáng)制性要求員工離職后一周內(nèi)簽署一份極其嚴(yán)格的“離職協(xié)議”:

前OpenAI員工必須遵守的“保密條款”和“不貶低條款”,禁止任何時(shí)間、任何場(chǎng)合批評(píng)OpenAI,而且即使承認(rèn)保密協(xié)議的存在也是違反該協(xié)議的行為;

如果離職員工拒絕簽署,或者違反協(xié)議規(guī)定,他們可能會(huì)失去既得股權(quán),價(jià)值數(shù)百萬(wàn)美元。

同時(shí),這份“離職協(xié)議”的期限是:終生,直至死亡。

不得不說(shuō),作為硅谷最有權(quán)勢(shì)的CEO,山姆奧特曼下手真狠。如果把這份“警惕員工”的保密精神,用在AI安全上,可能就不會(huì)有所謂的人類AI危機(jī)了。

最為“癲”的事情來(lái)了,山姆·奧特曼一邊被外界指責(zé)忽視AI安全,一邊又在國(guó)際AI領(lǐng)域非營(yíng)利組織“人工智能安全中心”(Center for AI Safety)聯(lián)名發(fā)布公開信,表達(dá)了對(duì)一些高級(jí)人工智能所帶來(lái)嚴(yán)重風(fēng)險(xiǎn)的擔(dān)憂。

是的,不止你會(huì)寫信,我也會(huì)。

從規(guī)模上看,“人工智能安全中心”的聯(lián)名信目前已有400多名全球的人工智能領(lǐng)域科學(xué)家、企業(yè)高管等簽署,影響力更為深遠(yuǎn)。

全文只有簡(jiǎn)短的一句話:Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

(減輕人工智能帶來(lái)的人類滅絕風(fēng)險(xiǎn),應(yīng)該與大流行病和核戰(zhàn)爭(zhēng)等其他影響社會(huì)的大規(guī)模風(fēng)險(xiǎn)一同成為全球性的優(yōu)先事項(xiàng)。)

狠話雖然放出去了,但沒人執(zhí)行。

在目前的頭部AI公司中,普遍對(duì)AI安全性并不關(guān)注。OpenAI背后的金主微軟,早在2023年3月就裁撤了整個(gè)人工智能部門內(nèi)道德與社會(huì)團(tuán)隊(duì)。

在互聯(lián)網(wǎng)巨企眼中,市場(chǎng)份額遠(yuǎn)遠(yuǎn)比“虛無(wú)縹緲”的安全性更為關(guān)鍵。

AI會(huì)不會(huì)變成“智械危機(jī)”?

將AI視為“大流行病、核戰(zhàn)爭(zhēng)”同等致命危險(xiǎn),并不是危言聳聽。

在人工智能 (AI) 技術(shù)的飛速發(fā)展下,機(jī)器人逐漸成為我們?nèi)粘I詈凸ぷ髦械闹匾M成部分。以目前AI的發(fā)展情況來(lái)說(shuō),人工智能對(duì)人類造成生存風(fēng)險(xiǎn),至少有兩種可能。

第一種:短期內(nèi)的AI危機(jī),就是在AI智能程度還不夠完善,人類會(huì)利用AI來(lái)顛覆社會(huì)安全。例如,等到AI大模型集體開源的時(shí)候,一些不法之徒利用不加限制的開源代碼,采購(gòu)一些英偉達(dá)GPU、再向微軟租個(gè)云服務(wù)器,大批量制造出“灰色機(jī)器人”。

這些不加節(jié)制、又難以溯源的AI,對(duì)人類社會(huì)的破壞堪比一枚“電子核彈”。

第二種:遠(yuǎn)期的AI危機(jī),則更接近電影、游戲中的“智械危機(jī)”。

當(dāng)AI來(lái)到超級(jí)智能的時(shí)代,由于智力水平可能遠(yuǎn)超過(guò)人類,超級(jí)智能看待人類如同人類看待螞蟻,很多人據(jù)此認(rèn)為超級(jí)智能將與人類爭(zhēng)奪資源,甚至危及到人類的生存。

面對(duì)可能對(duì)人類社會(huì)造成影響的AI危機(jī),谷歌旗下DeepMind公司,在今年初就起草了“機(jī)器人憲法”,以確保AI機(jī)器人不會(huì)傷害人類。

以艾薩克?阿西莫夫的“機(jī)器人三大定律”為前提,“機(jī)器人憲法”明確要求AI機(jī)器人在家庭、辦公室、工廠等環(huán)境場(chǎng)景中,機(jī)器人的行為將受到嚴(yán)格的限制,以確保它們?cè)趫?zhí)行任務(wù)時(shí)不會(huì)對(duì)人類、動(dòng)物、尖銳物體甚至電器造成傷害。

此外,該憲法還強(qiáng)調(diào)了機(jī)器人的自主性和創(chuàng)造性,使得它們能夠在人類無(wú)法勝任的環(huán)境中執(zhí)行任務(wù)。

或許,機(jī)器人憲法給AI時(shí)代開了個(gè)好頭,但面臨日益嚴(yán)峻的AI安全性問(wèn)題上,普通人需要得到的保護(hù)還不夠多。

最起碼,先讓那些互聯(lián)網(wǎng)巨企們知道,AI并不簡(jiǎn)簡(jiǎn)單單是筆賺錢的生意,還有可能成為一枚“電子核彈”。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

OpenAI

  • 帕蘭泰爾和安杜里爾據(jù)悉與科技集團(tuán)聯(lián)手競(jìng)標(biāo)五角大樓國(guó)防合同
  • OpenAI:正在測(cè)試推理模型o3和o3 mini

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

AI“滅絕”人類前,OpenAI已經(jīng)被罵慘了

“智械危機(jī)”可能會(huì)爆發(fā)。

文|鋅財(cái)經(jīng) 孫鵬越

編輯|大風(fēng)

OpenAI的瓜還在繼續(xù),甚至已經(jīng)上升到人類存亡的歷史高度。

就在上周,頭部AI公司OpenAI和谷歌的13位員工(7名OpenAI前員工和4名現(xiàn)任員工,1名谷歌DeepMind現(xiàn)任員工和1名前員工),公開發(fā)表了一封名為《對(duì)先進(jìn)人工智能發(fā)出警告的權(quán)利》的聯(lián)名信。

在信中,他們用一種極為驚悚的語(yǔ)調(diào)表示:“人工智能可能帶來(lái)的人類滅絕風(fēng)險(xiǎn)”。

大權(quán)獨(dú)攬的山姆·奧特曼

目前,這封公開信已經(jīng)引發(fā)AI世界的大地震。

甚至還獲得了兩位2018年圖靈獎(jiǎng)得主約書亞·本吉奧(Yoshua Bengio)、喬弗里·辛頓(Geoffrey Hinton)的署名支持。

OpenAI和谷歌的員工們?cè)谛胖衅毓獬鲆粋€(gè)非常驚悚的言論:

“AI公司掌握了他們正在研究的人工智能技術(shù)的真正風(fēng)險(xiǎn)所在,但由于他們不需要向政府披露太多信息,因此他們系統(tǒng)的真正能力仍是一個(gè)‘秘密’。如果沒有適當(dāng)?shù)谋O(jiān)管,人工智能系統(tǒng)可以強(qiáng)大到足以造成嚴(yán)重危害,甚至‘滅絕人類’?!?/p>

據(jù)信中所說(shuō),當(dāng)前AI公司已經(jīng)了解到安全性的嚴(yán)重程度,但是在高層內(nèi)部正在產(chǎn)生分歧甚至分裂,大多數(shù)高層認(rèn)為利潤(rùn)至上,小部分高層認(rèn)為安全性更為重要。

不得不說(shuō),這封公開信戳中了OpenAI的內(nèi)部問(wèn)題,甚至隱晦指出去年爆發(fā)的“OpenAI政變危機(jī)”,以及首席科學(xué)家伊利亞·蘇斯克沃(Ilya Sutskever)的下臺(tái)。

去年11月,OpenAI爆發(fā)政變,首席科學(xué)家伊利亞·蘇斯克沃聯(lián)合董事會(huì),將CEO山姆·奧特曼和總裁格雷格·布羅克曼開除。

這場(chǎng)宮斗鬧劇吸引了全世界的目光,最終導(dǎo)致背后金主微軟的下場(chǎng),伊利亞·蘇斯克沃政變失敗,山姆·奧特曼官?gòu)?fù)原職。

據(jù)悉,雙方最大的矛盾點(diǎn),就在于AI安全性。

山姆·奧特曼加速OpenAI商業(yè)化,在不確定安全性是否會(huì)帶來(lái)嚴(yán)重后果的前提下,依然成立GPT應(yīng)用商店,允許私人創(chuàng)建GPT機(jī)器人,開放“灰色機(jī)器人”入駐ChatGPT。

在OpenAI主要負(fù)責(zé)AI監(jiān)督工作的伊利亞·蘇斯克沃,堅(jiān)持AI安全才是OpenAI的核心,而非商業(yè)化,對(duì)山姆·奧特曼大刀闊斧的加速商業(yè)化進(jìn)程非常不滿。

在2023年爆發(fā)過(guò)多次高層會(huì)議爭(zhēng)斗之后,最終實(shí)施政變。

在政變失敗后,山姆·奧特曼徹底將OpenAI變成“一言堂”,解除多位政見不合的董事職位,將伊利亞·蘇斯克沃雪藏半年后開除。

共同創(chuàng)建OpenAI的10年老搭檔黯然出局,但山姆·奧特曼依然沒有收手,甚至將安全部門視為“亂黨黨羽”,也要一一肅清。

伊利亞·蘇斯克沃負(fù)責(zé)的超級(jí)對(duì)齊團(tuán)隊(duì),原本是為能夠智勝和壓倒創(chuàng)造者的超級(jí)智能人工智能的出現(xiàn)做準(zhǔn)備,在伊利亞·蘇斯克沃離開后,團(tuán)隊(duì)直接解散,幾名相關(guān)研究人員離職。

制約OpenAI風(fēng)險(xiǎn)控制團(tuán)隊(duì)解散,負(fù)責(zé)AI安全的“最后一把鎖”被山姆·奧特曼砸碎,只能說(shuō)在他眼里,AI安全并沒有利益和金錢重要。

全球400多位大佬聯(lián)名警告

排除異見,讓關(guān)于“安全性”的秘密保留在公司內(nèi)部。

這個(gè)做法并不能滿足山姆·奧特曼,作為猶太裔的他,多疑是種天性。于是山姆·奧特曼強(qiáng)制性要求員工離職后一周內(nèi)簽署一份極其嚴(yán)格的“離職協(xié)議”:

前OpenAI員工必須遵守的“保密條款”和“不貶低條款”,禁止任何時(shí)間、任何場(chǎng)合批評(píng)OpenAI,而且即使承認(rèn)保密協(xié)議的存在也是違反該協(xié)議的行為;

如果離職員工拒絕簽署,或者違反協(xié)議規(guī)定,他們可能會(huì)失去既得股權(quán),價(jià)值數(shù)百萬(wàn)美元。

同時(shí),這份“離職協(xié)議”的期限是:終生,直至死亡。

不得不說(shuō),作為硅谷最有權(quán)勢(shì)的CEO,山姆奧特曼下手真狠。如果把這份“警惕員工”的保密精神,用在AI安全上,可能就不會(huì)有所謂的人類AI危機(jī)了。

最為“癲”的事情來(lái)了,山姆·奧特曼一邊被外界指責(zé)忽視AI安全,一邊又在國(guó)際AI領(lǐng)域非營(yíng)利組織“人工智能安全中心”(Center for AI Safety)聯(lián)名發(fā)布公開信,表達(dá)了對(duì)一些高級(jí)人工智能所帶來(lái)嚴(yán)重風(fēng)險(xiǎn)的擔(dān)憂。

是的,不止你會(huì)寫信,我也會(huì)。

從規(guī)模上看,“人工智能安全中心”的聯(lián)名信目前已有400多名全球的人工智能領(lǐng)域科學(xué)家、企業(yè)高管等簽署,影響力更為深遠(yuǎn)。

全文只有簡(jiǎn)短的一句話:Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

(減輕人工智能帶來(lái)的人類滅絕風(fēng)險(xiǎn),應(yīng)該與大流行病和核戰(zhàn)爭(zhēng)等其他影響社會(huì)的大規(guī)模風(fēng)險(xiǎn)一同成為全球性的優(yōu)先事項(xiàng)。)

狠話雖然放出去了,但沒人執(zhí)行。

在目前的頭部AI公司中,普遍對(duì)AI安全性并不關(guān)注。OpenAI背后的金主微軟,早在2023年3月就裁撤了整個(gè)人工智能部門內(nèi)道德與社會(huì)團(tuán)隊(duì)。

在互聯(lián)網(wǎng)巨企眼中,市場(chǎng)份額遠(yuǎn)遠(yuǎn)比“虛無(wú)縹緲”的安全性更為關(guān)鍵。

AI會(huì)不會(huì)變成“智械危機(jī)”?

將AI視為“大流行病、核戰(zhàn)爭(zhēng)”同等致命危險(xiǎn),并不是危言聳聽。

在人工智能 (AI) 技術(shù)的飛速發(fā)展下,機(jī)器人逐漸成為我們?nèi)粘I詈凸ぷ髦械闹匾M成部分。以目前AI的發(fā)展情況來(lái)說(shuō),人工智能對(duì)人類造成生存風(fēng)險(xiǎn),至少有兩種可能。

第一種:短期內(nèi)的AI危機(jī),就是在AI智能程度還不夠完善,人類會(huì)利用AI來(lái)顛覆社會(huì)安全。例如,等到AI大模型集體開源的時(shí)候,一些不法之徒利用不加限制的開源代碼,采購(gòu)一些英偉達(dá)GPU、再向微軟租個(gè)云服務(wù)器,大批量制造出“灰色機(jī)器人”。

這些不加節(jié)制、又難以溯源的AI,對(duì)人類社會(huì)的破壞堪比一枚“電子核彈”。

第二種:遠(yuǎn)期的AI危機(jī),則更接近電影、游戲中的“智械危機(jī)”。

當(dāng)AI來(lái)到超級(jí)智能的時(shí)代,由于智力水平可能遠(yuǎn)超過(guò)人類,超級(jí)智能看待人類如同人類看待螞蟻,很多人據(jù)此認(rèn)為超級(jí)智能將與人類爭(zhēng)奪資源,甚至危及到人類的生存。

面對(duì)可能對(duì)人類社會(huì)造成影響的AI危機(jī),谷歌旗下DeepMind公司,在今年初就起草了“機(jī)器人憲法”,以確保AI機(jī)器人不會(huì)傷害人類。

以艾薩克?阿西莫夫的“機(jī)器人三大定律”為前提,“機(jī)器人憲法”明確要求AI機(jī)器人在家庭、辦公室、工廠等環(huán)境場(chǎng)景中,機(jī)器人的行為將受到嚴(yán)格的限制,以確保它們?cè)趫?zhí)行任務(wù)時(shí)不會(huì)對(duì)人類、動(dòng)物、尖銳物體甚至電器造成傷害。

此外,該憲法還強(qiáng)調(diào)了機(jī)器人的自主性和創(chuàng)造性,使得它們能夠在人類無(wú)法勝任的環(huán)境中執(zhí)行任務(wù)。

或許,機(jī)器人憲法給AI時(shí)代開了個(gè)好頭,但面臨日益嚴(yán)峻的AI安全性問(wèn)題上,普通人需要得到的保護(hù)還不夠多。

最起碼,先讓那些互聯(lián)網(wǎng)巨企們知道,AI并不簡(jiǎn)簡(jiǎn)單單是筆賺錢的生意,還有可能成為一枚“電子核彈”。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。