文｜烏鴉智能說(shuō)
在 GPT-4o 的發(fā)布會(huì)后，OpenAI迎來(lái)了多輪人員變動(dòng)。
上周，OpenAI 聯(lián)合創(chuàng)始人、首席科學(xué)家 Ilya Sutskever 發(fā)推宣告離職。在離職推特里，Ilya表達(dá)了對(duì)公司與Sam Altman等人的感謝，后者也發(fā)了推回應(yīng)和感謝了 Ilya 的付出。
盡管所有人都知道，雙方存在無(wú)法彌合的裂痕。但至少?gòu)拿髅嫔峡?，雙方還表現(xiàn)得和和氣氣。但隨著超級(jí)對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike的離職，OpenAI團(tuán)隊(duì)的分歧又一次被擺上了臺(tái)面。
在離職的同時(shí)，Jan Leike在推特上公布了離職的原因：過(guò)去幾個(gè)月里，我的團(tuán)隊(duì)一直在逆風(fēng)航行。有時(shí)我們?cè)谟?jì)算上很吃力，完成這項(xiàng)重要的研究變得越來(lái)越困難。
據(jù)《連線》證實(shí)，OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)已經(jīng)解散，余下成員要么辭職，要么將被納入OpenAI的其他研究工作中。
/ 01 / 超級(jí)對(duì)齊團(tuán)隊(duì)出局！
OpenAI去年7月組建了超級(jí)對(duì)齊團(tuán)隊(duì)，由楊·萊克和伊爾亞·蘇茨克維領(lǐng)導(dǎo)，目標(biāo)是在未來(lái)4年內(nèi)解決控制超級(jí)智能AI的核心技術(shù)挑戰(zhàn)。該團(tuán)隊(duì)承諾將獲得該公司20%的計(jì)算資源。超級(jí)對(duì)齊的任務(wù)是確保未來(lái)的通用人工智能與人類的目標(biāo)保持一致，而不是變得流氓。
根據(jù)Jan Leike的說(shuō)法，OpenAI 領(lǐng)導(dǎo)層在公司核心優(yōu)先事項(xiàng)上存在分歧。在Jan Leike看來(lái)，應(yīng)該將更多的帶寬用于為下一代模型做好準(zhǔn)備，包括安全性、監(jiān)控、準(zhǔn)備、安全性、對(duì)抗性魯棒性、（超級(jí)）對(duì)齊、機(jī)密性、社會(huì)影響和相關(guān)主題。而在過(guò)去幾年OpenA的發(fā)展里，安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品。這讓Jan Leike 的團(tuán)隊(duì)在過(guò)去幾個(gè)月里遇到了很多困難,包括計(jì)算資源不足等問(wèn)題,使得關(guān)鍵研究工作變得越來(lái)越困難。
值得注意的是，這也是OpenAI離職員工里第一位明確表達(dá)不滿的人。在Jan Leike公開(kāi)表達(dá)不滿后，大西洋月刊編輯Sigal Samuel發(fā)文詳細(xì)解釋了這次離職風(fēng)波。
此次Ilya Sutskever以及Jan Leike的離職，是去年11月OpenAI 董事會(huì)試圖解雇 Sam Altman風(fēng)波的延續(xù)。自此以來(lái)，該公司至少有 5 名最具安全意識(shí)的員工要么辭職，要么被趕走。
其他注重安全的前員工引用了Jan Leike辭職的推文，并附上了心形表情符號(hào)。其中之一是Leopold Aschenbrenner，他是Ilya的盟友和超級(jí)聯(lián)盟團(tuán)隊(duì)成員，上個(gè)月被 OpenAI 解雇。媒體報(bào)道指出，他和同一團(tuán)隊(duì)的另一位研究員帕維爾·伊茲梅洛夫據(jù)稱因泄露信息而被解雇。但 OpenAI 沒(méi)有提供任何泄露的證據(jù)。
盡管存在明顯分歧，但少有人像Jan Leike那樣公開(kāi)表達(dá)不滿。原因在于，OpenAI 通常會(huì)要求離職員工簽署包含不貶損條款的離職協(xié)議。如果拒絕簽署，他們將失去公司股權(quán)，這可能意味著損失數(shù)百萬(wàn)美元。
在該文章發(fā)表一天后，Sam Altman發(fā)推承認(rèn)，該公司的離職文件中有一項(xiàng)關(guān)于離職員工“潛在股權(quán)取消”的條款，但是他們從來(lái)沒(méi)有真的啟用過(guò)這個(gè)條款收回過(guò)任何人的股權(quán)，同時(shí)他不知道協(xié)議中有這條內(nèi)容，公司也正在修改這項(xiàng)條款。
同時(shí)，針對(duì)Jan Leike提到地對(duì)模型安全性的擔(dān)憂，Sam和Grog還各自發(fā)推，意思大同小異：OpenAI在模型安全性上下了很多功夫，也做了很多基礎(chǔ)工作，之后公司還將繼續(xù)與政府和許多利益相關(guān)者在安全方面進(jìn)行合作。
/ 02 / 要發(fā)展，還是要安全？
從本質(zhì)上講，Sam和Ilya的矛盾，最終有效加速主義和超級(jí)“愛(ài)”對(duì)齊的理念沖突。
前者更多把AI看作是生產(chǎn)力進(jìn)步的工具，無(wú)條件地加速技術(shù)創(chuàng)新，而后者將AI看作未來(lái)的數(shù)字生命，因此在通過(guò)超級(jí)對(duì)齊為他注入「對(duì)人類的愛(ài)」之前，必須要拋棄有效加速主義的發(fā)展策略。
在去年11月那場(chǎng)風(fēng)波里，一個(gè)普遍的看法是，Ilya看到了內(nèi)部名為Q （發(fā)音為Q-Star）*的下一代AI模型，過(guò)于強(qiáng)大和先進(jìn)，可能會(huì)威脅人類，才有了后來(lái)Ilya與Sam的路線矛盾。
隨著OpenAI管理層的矛盾再次被公開(kāi)，又一次引發(fā)了關(guān)于AI到底是要發(fā)展，還是要安全的路線之爭(zhēng)。
Microsoft AI新任CEO穆斯塔法·蘇萊曼曾表示：人類可能需要在未來(lái)5年內(nèi)暫停AI。谷歌 DeepMind 的首席 AGI 科學(xué)家 Shane Legg也曾過(guò)說(shuō)：“如果我有一根魔杖，我會(huì)放慢腳步。“
而還有相當(dāng)一部分人認(rèn)為，現(xiàn)在擔(dān)心AI模型的安全性是杞人憂天，其中就包括了Meta首席科學(xué)家、圖靈獎(jiǎng)得主楊立昆。根據(jù)楊立坤的說(shuō)法，在“緊急弄清楚如何控制比我們聰明得多的人工智能系統(tǒng)”之前，我們需要開(kāi)始設(shè)計(jì)一個(gè)比家貓更聰明的系統(tǒng)。
他還打了個(gè)比方，現(xiàn)在擔(dān)心 AI 安全的人很像1925年有人說(shuō)“我們迫切需要弄清楚如何控制能夠以接近音速跨越大洋、運(yùn)輸數(shù)百名乘客的飛機(jī)。”在發(fā)明渦輪噴氣發(fā)動(dòng)機(jī)之前，在任何飛機(jī)能不間斷飛越大西洋之前，長(zhǎng)途客機(jī)的安全性是難以保證的。然而，現(xiàn)在我們可以安全地乘坐雙引擎噴氣式飛機(jī)飛越半個(gè)地球。
在他看來(lái)，這種對(duì)AI安全性脫離現(xiàn)實(shí)的偏見(jiàn)，是超級(jí)對(duì)齊團(tuán)隊(duì)在OpenAI中被邊緣化的重要原因。“盡管每個(gè)人都意識(shí)到?jīng)]有什么可害怕的，但對(duì)齊團(tuán)隊(duì)一直堅(jiān)持認(rèn)為有。所以，他們被趕了出去?！?/p>
類似的觀點(diǎn)也得到了不少認(rèn)同。Daniel Jeffries 認(rèn)為，超級(jí)對(duì)齊團(tuán)隊(duì)的離開(kāi)不是因?yàn)樗麄兛吹搅怂麄儫o(wú)法應(yīng)對(duì)的超級(jí)先進(jìn)AI，而是因?yàn)镺penAI團(tuán)隊(duì)意識(shí)到這種 AI 短時(shí)間不可能出現(xiàn)，基于AI失控?fù)?dān)憂的投入被看作是一種資源浪費(fèi)。所以，Open AI 的領(lǐng)導(dǎo)層就開(kāi)始縮減給超級(jí)對(duì)齊研究團(tuán)隊(duì)的資源開(kāi)始做一些更實(shí)用的事情，比如用來(lái)構(gòu)建產(chǎn)品改善體驗(yàn)。
可以預(yù)見(jiàn)的是，隨著Ilya Sutskever以及Jan Leike等人的離開(kāi)，OpenAI內(nèi)部關(guān)于這個(gè)事情的爭(zhēng)論可以短暫畫上句號(hào)。但放在AI發(fā)展邏輯上，在人類最終低點(diǎn)AGI之前，這樣的爭(zhēng)論永遠(yuǎn)不會(huì)停止。