文｜ Will Douglas Heaven
編譯｜巴比特資訊
近日一份據(jù)稱是由谷歌高級工程師 Luke Sernau 撰寫的泄密備忘錄，大聲說出了硅谷許多人幾周來的心聲：一場開源的自由競爭正在威脅著科技巨頭對人工智能的控制。
新的開源大型語言模型 -- 谷歌的 Bard 或 OpenAI 的 ChatGPT 的替代品，允許研究人員和應(yīng)用開發(fā)人員研究、建立和修改。這些模型是大公司創(chuàng)造的同類 AI 模型的更小、更便宜的版本，性能上（幾乎）與它們相當(dāng)，且是免費(fèi)共享的。
像谷歌這樣的公司 -- 它在上周的年度產(chǎn)品展示會(huì)上透露，它正在將生成式人工智能應(yīng)用于它所擁有的一切，從 Gmail 到照片到地圖 -- 都忙著自己的產(chǎn)品，沒有看到真正的競爭到來，Sernau 寫道：“當(dāng)我們在一直爭吵的時(shí)候，第三方一直在悄悄吃掉我們的午餐。”
在許多方面，這是件好事。更多接觸這些模型的機(jī)會(huì)有助于推動(dòng)創(chuàng)新，也可以幫助抓住缺陷。如果只有幾家巨頭公司為這項(xiàng)技術(shù)把關(guān)或決定它的使用方式，人工智能就不會(huì)茁壯成長。
但這種開源的繁榮是不穩(wěn)定的。大多數(shù)開源版本仍然站在擁有雄厚財(cái)力的大公司所推出的巨型模型的肩膀上。如果 OpenAI 和 Meta 決定關(guān)閉商店，繁榮的小鎮(zhèn)可能會(huì)變成落后之地。
例如，這些模型中有許多是建立在 LLaMA 之上的，LLaMA 是 Meta AI 發(fā)布的一個(gè)開源大型語言模型。其他模型則使用了一個(gè)名為 Pile 的大規(guī)模公共數(shù)據(jù)集，該數(shù)據(jù)集由開源非營利組織 EleutherAI 組建。EleutherAI 之所以存在，只是因?yàn)?OpenAI 的開放性意味著一群編碼員能夠逆向設(shè)計(jì) GPT-3 的制作方法，然后在空閑時(shí)間創(chuàng)建他們自己的。
“Meta AI 在培訓(xùn)和向研究界發(fā)布模型方面做得非常好，”Stella Biderman 說，她是 EleutherAI 的執(zhí)行董事和研究主管，也在咨詢公司 Booz Allen Hamilton 工作。Sernau 在其谷歌備忘錄中強(qiáng)調(diào)了 Meta AI 的關(guān)鍵作用。（谷歌向《麻省理工科技評論》證實(shí)，該備忘錄是由其一名員工撰寫的，但指出它不是一份官方戰(zhàn)略文件）。
這一切都可能改變。由于擔(dān)心競爭，OpenAI 已經(jīng)在扭轉(zhuǎn)其之前的開放政策。而 Meta 可能開始想遏制后起之秀用其開源代碼做不良的事情?！罢f實(shí)話，我覺得現(xiàn)在這樣做（向外界開放代碼）是對的，”Meta AI 的總經(jīng)理 Joelle Pineau 說，“但這也是我們未來五年要采取的策略嗎？我不知道，因?yàn)槿斯ぶ悄艿陌l(fā)展非常之快?！?/p>
如果關(guān)閉權(quán)限的趨勢繼續(xù)下去，那么不僅開源社區(qū)會(huì)被孤立，下一代人工智能的突破也將完全回到世界上最大、最富有的人工智能實(shí)驗(yàn)室手中。
如何制造和使用人工智能的未來正處在一個(gè)十字路口。
開源模型“富礦”
開源軟件已經(jīng)存在了幾十年。它是互聯(lián)網(wǎng)運(yùn)行的基礎(chǔ)。但建立強(qiáng)大模型的成本意味著開源人工智能直到大約一年前才開始騰飛?，F(xiàn)在的它已迅速成為一種財(cái)富。
看看過去幾周的情況就知道了。3 月 25 日，倡導(dǎo)免費(fèi)開放人工智能的初創(chuàng)公司 Hugging Face 發(fā)布了 ChatGPT 的第一個(gè)開源替代品。
Hugging Face 的聊天機(jī)器人 HuggingChat 建立在開源的大型語言模型之上，該模型是在大約 13000 名志愿者的幫助下訓(xùn)練的，并在一個(gè)月前發(fā)布。而 Open Assistant 本身是建立在 Meta 的 LLaMA 之上的。
然后是 StableLM，由 Stability AI 于 3 月 19 日發(fā)布，該公司是熱門文本到圖像模型 Stable Diffusion 的背后公司。3 月 28 日，Stability AI 發(fā)布了 StableVicuna，這是 StableLM 的一個(gè)版本，與 Open Assistant 或 HuggingChat 一樣，為對話而優(yōu)化。（可以把 StableLM 看作是 Stability 對 GPT-4 的回應(yīng)，StableVicuna 則是對 ChatGPT 的回應(yīng)）。
這些新的開源模型加入了過去幾個(gè)月發(fā)布的一系列其他模型，包括 Alpaca（來自斯坦福大學(xué)的一個(gè)團(tuán)隊(duì)）、Dolly（來自軟件公司 Databricks）和 Cerebras-GPT（來自 AI 公司 Cerebras）。這些模型中的大多數(shù)都是建立在 LLaMA 或 EleutherAI 的數(shù)據(jù)集和模型上；Cerebras-GPT 遵循 DeepMind 設(shè)定的模板。而未來，相信會(huì)有更多的模型出現(xiàn)。
對于一些人來說，開源是一個(gè)原則問題?！斑@是一個(gè)全球社區(qū)的努力，將對話式人工智能的力量帶給每個(gè)人……讓它脫離少數(shù)大公司的掌控，”人工智能研究員和 YouTuber Yannic Kilcher 在介紹開放助理的視頻中表示。
“我們永遠(yuǎn)不會(huì)放棄為開源人工智能而戰(zhàn)，”Hugging Face 的聯(lián)合創(chuàng)始人 Julien Chaumond 上個(gè)月在推特上如是說。
對其他人而言，這也是個(gè)利益問題。Stability AI 希望在聊天機(jī)器人方面重復(fù)它在圖像方面的方法：為使用其產(chǎn)品的開發(fā)者的創(chuàng)新爆發(fā)提供動(dòng)力，然后從中獲益。該公司計(jì)劃從這些創(chuàng)新中汲取精華，并將其帶回為廣泛的客戶定制的產(chǎn)品中。“我們激發(fā)創(chuàng)新，然后進(jìn)行挑選，”Stability AI 的首席執(zhí)行官 Emad Mostaque 說?！斑@是世界上最好的商業(yè)模式。”
不管怎樣，大量免費(fèi)和開放的大型語言模型將這項(xiàng)技術(shù)推向了世界各地?cái)?shù)百萬人的手中，激勵(lì)了許多人創(chuàng)造新的工具并探索它們的工作原理。Biderman 說：“使用這項(xiàng)技術(shù)的途徑比以往任何時(shí)候都要多。”
“坦率地說，人們使用這項(xiàng)技術(shù)的方式之多令人難以置信，令人興奮，”Fried Frank 律師事務(wù)所的律師 Amir Ghavi 表示。他代表了包括 Stability AI 在內(nèi)的多家生成式人工智能公司?！拔艺J(rèn)為這證明了人類的創(chuàng)造力，而這正是開源的全部意義所在?！?/p>
融化 GPU
但是，從頭開始訓(xùn)練大型語言模型 -- 而不是建立或修改它們 -- 是困難的。Mostaque 說：“這仍然超出了絕大多數(shù)公司的能力范圍?！薄拔覀冊跇?gòu)建 StableLM 時(shí)熔掉了一堆 GPU?！?/p>
Stability AI 的第一個(gè)版本，即文本到圖像模型 Stable Diffusion，與谷歌的 Imagen 和 OpenAI 的 DALL-E 等封閉式同類產(chǎn)品一樣好，甚至更好。它不僅可以免費(fèi)使用，而且還可以在一臺(tái)好的家用電腦上運(yùn)行。Stable Diffusion 比其他任何模式都更能激發(fā)去年圍繞圖像制作人工智能的開源開發(fā)的爆發(fā)。
不過，這一次，Mostaque 希望管理好預(yù)期：StableLM 與 GPT-4 相差甚遠(yuǎn)。“還有很多工作要做，”他說?！八幌?Stable Diffusion 那樣，可以立即獲得超級好用的東西。語言模型更難訓(xùn)練?！?/p>
另一個(gè)問題是，模型越大就越難訓(xùn)練。這不僅僅是由于計(jì)算能力的成本問題。訓(xùn)練過程中，更大的模型也更經(jīng)常出現(xiàn)故障，需要重新啟動(dòng)，這使得這些模型的建立更加昂貴。
Biderman 說，在實(shí)踐中，大多數(shù)團(tuán)體能夠負(fù)擔(dān)得起的訓(xùn)練參數(shù)數(shù)量是有上限的。這是因?yàn)榇笮湍Ｐ捅仨氃诙鄠€(gè)不同的 GPU 上進(jìn)行訓(xùn)練，而將所有這些硬件連在一起是很復(fù)雜的。她說：“在這種規(guī)模下成功地訓(xùn)練模型是高性能計(jì)算研究的一個(gè)非常新的領(lǐng)域。”
確切的數(shù)字隨著技術(shù)的進(jìn)步而變化，但現(xiàn)在 Biderman 認(rèn)為這個(gè)上限大致在 60 億到 100 億個(gè)參數(shù)之間。（相比之下，GPT-3 有 1750 億個(gè)參數(shù)；LLaMA 有 650 億個(gè)。) 這不是一個(gè)確切的關(guān)聯(lián)，但一般來說，更大的模型往往表現(xiàn)得更好。
Biderman 預(yù)計(jì)，圍繞開源大型語言模型的大量活動(dòng)將繼續(xù)下去。但它將集中于擴(kuò)展或調(diào)整一些現(xiàn)有的預(yù)訓(xùn)練模型，而不是推動(dòng)基本技術(shù)的發(fā)展。她說：“只有少數(shù)幾個(gè)組織對這些模型進(jìn)行了預(yù)訓(xùn)練，我預(yù)計(jì)在不久的將來會(huì)保持這種狀態(tài)?！?/p>
這就是為什么許多開源模型是建立在 LLaMA 之上的原因，LLaMA 是由 Meta AI 從頭開始訓(xùn)練的，并由 EleutherAI 發(fā)布的，EleutherAI 是一個(gè)非營利組織，它對開源技術(shù)的貢獻(xiàn)是獨(dú)一無二的。Biderman 說，她知道只有一個(gè)類似的組織，而且是在中國。
EleutherAI 的起步得益于 OpenAI。倒退到 2020 年，這家位于舊金山的公司剛剛推出一個(gè)熱門的新模型。“對于很多人來說，GPT-3 改變了他們對大規(guī)模人工智能的看法，”Biderman 說?！熬腿藗儗@些模型的期望而言，它常常被認(rèn)為是一種智力范式的轉(zhuǎn)變?！?/p>
由于對這項(xiàng)新技術(shù)的潛力感到興奮，Biderman 和其他一些研究人員想玩玩這個(gè)模型，以更好地了解它的工作原理。他們決定對其進(jìn)行復(fù)制。
那時(shí) OpenAI 還沒有發(fā)布 GPT-3，但它確實(shí)分享了足夠多的關(guān)于它是如何構(gòu)建的信息，讓 Biderman 和她的同事們弄清楚它是怎么構(gòu)建的。在 OpenAI 之外，從來沒有人訓(xùn)練過這樣的模型，但當(dāng)時(shí)正值疫情，團(tuán)隊(duì)沒有什么其他事情可做。Biderman 說：“當(dāng)我參與其中時(shí)，我正在做我的工作并與我的妻子玩桌游?！薄耙虼?，每周拿出 10 或 20 個(gè)小時(shí)來做這件事是比較容易的?！?/p>
該團(tuán)隊(duì)的第一步是把一個(gè)巨大的新數(shù)據(jù)集放在一起，其中包含數(shù)十億的文本段落，與 OpenAI 用來訓(xùn)練 GPT-3 的數(shù)據(jù)相媲美。EleutherAI 將其數(shù)據(jù)集稱為 Pile，并在 2020 年底免費(fèi)發(fā)布。
然后，EleutherAI 使用這個(gè)數(shù)據(jù)集來訓(xùn)練其第一個(gè)開源模型。EleutherAI 訓(xùn)練的最大模型花了三個(gè)半月，由一家云計(jì)算公司贊助?！叭绻覀冏蕴脱?，將花費(fèi)我們大約 40 萬美元，”她說?！边@對一個(gè)大學(xué)研究小組來說要求太高了?！?/p>
援助之手
由于成本高昂，在現(xiàn)有模型的基礎(chǔ)上進(jìn)行構(gòu)建要容易得多。Meta AI 的 LLaMA 已經(jīng)迅速成為許多新的開源項(xiàng)目的首選起點(diǎn)。自從 Yann LeCun 在十年前成立以來，Meta AI 一直傾向于開源開發(fā)。這種心態(tài)是文化的一部分，Pineau 說：“這在很大程度上是一種自由市場，‘快速行動(dòng)，建造東西’的方法?！?/p>
Pineau 清楚地知道其好處。她說：“這確實(shí)讓有能力為開發(fā)這項(xiàng)技術(shù)做出貢獻(xiàn)的人多樣化。這意味著研究人員，企業(yè)家或民間組織等也可以看到這些模型?！?/p>
像更廣泛的開源社區(qū)一樣，Pineau 和她的同事們認(rèn)為，透明度應(yīng)該是一種規(guī)范。她說：“我敦促我的研究人員做的一件事是，在開始一個(gè)項(xiàng)目時(shí)，就考慮到你想要開源。因?yàn)楫?dāng)你這樣做時(shí)，它在數(shù)據(jù)使用和如何建立模型方面設(shè)定了更高的標(biāo)準(zhǔn)。”
大型語言模型會(huì)散播錯(cuò)誤信息、偏見和仇恨言論。它們可以用來大規(guī)模生產(chǎn)宣傳或?yàn)閻阂廛浖S提供動(dòng)力?！澳惚仨氃谕该鞫群桶踩灾g做出權(quán)衡，”Pineau 說。
對于 Meta AI 來說，這種權(quán)衡可能意味著一些模型根本不會(huì)被發(fā)布。例如，如果 Pineau 的團(tuán)隊(duì)在 Facebook 用戶數(shù)據(jù)上訓(xùn)練了一個(gè)模型，那么它將留在內(nèi)部，因?yàn)樗饺诵畔⑿孤兜娘L(fēng)險(xiǎn)太大?；蛘撸搱F(tuán)隊(duì)可能會(huì)以點(diǎn)擊許可的方式發(fā)布該模型，規(guī)定它只能用于研究目的。
這就是它為 LLaMA 采取的方法。但在其發(fā)布后的幾天內(nèi)，有人在互聯(lián)網(wǎng)論壇 4 chan 上發(fā)布了完整的模型和運(yùn)行說明?！拔胰匀徽J(rèn)為對于這個(gè)特定的模型來說，這是正確的權(quán)衡，”Pineau 說?！暗覍θ藗儠?huì)這樣做感到失望，因?yàn)檫@使得做這些發(fā)布更難?！?/p>
“我們一直得到來自公司領(lǐng)導(dǎo)層一直到馬克 [扎克伯格] 對這種做法的大力支持，但這并不容易，”她說。
Meta AI 的風(fēng)險(xiǎn)很高。她說：“當(dāng)你是一個(gè)非常小的創(chuàng)業(yè)公司時(shí)，做一些瘋狂的事情的潛在責(zé)任要比你是一個(gè)非常大的公司時(shí)低得多。”“現(xiàn)在我們向成千上萬的人發(fā)布這些模型，但如果它變得更有問題，或者我們覺得安全風(fēng)險(xiǎn)更大，我們將關(guān)閉這個(gè)圈子，我們將只向已知的學(xué)術(shù)伙伴發(fā)布，他們有非常強(qiáng)大的證書 -- 根據(jù)保密協(xié)議或 NDA，防止他們用這個(gè)模型建立任何東西，甚至為了研究目的。”
如果發(fā)生這種情況，那么開源生態(tài)系統(tǒng)的許多寵兒可能會(huì)發(fā)現(xiàn)，他們在 Meta AI 接下來推出的任何產(chǎn)品上構(gòu)建的許可都將被取消。如果沒有 LLaMA，Alpaca、Open Assistant 或 Hugging Chat 等開源模型就不會(huì)那么好。下一代的開源創(chuàng)新者也不會(huì)像現(xiàn)在的這批人那樣得到發(fā)展。
平衡
其他團(tuán)隊(duì)也在權(quán)衡開源自由競爭的風(fēng)險(xiǎn)和回報(bào)。
在 Meta AI 發(fā)布 LLaMA 的同時(shí)，Hugging Face 推出了一個(gè)門禁機(jī)制，人們在下載該公司平臺(tái)上的許多模型之前，必須申請?jiān)L問并得到批準(zhǔn)……這個(gè)想法是為了只允許那些有正當(dāng)理由的人接觸這個(gè)模型——由 Hugging Face 決定。
“我不是一個(gè)開源的布道者，”Hugging Face 首席倫理科學(xué)家 Margaret Mitchell 說?！拔掖_實(shí)明白為什么封閉很有意義。”
Mitchell 指出，未授權(quán)的色情制品是使強(qiáng)大的模型被廣泛使用的一個(gè)弊端例子。她說，這是圖像制作 AI 的主要用途之一。
Mitchell 曾在谷歌工作，并共同創(chuàng)建了其道德人工智能團(tuán)隊(duì)，她理解其中的緊張關(guān)系。她贊成她所說的“負(fù)責(zé)任的民主化”-- 一種類似于 Meta AI 的方法，即根據(jù)模型造成傷害或被濫用的潛在風(fēng)險(xiǎn)，以有控制的方式發(fā)布。她說：“我真的很欣賞開源的理想，但我認(rèn)為建立某種問責(zé)機(jī)制是有用的?！?/p>
此外，OpenAI 也在關(guān)閉水龍頭。上個(gè)月，當(dāng)它宣布 GPT-4-- 該公司為 ChatGPT 提供動(dòng)力的大型語言模型的新版本時(shí)，技術(shù)報(bào)告中有一個(gè)引人注目的句子：“鑒于像 GPT-4 這樣的大規(guī)模模型的競爭格局和安全影響，本報(bào)告沒有包含關(guān)于架構(gòu)（包括模型大?。⒂布?、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法或類似的進(jìn)一步細(xì)節(jié)?！?/p>
這些新限制的部分原因是，OpenAI 現(xiàn)在是一家以盈利為目的的公司，與谷歌等公司競爭。但它們也反映了一種心態(tài)的變化。聯(lián)合創(chuàng)始人兼首席科學(xué)家 Ilya Sutskever 在接受 The Verge 采訪時(shí)表示，該公司過去的開放性是一個(gè)錯(cuò)誤。
OpenAI 的政策研究員 Sandhini Agarwal 說：“以前，如果某樣?xùn)|西是開源的，也許只有一小群程序員會(huì)關(guān)心?，F(xiàn)在，整個(gè)環(huán)境已經(jīng)改變。開源真的可以加速發(fā)展，并導(dǎo)致競爭?！?/p>
但它并不總是這樣。如果 OpenAI 在三年前公布 GPT-3 的細(xì)節(jié)時(shí)有這種感覺，就不會(huì)有 EleutherAI。
今天，EleutherAI 在開源生態(tài)系統(tǒng)中發(fā)揮著舉足輕重的作用。此后，它建立了幾個(gè)大型語言模型，Pile 被用來訓(xùn)練許多開源項(xiàng)目，包括 Stability AI 的 StableLM（Mostaque 是 EleutherAI 的董事會(huì)成員）。
如果 OpenAI 分享的信息較少，這一切都不可能發(fā)生。像 Meta AI 一樣，EleutherAI 實(shí)現(xiàn)了大量的開源創(chuàng)新。
但隨著 GPT-4 甚至 5、6 的封鎖，開源社區(qū)可能會(huì)再次被留在幾家大公司的后面進(jìn)行修補(bǔ)。他們可能會(huì)發(fā)布狂野的新版本 -- 甚至可能威脅到谷歌的一些產(chǎn)品。但是，他們將被困在上一代的模式中。真正的進(jìn)步，接下來的飛躍，將在閉門造車中發(fā)生。
這重要嗎？人們?nèi)绾慰创笮涂萍脊娟P(guān)閉權(quán)限的影響，以及這將對開源產(chǎn)生的影響，在很大程度上取決于你對人工智能應(yīng)該如何制造以及應(yīng)該由誰制造的看法。
“人工智能很可能成為未來幾十年社會(huì)組織方式的驅(qū)動(dòng)力，”Ghavi 說?！拔艺J(rèn)為，建立一個(gè)更廣泛的監(jiān)督和透明體系，比把權(quán)力集中在少數(shù)人手中要好?！?/p>
Biderman 對此表示贊同：“我絕對不認(rèn)為每個(gè)人都做開源有某種道德上的必要性，”“但說到底，讓人們開發(fā)和研究這項(xiàng)技術(shù)是非常重要的，而不是為其商業(yè)成功進(jìn)行經(jīng)濟(jì)投資?！?/p>
然而，她很清楚其中的利害關(guān)系。她說：“實(shí)際上，我對 OpenAI 的批評比很多人認(rèn)為的要少得多，”她說。“公開發(fā)布這項(xiàng)技術(shù)有真正的風(fēng)險(xiǎn)，真正的潛在危險(xiǎn)?！?/p>
OpenAI 聲稱它只是在謹(jǐn)慎行事。OpenAI 信任與安全團(tuán)隊(duì)負(fù)責(zé)人 Dave Willner 表示：“我們并不是認(rèn)為透明度不好。”“更重要的是，我們正在努力弄清楚如何協(xié)調(diào)透明度和安全性。隨著這些技術(shù)變得越來越強(qiáng)大，在實(shí)踐中，這些東西之間存在一定程度的緊張關(guān)系。”
“人工智能的很多規(guī)范和思維都是由學(xué)術(shù)研究團(tuán)體形成的，它們重視合作和透明度，這樣人們就可以在彼此的工作基礎(chǔ)上發(fā)展，”Willner 說。“也許隨著這項(xiàng)技術(shù)的發(fā)展，這種情況需要有所改變?！?/p>
來源：麻省理工科技評論