文｜數(shù)智前線 趙艷秋
編輯｜?；?/p>
大模型市場(chǎng)已形成了“開(kāi)源派”和“閉源派”。而當(dāng)下，在大模型競(jìng)爭(zhēng)進(jìn)入市場(chǎng)爭(zhēng)奪的白熱化階段后，企業(yè)在開(kāi)閉源上的交鋒也更為激烈。
實(shí)際上，大模型開(kāi)源和傳統(tǒng)軟件開(kāi)源不是一回事。在開(kāi)源的定義、治理、社區(qū)性質(zhì)、貢獻(xiàn)路徑和企業(yè)的開(kāi)源策略上，都在發(fā)生巨大變化。
01、大模型企業(yè)開(kāi)閉源策略各異
今年大模型的開(kāi)閉源更為熱鬧，在閉源的企業(yè)，有開(kāi)源的呼聲；在開(kāi)源的企業(yè)，有閉源的動(dòng)作。
百度內(nèi)部對(duì)大模型開(kāi)源、閉源的討論非常熱烈。大家都在思考，什么樣的方式能取得更多的競(jìng)爭(zhēng)優(yōu)勢(shì)。
在BATH幾家大廠中，百度、華為選擇閉源路線，阿里、騰訊則推出了開(kāi)源大模型。
百度對(duì)于開(kāi)閉源大模型的爭(zhēng)論，部分也來(lái)自阿里云等企業(yè)今年在開(kāi)源上的聲勢(shì)和市場(chǎng)動(dòng)作。
到目前為止，雖然百度文心一言仍堅(jiān)持閉源路線，但百度智能云部門(mén)，在其平臺(tái)上提供了大量性能很強(qiáng)的第三方開(kāi)源大模型。百度通過(guò)閉源文心一言，也通過(guò)開(kāi)源大模型使用的算力、工具和服務(wù)，來(lái)實(shí)現(xiàn)商業(yè)上的收益。
在開(kāi)源上，今年阿里云的動(dòng)作極為密集。5月在北京舉辦的AI峰會(huì)上，阿里云CTO周靖人表態(tài)，開(kāi)源是阿里云的戰(zhàn)略，阿里云形成的是一個(gè)開(kāi)源和閉源的整體體系。阿里云已開(kāi)源了參數(shù)從5億到千億的數(shù)款模型，打法也更為專(zhuān)業(yè)。
業(yè)界認(rèn)為，阿里云大力推廣開(kāi)源，一方面是為了加快市場(chǎng)份額的爭(zhēng)奪；另一方面作為云計(jì)算企業(yè)，它可以采用“羊毛出在豬身上”的商業(yè)模式，在算力、工具和服務(wù)上獲得收益。周靖人在策略會(huì)上尤其強(qiáng)調(diào)“百煉”平臺(tái)的服務(wù)。而開(kāi)源還能為其引流，有些客戶(hù)可能升級(jí)為閉源用戶(hù)。
與其他大模型企業(yè)相比，騰訊開(kāi)源大模型較晚，今年5月對(duì)外開(kāi)源了混元文生圖大模型?；煸嚓P(guān)人士告訴數(shù)智前線，由于市場(chǎng)上已有很多開(kāi)源的大語(yǔ)言模型，因此騰訊這次選擇開(kāi)源文生圖，應(yīng)該是第一個(gè)中文原生的開(kāi)源DiT模型，未來(lái)還會(huì)嘗試參數(shù)量更大的模型。由于剛開(kāi)源幾周，商業(yè)化影響仍待觀察。
華為云2023年在推出盤(pán)古大模型3.0時(shí)，就表態(tài)采用閉源路線。過(guò)去一年，它的重心是在各行業(yè)進(jìn)行聯(lián)創(chuàng)，落地大模型，并將技術(shù)回饋盤(pán)古，不斷迭代，未參與業(yè)界開(kāi)閉源討論。華為云在上周也剛剛官宣盤(pán)古5.0多模態(tài)大模型，發(fā)布期間也未涉及開(kāi)源問(wèn)題。同時(shí)，華為云于去年上線“百模千態(tài)”專(zhuān)區(qū)，提供第三方開(kāi)源大模型。
最近在項(xiàng)目訂單上活躍的智譜，是國(guó)內(nèi)最早開(kāi)源大模型的企業(yè)。因?yàn)橹亲V由清華技術(shù)成果轉(zhuǎn)化而來(lái)，2022年，它就將開(kāi)發(fā)的雙語(yǔ)千億模型GLM-130B開(kāi)源，“當(dāng)時(shí)全國(guó)懂大模型的研究員加起來(lái)也不過(guò)百來(lái)人”。智譜CEO張鵬稱(chēng)，開(kāi)源讓大家知道智譜在做什么，同時(shí)可以讓更多人參與推動(dòng)大模型。此后在2023年3月，智譜將GLM6b開(kāi)源，該模型在Hugging Face上的下載量超過(guò)1600萬(wàn)。
雖然張鵬認(rèn)為開(kāi)源的初心并不是要去贏得市場(chǎng)或追求商業(yè)利益，但ChatGPT爆火后，智譜的GLM開(kāi)源大模型獲得大量關(guān)注，也讓這家2019年才成立的公司，在融資和商業(yè)化上受益頗多。張鵬也稱(chēng)，開(kāi)源和商業(yè)化是整個(gè)生態(tài)版圖里很重要的兩塊，這兩塊是有連接的，可以說(shuō)開(kāi)源充當(dāng)著商業(yè)化的橋梁。
王小川的百川公司，去年作為創(chuàng)業(yè)的明星公司，發(fā)布了Baichuan-7B、13B開(kāi)源可商用大模型，在業(yè)界引發(fā)關(guān)注。當(dāng)時(shí)有應(yīng)用開(kāi)發(fā)商告訴數(shù)智前線，測(cè)試后，他們從Meta的Llmma轉(zhuǎn)向百川，因?yàn)橹形男Ч谩?/p>
百川開(kāi)源時(shí)，國(guó)內(nèi)大模型開(kāi)源的還很少。此后，越來(lái)越多的大模型公司，包括大廠，開(kāi)始開(kāi)源。百川聯(lián)合創(chuàng)始人謝劍告訴數(shù)智前線，未來(lái)還會(huì)開(kāi)源，但不會(huì)開(kāi)源特別大參數(shù)的模型，因?yàn)楹芏嗳擞貌黄饋?lái)。
最近快手的文生視頻大模型“可靈”很火爆，不少應(yīng)用企業(yè)“祈盼”可靈開(kāi)源。但快手相關(guān)人士表示，暫不考慮開(kāi)源，而會(huì)逐步開(kāi)放一些東西在業(yè)界討論。
而昆侖萬(wàn)維最近開(kāi)源了一個(gè)稀疏大型語(yǔ)言模型Skywork-MoE，為應(yīng)對(duì)大規(guī)模密集型大語(yǔ)言模型帶來(lái)的挑戰(zhàn)。昆侖萬(wàn)維兼天工智能首席科學(xué)家顏水成告訴數(shù)智前線，開(kāi)源大模型幫助學(xué)界進(jìn)行探索性工作，而公司也推出音樂(lè)、游戲等垂類(lèi)模型，將采用閉源商業(yè)模式。
李開(kāi)復(fù)的創(chuàng)業(yè)公司零一萬(wàn)物，是這波大模型獨(dú)角獸中最后一家開(kāi)源的企業(yè)。公司開(kāi)源負(fù)責(zé)人林旅強(qiáng)非常坦率，認(rèn)為開(kāi)源和閉源是商業(yè)設(shè)計(jì)問(wèn)題。
零一萬(wàn)物也采取了開(kāi)源、閉源并進(jìn)的模式。開(kāi)源在一定程度上扮演了商業(yè)拓展角色。同時(shí)，今年零一萬(wàn)物發(fā)布千億參數(shù)模型Yi-Large，一些使用了開(kāi)源模型的客戶(hù)有望轉(zhuǎn)化到該閉源模型上。
02、開(kāi)源大模型與開(kāi)源軟件有三大區(qū)別
雖然大模型開(kāi)源如火如荼，但業(yè)界一直在詬病它的透明度，質(zhì)疑為什么好多信息，企業(yè)不公開(kāi)。實(shí)際上，大模型開(kāi)源和傳統(tǒng)軟件開(kāi)源不是一回事。
紅帽中國(guó)首席架構(gòu)師張家駒告訴數(shù)智前線，軟件開(kāi)源是指源代碼開(kāi)源，拿到源代碼，我們就“知其然也知其所以然”，也可以在源代碼基礎(chǔ)上，去修改或增加新功能。
但大模型是一個(gè)黑盒子，里面有很多至今無(wú)法解釋的現(xiàn)象，所以對(duì)大模型的開(kāi)源，業(yè)界提出了更多維度，有的說(shuō)需要四部分——權(quán)重、數(shù)據(jù)集、代碼和訓(xùn)練過(guò)程；也有的說(shuō)需要五部分，還包括了框架。即使是這些定義，業(yè)界也有不同意見(jiàn)：為什么會(huì)有這樣的定義？這更像是從傳統(tǒng)開(kāi)源軟件的思路來(lái)考慮的。
有趣的是，只有極少數(shù)公司或機(jī)構(gòu)的大模型，同時(shí)開(kāi)源了上述四部分或五部分，比如IBM剛剛開(kāi)源出來(lái)的Granite大語(yǔ)言模型；也有像智源研究院、馬斯克旗下大模型公司xAI ，開(kāi)源了權(quán)重和數(shù)據(jù)集。比如，根據(jù)智源人工智能研究院副院長(zhǎng)兼總工程師林詠華的介紹，今年6月，智源最新開(kāi)源數(shù)據(jù)集分為兩類(lèi)，一類(lèi)是通用開(kāi)源指令微調(diào)數(shù)據(jù)集，一類(lèi)是行業(yè)垂類(lèi)數(shù)據(jù)集，涵蓋18個(gè)行業(yè)。
“現(xiàn)在業(yè)界的共識(shí)是，至少將權(quán)重再加上一些推理代碼開(kāi)源?！绷阋蝗f(wàn)物林旅強(qiáng)說(shuō)，只有這兩部分開(kāi)源，其他人才可以將開(kāi)源大模型使用起來(lái)。由此，開(kāi)源大模型現(xiàn)在的定義，有點(diǎn)像微軟提過(guò)的“免費(fèi)軟件”。所以，谷歌等公司在其官網(wǎng)上稱(chēng)是開(kāi)源權(quán)重（open weight），而不是開(kāi)源大模型。
為什么在開(kāi)源大模型中，權(quán)重如此重要？有業(yè)界人士將權(quán)重打比方為“一大堆數(shù)字”，一個(gè)13B的模型，就有130億個(gè)數(shù)。這些數(shù)字與模型如何處理輸入的數(shù)據(jù)、如何做出預(yù)測(cè)和生成文本等相關(guān)，代表了一個(gè)大模型的智慧。
而在大模型中，代碼分為預(yù)訓(xùn)練代碼、微調(diào)代碼和推理代碼。預(yù)訓(xùn)練代碼是大模型公司的核心；對(duì)于微調(diào)代碼，市場(chǎng)上已有很多公開(kāi)方法，而大模型要被用起來(lái)，需要推理代碼。至于訓(xùn)練過(guò)程和數(shù)據(jù)集，往往也是大模型廠商的核心所在。
與傳統(tǒng)軟件不同，在大模型開(kāi)源上，企業(yè)的態(tài)度有了微妙的變化。現(xiàn)在大模型的成本太過(guò)高昂，訓(xùn)練一個(gè)千億級(jí)參數(shù)模型，要幾千萬(wàn)甚至上億，因此，很多公司在開(kāi)源問(wèn)題上變得保守。這是一個(gè)現(xiàn)實(shí)問(wèn)題，每家公司的開(kāi)源，必然服務(wù)于自己的商業(yè)戰(zhàn)略。而且，即便將這些核心都開(kāi)源出來(lái)，大多數(shù)工程師和企業(yè)也沒(méi)有那么多資源去復(fù)現(xiàn)。
業(yè)內(nèi)人士認(rèn)為，開(kāi)源大模型和開(kāi)源軟件有三個(gè)核心區(qū)別：
一是透明度完全不一樣。開(kāi)源軟件的代碼能說(shuō)明一切，從而可以形成一套治理體系；大模型當(dāng)下還是一個(gè)黑盒子，內(nèi)部機(jī)理還是未知的。
二是大模型社區(qū)的性質(zhì)發(fā)生了變化。之前開(kāi)源社區(qū)講求全球工程師來(lái)貢獻(xiàn)；但因?yàn)樗懔Φ荣Y源限制，在大模型社區(qū)里，或許90%以上的工程師，無(wú)法直接為大模型貢獻(xiàn)，因此很多社區(qū)變成了單向模式，大家只是使用大模型。在HuggingFace上，Meta的Llmma開(kāi)源大模型，已經(jīng)有幾千個(gè)變種，但彼此之間沒(méi)有太多交互，也很難將創(chuàng)新合并。
其三是大模型企業(yè)開(kāi)源策略發(fā)生變化。中國(guó)信通院知識(shí)產(chǎn)權(quán)與創(chuàng)新發(fā)展中心產(chǎn)業(yè)發(fā)展研究部主任張俊霞說(shuō)，因?yàn)榇竽Ｐ偷挠?xùn)練投入特別大，這導(dǎo)致企業(yè)在開(kāi)源策略的選擇上，特別是在一些許可或信息披露上，都有很大不同?！斑@個(gè)問(wèn)題現(xiàn)在不管是國(guó)內(nèi)還是國(guó)際社區(qū)，都在非常激烈地討論。”
不過(guò)，近期，一些動(dòng)態(tài)正在發(fā)生。比如，紅帽在社區(qū)貢獻(xiàn)上有了嘗試動(dòng)作。一方面IBM開(kāi)源了Granite模型；另一方面，“訓(xùn)練過(guò)程”在另外一個(gè)開(kāi)源項(xiàng)目InstructLab中。由IBM出資建設(shè)了一個(gè)平臺(tái)。每過(guò)一段時(shí)間，就把大家“集”來(lái)的數(shù)據(jù)放在上面“訓(xùn)”，形成模型的迭代。同時(shí)，用戶(hù)也可以選擇保留自己的數(shù)據(jù)，訓(xùn)練分叉的模型?！翱蛻?hù)不用‘躺平’，可以用他們的場(chǎng)景、經(jīng)驗(yàn)參與到調(diào)試當(dāng)中，不斷在變化之中調(diào)優(yōu)?！奔t帽大中華區(qū)資深市場(chǎng)總監(jiān)趙文斌告訴數(shù)智前線。
而張俊霞認(rèn)為，大模型時(shí)代，對(duì)開(kāi)源的定義以及未來(lái)的治理，不管是從項(xiàng)目層面、企業(yè)層面還是從國(guó)家層面，也都會(huì)發(fā)生一些翻天覆地的變化。
03、“開(kāi)源的目的不是一定要超越閉源”
除了如何定義開(kāi)源大模型，開(kāi)源派和閉源派，在開(kāi)閉源大模型孰強(qiáng)孰弱和安全性上，有著交鋒。
如果在當(dāng)下這個(gè)時(shí)間點(diǎn)，OpenAI等的閉源模型比較強(qiáng)。“但不意味著閉源會(huì)持續(xù)遙遙領(lǐng)先。”零一萬(wàn)物林旅強(qiáng)說(shuō)，未來(lái)當(dāng)算力平民化，再加上互聯(lián)網(wǎng)協(xié)作精神，可能5年、10年，開(kāi)源大模型就會(huì)變得更強(qiáng)。
不過(guò)，智源研究院智能評(píng)測(cè)組負(fù)責(zé)人楊熙從評(píng)測(cè)角度看，單純把開(kāi)源模型和閉源模型放在一起來(lái)比較，可能有失公允。因?yàn)殚]源大模型可能是一套體系，比如包含了檢索增強(qiáng)等技術(shù)，而開(kāi)源模型是一個(gè)單體模型，拿“多對(duì)一”，肯定不合理。
而紅帽張家駒認(rèn)為，開(kāi)源的目標(biāo)不是說(shuō)一定要超過(guò)閉源?！凹幢阒叭蚬こ處熀狭ψ鯨inux，目標(biāo)也不是要超過(guò)閉源?！遍_(kāi)源的價(jià)值是更加公開(kāi)透明，技術(shù)上更加平權(quán)，不會(huì)讓其成為少數(shù)人牟利的手段。“更為關(guān)鍵的是，對(duì)于人工智能來(lái)說(shuō)，如果未來(lái)走向AGI，開(kāi)源讓AI的發(fā)展走向，更符合全人類(lèi)的利益，這一點(diǎn)的價(jià)值要遠(yuǎn)高于在某一方面去超越閉源?！?/p>
而開(kāi)源和閉源大模型誰(shuí)更安全，業(yè)界也有著爭(zhēng)議。開(kāi)源派認(rèn)為，在閉源環(huán)境當(dāng)中，大家不知道有沒(méi)有人監(jiān)督它。開(kāi)源的好處是一旦出現(xiàn)一些安全問(wèn)題，整個(gè)社區(qū)會(huì)來(lái)共同檢查。
但也有人士認(rèn)為“開(kāi)源也會(huì)帶來(lái)各種意想不到的問(wèn)題”。比如，開(kāi)源可能將大模型交到了“恐怖分子”手里?！芭e個(gè)例子，開(kāi)源大模型的數(shù)據(jù)集，如果別人加了一些數(shù)據(jù)，訓(xùn)練出大模型去干了違法的事?！币患掖竽Ｐ推髽I(yè)開(kāi)源負(fù)責(zé)人對(duì)數(shù)智前線說(shuō)，雖然他們也有開(kāi)源大模型。另外，現(xiàn)在各國(guó)都強(qiáng)調(diào)數(shù)據(jù)主權(quán)，數(shù)據(jù)開(kāi)源后怎么追蹤也是問(wèn)題。“所以國(guó)家鼓勵(lì)開(kāi)源，但不是無(wú)限制的開(kāi)源?！?/p>
對(duì)于這些觀點(diǎn)交鋒，智源研究院楊熙稱(chēng)，開(kāi)源、閉源其實(shí)都存在透明性、合規(guī)性、安全性的問(wèn)題，也涉及治理問(wèn)題。
信通院張俊霞提出，關(guān)于治理，其實(shí)大模型是一個(gè)技術(shù)性非常強(qiáng)的領(lǐng)域，所以“技術(shù)的問(wèn)題，一定要依賴(lài)技術(shù)”。她看到，谷歌發(fā)布了一款開(kāi)源工具M(jìn)odel Explorer，幫助人們理解大模型技術(shù)的內(nèi)部工作機(jī)制；IBM、微軟也發(fā)布了關(guān)于開(kāi)源大模型或人工智能的倫理和解決手段，非常值得學(xué)習(xí)參考；今年1月，騰訊發(fā)布了安全治理框架，涉及一個(gè)模型整個(gè)生命周期里每個(gè)階段的安全技術(shù)、問(wèn)題和管理等。
楊熙則強(qiáng)調(diào)，開(kāi)源其實(shí)對(duì)模型內(nèi)在機(jī)理的刻畫(huà)和理解，非常有幫助?！霸谖铱磥?lái)，開(kāi)源和閉源是一個(gè)硬幣的兩面?！敝亲V楊熙稱(chēng)，開(kāi)源可能促進(jìn)我們更多的探索性和基礎(chǔ)性工作；閉源更多促進(jìn)產(chǎn)品化和商業(yè)化，推動(dòng)大模型走進(jìn)每個(gè)人的生活。這兩件事其實(shí)不應(yīng)該是之爭(zhēng)，而是和諧共存。
“現(xiàn)在，什么樣的框架最適合從行業(yè)監(jiān)管角度，既不太過(guò)于增加企業(yè)的負(fù)擔(dān)，又能夠?qū)崿F(xiàn)行業(yè)事前、事中、事后的一個(gè)完整的監(jiān)管，其實(shí)全球還沒(méi)有一個(gè)統(tǒng)一的答案，仍然在探索過(guò)程中。”張俊霞說(shuō)。
04、開(kāi)源閉源，商業(yè)化應(yīng)用如何選擇
在開(kāi)閉源的選擇上，智譜張鵬認(rèn)為，如果只是想做一些實(shí)驗(yàn)和嘗試，可以選擇開(kāi)源模型，但如果想要在上面做商業(yè)化應(yīng)用，大部分人還是會(huì)選擇商業(yè)化版本，因?yàn)橛斜Ｕ?，能夠提供更好的服?wù)。
這代表了業(yè)界、尤其是ToB行業(yè)很多人士的觀點(diǎn)。
紅帽張家駒則認(rèn)為，無(wú)論是開(kāi)源、閉源，需要優(yōu)先考慮客戶(hù)是否需要本地部署大模型。無(wú)論國(guó)內(nèi)外，不少客戶(hù)都有自主可控的需求。如果采用公有云上的模型，比如OpenAI，客戶(hù)要考慮數(shù)據(jù)暴露信息的問(wèn)題。“這是個(gè)很重要的問(wèn)題。”
值得注意的是，閉源大模型是否能部署到本地，需要獲得允許。開(kāi)源大模型同樣需要依據(jù)一些協(xié)議以及合規(guī)性。從技術(shù)角度來(lái)講，很多開(kāi)源部署到本地是可行的。而開(kāi)源可以方便地進(jìn)行微調(diào)，打造行業(yè)大模型，這是其優(yōu)勢(shì)。
除了本地化部署之外，也有企業(yè)需要調(diào)用公有云上的大模型。“大模型的需求一定是開(kāi)放混合的?！睆埣荫x說(shuō)。
大模型應(yīng)用開(kāi)發(fā)商北京可為是最早在市場(chǎng)監(jiān)督管理領(lǐng)域，打造、落地行政執(zhí)法垂直大模型的企業(yè)。公司聯(lián)合創(chuàng)始人曾明告訴數(shù)智前線，他們?cè)陂_(kāi)閉源大模型中，最終選擇了開(kāi)源大模型。一方面，行政執(zhí)法是比較知識(shí)化的應(yīng)用，去年他們?cè)跍y(cè)試驗(yàn)證中就發(fā)現(xiàn)，當(dāng)時(shí)的開(kāi)源模型在解決主要場(chǎng)景上，已經(jīng)符合要求；另一方面，成本是重要的因素之一。同時(shí)，這類(lèi)垂直大模型屬于政務(wù)應(yīng)用，客戶(hù)對(duì)數(shù)據(jù)安全要求極高，不能觸碰紅線，需要私有化部署，而開(kāi)源模型在這方面更為靈活方便。
“在選擇開(kāi)源大模型的過(guò)程中，我們做了很多驗(yàn)證，做的最苦的也最有意思的，就是這個(gè)過(guò)程?！痹髡f(shuō)，他們不斷對(duì)不同模型驗(yàn)證，對(duì)自己的訓(xùn)練策略驗(yàn)證?！澳阋檀竽Ｐ停ミ€原人類(lèi)推理和思考的過(guò)程。所謂的夠用與不夠用，就看推理的結(jié)果是不是能達(dá)到要求?！?/p>
此外，不少業(yè)界人士認(rèn)為，目前企業(yè)開(kāi)源的大模型通常是中低版本的，而閉源的模型性能更強(qiáng)，更適合比較高要求的應(yīng)用，如當(dāng)下大模型企業(yè)與標(biāo)桿客戶(hù)聯(lián)合共創(chuàng)的類(lèi)型。而大多數(shù)普通應(yīng)用場(chǎng)景，開(kāi)源已能滿足要求。
大模型時(shí)代，無(wú)論對(duì)開(kāi)源的定義、治理還是社區(qū)運(yùn)營(yíng)、商業(yè)化，目前都處于快速演變之中。上述問(wèn)題仍在激烈的碰撞和演進(jìn)中。