文|光子星球 吳坤諺
編輯|王 潘
“面向AI時(shí)代，所有應(yīng)用都值得用大模型重做一遍。”
4月11日的2023阿里云峰會上，阿里巴巴集團(tuán)董事會主席兼首席執(zhí)行官、阿里云智能集團(tuán)首席執(zhí)行官張勇的這句話其實(shí)有些給他人作注之嫌，APUS創(chuàng)始人李濤曾說過一句更提振人心的話：幾乎所有行業(yè)，都值得被人工智能重做一遍。
隨著阿里AI大模型——通義千問的正式亮相，以及百度、華為、360等互聯(lián)網(wǎng)頭部企業(yè)前后腳推出自己的AI大模型，屬于AI，又或者說是屬于AI大模型的時(shí)代到來。但究其根源，大模型在ChatGPT的破圈效應(yīng)下引發(fā)大廠們小步快跑進(jìn)場，也只是冷飯熱吃。
早在2018年，谷歌便提出超大規(guī)模預(yù)訓(xùn)練語言模型BERT，2020年，OpenAI推出GPT-3超大規(guī)模語言訓(xùn)練模型，參數(shù)達(dá)到1750億，用了大約兩年的時(shí)間，實(shí)現(xiàn)了模型規(guī)模從1億到上千億級的突破，并能實(shí)現(xiàn)作詩、聊天、生成代碼等功能。
2021年，國內(nèi)大廠也感受到了大模型的東風(fēng)，華為云發(fā)布盤古NLP超大規(guī)模預(yù)訓(xùn)練語言模型和盤古α超大規(guī)模預(yù)訓(xùn)練模型、阿里達(dá)摩院發(fā)布十萬億參數(shù)的多模態(tài)大模型M6、以及百度也推出了如今文心一言的前身——ERNIE 3.0 Titan。如果說大模型的元年，其實(shí)2021年可能更合適。
總的來說，這一階段的大模型還充滿著“等風(fēng)口”的階段，只是彼時(shí)的AI大模型尚欠缺商業(yè)模式的落地支撐，例如盤古NLP模型在面世之初便確定了自己to B的定位，直至ChatGPT憑借出色的交互以及開放性測試在全球掀起AI狂潮。
于是大廠們紛紛撿起自己的復(fù)現(xiàn)成果，調(diào)用起云業(yè)務(wù)中閑置的算力，亦步亦趨地追趕，希望能夠后發(fā)先至。
泛濫的大模型
OpenAI為大家找到了產(chǎn)品落地之路，引發(fā)一眾大廠一哄而上。
本輪“狂飆”下的第一個(gè)玩家是百度，百度本身浸淫搜索領(lǐng)域、中文垂類知識多年，掌握大量高質(zhì)量通識數(shù)據(jù)，而且早在2010年便成立了自然語言處理部，本就是大廠中最早探索AI的一批，如今也是最早推出了類GPT應(yīng)用文心一言。
4月以來，大模型井噴，入場者接連發(fā)布大模型的新聞消息應(yīng)接不暇。
4月9日，360在2023數(shù)字安全與發(fā)展高峰論壇上發(fā)布類GPT大模型“360智腦”，周鴻祎親切地稱其為“剛生出來的孩子”。4月10日，自學(xué)術(shù)圈走進(jìn)商界的AI獨(dú)角獸商湯科技對外發(fā)布了“日日新SenseNova”大模型體系，推出自然語言處理、內(nèi)容生成、自動化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力并提供實(shí)機(jī)演示。
4月11日，阿里在2023云峰會上發(fā)布“通義千問”大模型并向社會企業(yè)開放使用，邀請企業(yè)參與共創(chuàng)自己的大模型。發(fā)布會上，張勇在宣布將阿里系應(yīng)用接入大模型重做時(shí)，炫富式地展示了阿里系那令人眼花繚亂的商業(yè)應(yīng)用，完善的APP矩陣與數(shù)字商業(yè)積累顯然成為大模型訓(xùn)練的基石。
緊隨其后的騰訊“混元”大模型與華為的“盤古”大模型，一個(gè)把守著豐富的社交場景與信息流數(shù)據(jù)，另一個(gè)也手握智能硬件的高頻流量，而且兩者都通過云服務(wù)的市場地位獲取了極富商業(yè)價(jià)值的數(shù)據(jù)資產(chǎn)。
無論好壞，即使是“剛生出來的孩子”也要“抱出來給大家看”，眾大廠趕鴨子上架式的密集發(fā)布大模型，怎么看都有點(diǎn)飛蛾撲火的意思。
首先，構(gòu)建大模型是很難迅速產(chǎn)生商業(yè)價(jià)值的。參考大模型渴望復(fù)現(xiàn)的openAI，盡管在微軟的投資下，其公司估值越來越高，但至今仍未實(shí)現(xiàn)盈利。芯片、能耗、數(shù)據(jù)資產(chǎn)等剛性成本也將隨著入場者的增加水漲船高。在行業(yè)“乍暖還寒”、降本增效的當(dāng)下，將寶貴的現(xiàn)金流投進(jìn)AI的無底洞，未必是一個(gè)好主意。
其次，大模型并非通往強(qiáng)人工智能的唯一道路。隨著數(shù)據(jù)不斷增長，算力持續(xù)提升，優(yōu)化手段越來越好，模型也會越來越大。無數(shù)人工神經(jīng)元分層排列，而參數(shù)量描述了神經(jīng)元之間連接強(qiáng)度的可調(diào)值。模型的預(yù)訓(xùn)練就是在已知文本的基礎(chǔ)上不斷重復(fù)執(zhí)行并調(diào)整這些參數(shù)，以便算法下次做得更好，也就是我們所說的“調(diào)教”。
只是堆砌再多文本，AI習(xí)得的語言模式也無法讓其真正誕生邏輯思維，模仿不了數(shù)學(xué)推理。目前亦步亦趨在ChatGPT3.5之后的大模型們也將遭遇前者的困境。既然不是為了AI功能性的升級，那么耗費(fèi)海量算力與“鈔能力”的目的也顯而易見，ChatGPT為我們拉開了AI大模型商業(yè)化落地的大幕，緊隨其后上臺的人當(dāng)然要賺上同樣的吆喝。
正如微軟向OpenAI投資100億美元，將GPT全面接入自家應(yīng)用一樣，讓浩如江海的中小企業(yè)通過自己的大模型來打造屬于相應(yīng)的中小模型，是OpenAI昭示的商業(yè)落地路徑。大模型的井噴是這條路徑的復(fù)現(xiàn)，遵循著相同范式——花大錢做“費(fèi)力不討好”的大模型，爭取市場地位。
這一范式實(shí)際上也不新鮮。打個(gè)比方，在數(shù)字化時(shí)代下的應(yīng)用需要一個(gè)操作系統(tǒng)，微軟憑借Windows占據(jù)PC頭把交椅，即使后來者創(chuàng)造了無數(shù)使用體驗(yàn)更好的產(chǎn)品，也難以動搖微軟的地位，因?yàn)檫@些產(chǎn)品的開發(fā)都基于Windows這個(gè)操作系統(tǒng)。
而智能化時(shí)代同樣需要操作系統(tǒng)，在OpenAI進(jìn)不了國門的前提下，市場自然會尋求替代品，如今的大模型之爭本質(zhì)上是下一代操作系統(tǒng)之爭。面對當(dāng)下國內(nèi)大模型噴涌，APUS李濤認(rèn)為，“所有人在爭大模型的本質(zhì)，實(shí)際上是爭操作系統(tǒng)的話語權(quán)，一旦誰能控制，就會獲得最大的商業(yè)回報(bào)”。
在他看來，中小模型對應(yīng)商業(yè)場景，因此中小企業(yè)應(yīng)致力于此；大模型對應(yīng)行業(yè)標(biāo)準(zhǔn)，獲取話語權(quán)意味著主導(dǎo)未來生態(tài)。
AI浪潮前，我們共同經(jīng)歷數(shù)字化，平臺作為流量的集中入口，主宰移動互聯(lián)網(wǎng)商業(yè)的變現(xiàn)能力。AI浪潮下，我們共同經(jīng)歷智能化，大模型作為操作系統(tǒng)，主宰云上的業(yè)務(wù)和應(yīng)用。誰都想成為下一個(gè)谷歌和微軟，但過程想必不會輕松。
算力、場景、文本的堆砌歸根結(jié)底是一個(gè)錢字，飛蛾撲火中的玩家們有享受燒的過程的、有燃燒自己照亮他人的、當(dāng)然也有向往光明的。
正如李開復(fù)所言：“AI 2.0時(shí)代已經(jīng)到來，會誕生比移動互聯(lián)網(wǎng)大10倍的機(jī)會?！?/p>
大模型的主航道在哪？
More is different。
AI大模型或許還不是無所不能，但在要素的堆砌下，大模型無疑能兼容更多的場景和領(lǐng)域。如果說大模型的第一步是通用于各行各業(yè)，那么第二步飛躍便是在垂類場景中降本增效。
既然目標(biāo)是星辰大海，玩家們手中怎能缺了惡魔果實(shí)？
算力是AI發(fā)展的基礎(chǔ)三要素之一，是訓(xùn)練AI進(jìn)行海量數(shù)據(jù)的重復(fù)多輪處理的能力。據(jù)OpenAI測算，2012年開始，全球AI訓(xùn)練所用的計(jì)算量呈現(xiàn)指數(shù)增長，平均每3.43個(gè)月便會翻一倍，目前計(jì)算量已擴(kuò)大30萬倍，遠(yuǎn)超算力增長速度。GPT的迭代便足以直觀呈現(xiàn)算力需求的井噴，GPT-3模型參數(shù)量有1750億，是GPT-2的100余倍。下一代GPT-4模型的參數(shù)量雖未公布，但業(yè)內(nèi)人士預(yù)測其參數(shù)量足有上萬億。
公開信息顯示，GPT-3大模型需要訓(xùn)練355個(gè)GPU/年，假設(shè)企業(yè)以一個(gè)月為期限訓(xùn)練自己的大模型，將需要4260個(gè)AI加速卡方可讓產(chǎn)品面世。而這只是參與游戲的“入場券”需求，更重要的是通用大模型在垂類場景中展現(xiàn)的效能，而效能源自于大模型在高價(jià)值文本下的不斷訓(xùn)練。
換言之，誰手里掌握更多、更有價(jià)值、更普世的場景與數(shù)據(jù)，誰做出來的大模型更好。
首先我們得恭喜在移動互聯(lián)網(wǎng)時(shí)代中把握巨大流量入口的企業(yè)們，社交、電商、搜索等人們?nèi)粘Ｉ钪胁豢杀苊獾膽?yīng)用所產(chǎn)生的數(shù)據(jù)，具備讓大模型to C商業(yè)化落地的可能。其次我們還要恭喜數(shù)據(jù)庫廠商，各類垂直數(shù)據(jù)庫不可避免地成為大模型眼中的香餑餑，只是多個(gè)數(shù)據(jù)庫間不互通以及模型導(dǎo)入、存儲、使用等問題還有待解決方案。
大模型是唯一的正確道路？
AI模型一定是越大越好嗎？
知名期刊《Nature》就此議題采訪了多位專家，并發(fā)表了名為《In AI，is bigger always better？》的研究，一些科學(xué)家認(rèn)為，更大的模型只是在回答訓(xùn)練數(shù)據(jù)相關(guān)范圍內(nèi)的查詢上變得更好，并不能獲得回答全新問題的能力。
人工智能前沿的爭論之聲未消，但目前的通用大模型并不能真的通用于千行百業(yè)。一位業(yè)內(nèi)人士認(rèn)為，大模型最有價(jià)值的地方是通用性強(qiáng)，例如可以支持?jǐn)?shù)以萬計(jì)，甚至十萬計(jì)的小模型。
大模型雖好，卻是一門昂貴且需要耐心的事情。為了大模型的規(guī)模效應(yīng)，巨量算力成本背后的芯片與電力消耗已然成為掣肘AI進(jìn)一步發(fā)展的鎖鏈。而且以目前訓(xùn)練大型語言模型所涉及的數(shù)據(jù)、計(jì)算能力和費(fèi)用來看，只有擁有超大計(jì)算資源的公司才能做到。
以谷歌與柏林大學(xué)合作研發(fā)，用來和GPT3打?qū)ε_的PaLM為例，5400億的恐怖參數(shù)下，研究人員測算其訓(xùn)練一次的成本便上千萬美元，谷歌自己在訓(xùn)練PaLM的兩個(gè)月內(nèi)便耗電3.4千兆瓦時(shí)，這相當(dāng)于大約300個(gè)美國家庭一年的能源消耗。
即便谷歌稱其所耗能源構(gòu)成有89%為清潔能源，但目前國內(nèi)主流發(fā)電形式仍是火電和“看天吃飯”的水電。
芯片方面，由于目前國產(chǎn)自研芯片最高端水準(zhǔn)的14nm芯片只能覆蓋云計(jì)算算力需求而無法覆蓋AI算力需求，大模型構(gòu)建同樣面臨“卡脖子”問題。大模型算力需求的英偉達(dá)GPU芯片一方面成本高昂，單塊1萬美元到2萬美元的售價(jià)反映在大模型構(gòu)建上，便是數(shù)十億美元。國內(nèi)大模型玩家還能騰出多少閑置芯片來訓(xùn)練大模型？例如阿里的存糧能給大模型勻多少量還是一件值得深究的事情。
再者是，目前的中國企業(yè)與個(gè)人并不是非大模型不可。即使忽視大模型真的面向千行百業(yè)后，在訓(xùn)練上將產(chǎn)生的巨額功耗與成本，我們也不能忽視目前諸多垂類行業(yè)數(shù)據(jù)稀缺、邏輯難以被AI所理解模仿的現(xiàn)狀。
而且，程序員們一定知道多任務(wù)、多線程可是會互相打架的。按照張勇在阿里云峰會上提出的“用大模型重做各個(gè)應(yīng)用”，用各行各業(yè)具有沖突性的數(shù)據(jù)訓(xùn)練，不一定能提高垂類行業(yè)使用模型的效能。在參數(shù)猛增的情況下，精度未必能一直持續(xù)上漲，即使是Transformer架構(gòu)，也具有它的極限。
相同大模型“賦能”之下的同質(zhì)化人才同樣不具備競爭力，而是被AI覆蓋的“時(shí)代的眼淚”。相反，如果AI能成為個(gè)人的個(gè)性化化身，是放大自身能力的小模型，說不定還能在被大模型覆蓋的世界中殺出一條血路。
那么能不能用大模型對小模型蒸餾，讓大模型學(xué)習(xí)小模型的成果呢？目前這一做法面臨大小模型架構(gòu)差異的問題，如何順暢互通還是未知數(shù)。
不論AI的未來是more is different還是less is more，通用大模型的“通用”二字還是要打上一個(gè)問號。