文|遠川科技評論 陳彬
編輯|李墨天
上個月，AI業(yè)界爆發(fā)了一場“動物戰(zhàn)爭”。
一方是Meta推出的Llama（美洲駝），由于其開源的特性，歷來深受開發(fā)者社區(qū)的歡迎。NEC（日本電氣）在仔細鉆研了Llama論文和源代碼后，迅速“自主研發(fā)”出了日語版ChatGPT，幫日本解決了AI卡脖子難題。
另一方則是一個名為Falcon（獵鷹）的大模型。今年5月，F(xiàn)alcon-40B問世，力壓美洲駝登頂了“開源LLM（大語言模型）排行榜”。
該榜單由開源模型社區(qū)Hugging face制作，提供了一套測算LLM能力的標準，并進行排名。排行榜基本上就是Llama和Falcon輪流刷榜。
Llama 2推出后，美洲駝家族扳回一城；可到了9月初，F(xiàn)alcon推出了180B版本，又一次取得了更高的排名。
Falcon以68.74分力壓Llama 2
有趣的是，“獵鷹”的開發(fā)者不是哪家科技公司，而是位于阿聯(lián)酋首都阿布扎比的科技創(chuàng)新研究所。政府人士表示，“我們參與這個游戲是為了顛覆核心玩家”[4]。
180B版本發(fā)布第二天，阿聯(lián)酋人工智能部長奧馬爾就入選了《時代周刊》評選的“AI領(lǐng)域最具影響力的100人”；與這張中東面孔一同入選的，還有“AI教父”辛頓、OpenAI的阿爾特曼，以及李彥宏。
阿聯(lián)酋人工智能部長
如今，AI領(lǐng)域早已步入了“群魔亂舞”的階段：但凡有點財力的國家和企業(yè)，或多或少都有打造“XX國版ChatGPT”的計劃。僅在海灣國家的圈子內(nèi)，已不止一個玩家——8月，沙特阿拉伯剛剛幫國內(nèi)大學(xué)購買了3000多塊H100，用于訓(xùn)練LLM。
金沙江創(chuàng)投朱嘯虎曾在朋友圈吐槽道：“當(dāng)年看不起（互聯(lián)網(wǎng)的）商業(yè)模式創(chuàng)新，覺得沒有壁壘：百團大戰(zhàn)、百車大戰(zhàn)、百播大戰(zhàn)；沒想到硬科技大模型創(chuàng)業(yè)，依然是百模大戰(zhàn)...”
說好的高難度硬科技，怎么就搞成一國一模畝產(chǎn)十萬斤了？
Transformer吞噬世界
美國的初創(chuàng)公司、中國的科技巨擘、中東的石油大亨能夠逐夢大模型，都得感謝那篇著名的論文：《Attention Is All You Need》。
2017年，8位谷歌的計算機科學(xué)家在這篇論文中，向全世界公開了Transformer算法。這篇論文目前是人工智能歷史上被引數(shù)量第三高的論文，Transformer的出現(xiàn)則扣動了此輪人工智能熱潮的扳機。
無論當(dāng)前的大模型是什么國籍，包括轟動世界的GPT系列，都是站在了Transformer的肩膀上。
在此之前，“教機器讀書”曾是個公認的學(xué)術(shù)難題。不同于圖像識別，人類在閱讀文字時，不僅會關(guān)注當(dāng)前看到的詞句，更會結(jié)合上下文來理解。
比如“Transformer”一詞其實可翻譯成“變形金剛”，但本文讀者肯定不會這么理解，因為大家都知道這不是一篇講好萊塢電影的文章。
但早年神經(jīng)網(wǎng)絡(luò)的輸入都彼此獨立，并不具備理解一大段文字、甚至整篇文章的能力，所以才會出現(xiàn)把“開水間”翻譯成“open water room”這種問題。
直到2014年，在谷歌工作、后來跳槽去了OpenAI的計算機科學(xué)家伊利亞（Ilya Sutskever）率先出了成果。他使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來處理自然語言，使谷歌翻譯的性能迅速與競品拉開了差距。
RNN提出了“循環(huán)設(shè)計”，讓每個神經(jīng)元既接受當(dāng)前時刻輸入信息，也接受上一時刻的輸入信息，進而使神經(jīng)網(wǎng)絡(luò)具備了“結(jié)合上下文”的能力。
循環(huán)神經(jīng)網(wǎng)絡(luò)
RNN的出現(xiàn)點燃了學(xué)術(shù)圈的研究熱情，日后Transformer的論文作者沙澤爾（Noam Shazeer）也一度沉迷其中。然而開發(fā)者們很快意識到，RNN存在一個嚴重缺陷：
該算法使用了順序計算，它固然能解決上下文的問題，但運行效率并不高，很難處理大量的參數(shù)。
RNN的繁瑣設(shè)計，很快讓沙澤爾感到厭煩。因此從2015年開始，沙澤爾和7位同好便著手開發(fā)RNN的替代品，其成果便是Transformer[8]。
Noam Shazeer
相比于RNN，Transformer的變革有兩點：
一是用位置編碼的方式取代了RNN的循環(huán)設(shè)計，從而實現(xiàn)了并行計算——這一改變大大提升了Transformer的訓(xùn)練效率，從而變得能夠處理大數(shù)據(jù)，將AI推向了大模型時代；二是進一步加強了上下文的能力。
隨著Transformer一口氣解決了眾多缺陷，它漸漸發(fā)展成了NLP（自然語言處理）的唯一解，頗有種“天不生Transformer，NLP萬古如長夜”的既視感。連伊利亞都拋棄了親手捧上神壇的RNN，轉(zhuǎn)投Transformer。
換句話說，Transformer是如今所有大模型的祖師爺，因為他讓大模型從一個理論研究問題，變成了一個純粹的工程問題。
LLM技術(shù)發(fā)展樹狀圖，灰色的樹根就是Transformer[9]
2019年，OpenAI基于Transformer開發(fā)出了GPT-2，一度驚艷了學(xué)術(shù)圈。作為回應(yīng)，谷歌迅速推出了一個性能更強的AI，名叫Meena。
和GPT-2相比，Meena沒有底層算法上的革新，僅僅是比GPT-2多了8.5倍的訓(xùn)練參數(shù)、14倍的算力。Transformer論文作者沙澤爾對“暴力堆砌”大受震撼，當(dāng)場寫了篇“Meena吞噬世界”的備忘錄。
Transformer的問世，讓學(xué)術(shù)界的底層算法創(chuàng)新速度大大放緩。數(shù)據(jù)工程、算力規(guī)模、模型架構(gòu)等工程要素，日漸成為AI競賽的重要勝負手，只要有點技術(shù)能力的科技公司，都能手搓一個大模型出來。
因此，計算機科學(xué)家吳恩達在斯坦福大學(xué)做演講時，便提到一個觀點：“AI是一系列工具的集合，包括監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)以及現(xiàn)在的生成式人工智能。所有這些都是通用技術(shù)，與電力和互聯(lián)網(wǎng)等其他通用技術(shù)類似。[10]”
OpenAI固然仍是LLM的風(fēng)向標，但半導(dǎo)體分析機構(gòu)Semi Analysis認為，GPT-4的競爭力源自工程解決方案——如果開源，任何競爭對手都能迅速復(fù)現(xiàn)。
該分析師預(yù)計，或許用不了太久，其他大型科技公司也能打造出同等于GPT-4性能的大模型[11]。
建在玻璃上的護城河
當(dāng)下，“百模大戰(zhàn)”已不再是一種修辭手法，而是客觀現(xiàn)實。
相關(guān)報告顯示，截止至今年7月，國內(nèi)大模型數(shù)量已達130個，高于美國的114個，成功實現(xiàn)彎道超車，各種神話傳說已經(jīng)快不夠國內(nèi)科技公司取名的了[12]。
而在中美之外，一眾較為富裕的國家也初步實現(xiàn)了“一國一?！保撼巳毡九c阿聯(lián)酋，還有印度政府主導(dǎo)的大模型Bhashini、韓國互聯(lián)網(wǎng)公司Naver打造的HyperClova X等等。
眼前這陣仗，仿佛回到了那個漫天泡沫、“鈔能力”對轟的互聯(lián)網(wǎng)拓荒時代。
正如前文所說，Transformer讓大模型變成了純粹的工程問題，只要有人有錢有顯卡，剩下的就丟給參數(shù)。但入場券雖不難搞，也并不意味著人人都有機會成為AI時代的BAT。
開頭提到的“動物戰(zhàn)爭”就是個典型案例：Falcon雖然在排名上力壓美洲駝，但很難說對Meta造成了多少沖擊。
眾所周知，企業(yè)開源自身的科研成果，既是為了與社會大眾分享科技的福祉，同樣也希望能調(diào)動起人民群眾的智慧。隨著各個大學(xué)教授、研究機構(gòu)、中小企業(yè)不斷深入使用、改進Llama，Meta可以將這些成果應(yīng)用于自己的產(chǎn)品之中。
對開源大模型而言，活躍的開發(fā)者社群才是其核心競爭力。
而早在2015年組建AI實驗室時，Meta已定下了開源的主基調(diào)；扎克伯格又是靠社交媒體生意發(fā)的家，更是深諳于“搞好群眾關(guān)系”這件事。
譬如在10月，Meta就專程搞了個“AI版創(chuàng)作者激勵”活動：使用Llama 2來解決教育、環(huán)境等社會問題的開發(fā)者，將有機會獲得50萬美金的資助。
時至今日，Meta的Llama系列儼然已是開源LLM的風(fēng)向標。
截至10月初，Hugging face的開源LLM排行榜Top 10中，共有8個都是基于Llama 2所打造的，均使用了它的開源協(xié)議。僅在Hugging face上，使用了Llama 2開源協(xié)議的LLM已經(jīng)超過了1500個[13]。
截止至10月初，Hugging face上排名第一的LLM，基于Llama 2打造
當(dāng)然，像Falcon一樣提高性能也未嘗不可，但時至今日，市面上大多數(shù)LLM仍和GPT-4有著肉眼可見的性能差距。
例如前些日子，GPT-4就以4.41分的成績問鼎AgentBench測試頭名。AgentBench標準由清華大學(xué)與俄亥俄州立大學(xué)、加州大學(xué)伯克利分校共同推出，用于評估LLM在多維度開放式生成環(huán)境中的推理能力和決策能力，測試內(nèi)容包括了操作系統(tǒng)、數(shù)據(jù)庫、知識圖譜、卡牌對戰(zhàn)等8個不同環(huán)境的任務(wù)。
測試結(jié)果顯示，第二名的Claude僅有2.77分，差距仍較為明顯。至于那些聲勢浩大的開源LLM，其測試成績多在1分上下徘徊，還不到GPT-4的1/4[14]。
AgentBench測試結(jié)果
要知道，GPT-4發(fā)布于今年3月，這還是全球同行追趕了大半年之后的成績。而造成這種差距的，是OpenAI“智商密度”極高的科學(xué)家團隊與長期研究LLM積累下來的經(jīng)驗，因此可以始終遙遙領(lǐng)先。
也就是說，大模型的核心能力并不是參數(shù)，而是生態(tài)的建設(shè)（開源）或純粹的推理能力（閉源）。
隨著開源社區(qū)日漸活躍，各個LLM的性能可能會趨同，因為大家都在使用相似的模型架構(gòu)與相似的數(shù)據(jù)集。
另一個更直觀的難題是：除了Midjourney，好像還沒有哪個大模型能賺到錢。
價值的錨點
今年8月，一篇題為“OpenAI可能會于2024年底破產(chǎn)”的奇文引起了不少關(guān)注[16]。文章主旨幾乎能用一句話概括：OpenAI的燒錢速度太快了。
文中提到，自從開發(fā)ChatGPT之后，OpenAI的虧損正迅速擴大，僅2022年就虧了約5.4億美元，只能等著微軟投資人買單。
文章標題雖聳人聽聞，卻也講出了一眾大模型提供商的現(xiàn)狀：成本與收入嚴重失衡。
過于高昂的成本，導(dǎo)致目前依靠人工智能賺了大錢的只有英偉達，頂多再加個博通。
據(jù)咨詢公司Omdia預(yù)估，英偉達在今年二季度賣出了超30萬塊H100。這是一款A(yù)I芯片，訓(xùn)練AI的效率奇高無比，全世界的科技公司、科研機構(gòu)都在搶購。如果將賣出的這30萬塊H100疊在一起，其重量相當(dāng)于4.5架波音747飛機[18]。
英偉達的業(yè)績也順勢起飛，同比營收暴漲854%，一度驚掉了華爾街的下巴。順帶一提，目前H100在二手市場的價格已被炒到4-5萬美金，但其物料成本僅有約3000美金出頭。
高昂的算力成本已經(jīng)在某種程度上成為了行業(yè)發(fā)展的阻力。紅杉資本曾做過一筆測算：全球的科技公司每年預(yù)計將花費2000億美金，用于大模型基礎(chǔ)設(shè)施建設(shè)；相比之下，大模型每年最多只能產(chǎn)生750億美金的收入，中間存在著至少1250億美金的缺口[17]。
黃仁勛與H100
另外，除了Midjourney等少數(shù)個例，大部分軟件公司在付出了巨大的成本后，還沒想清楚怎么賺錢。尤其是行業(yè)的兩位帶頭大哥——微軟和Adobe都走的有些踉蹌。
微軟和OpenAI曾合作開發(fā)了一個AI代碼生成工具GitHub Copilot，雖然每個月要收10美元月費，但由于設(shè)施成本，微軟反而要倒虧20美元，重度用戶甚至能讓微軟每月倒貼80美元。依此推測，定價30美元的Microsoft 365 Copilot，搞不好虧的更多。
無獨有偶，剛剛發(fā)布了Firefly AI工具的Adobe，也迅速上線了一個配套的積分系統(tǒng)，防止用戶重度使用造成公司虧損。一旦有用戶使用了超過每月分配的積分，Adobe就會給服務(wù)減速。
要知道微軟和Adobe已經(jīng)是業(yè)務(wù)場景清晰，擁有大量現(xiàn)成付費用戶的軟件巨頭。而大部分參數(shù)堆上天的大模型，最大的應(yīng)用場景還是聊天。
不可否認的是，如果沒有OpenAI和ChatGPT的橫空出世，這場AI革命或許壓根不會發(fā)生；但在當(dāng)下，訓(xùn)練大模型所帶來的價值恐怕得打一個問號。
而且，隨著同質(zhì)化競爭加劇，以及市面上的開源模型越來越多，留給單純的大模型供應(yīng)商的空間或許會更少。
iPhone 4的火爆不是因為45nm制程的A4處理器，而是它可以玩植物大戰(zhàn)僵尸和憤怒的小鳥。
參考資料
[1] LLM Leaderboard Gone Wrong，Analytics India Mag
[2] NEC獨自の大規(guī)模言語モデル（LLM）開発の裏側(cè)に迫る
[3] Spread Your Wings: Falcon 180B is here
[4] Abu Dhabi throws a surprise challenger into the AI race，The Economist
[5] TIME 100/AI
[6] OpenAI背后的領(lǐng)袖Ilya Sutskever：一個計算機視覺、機器翻譯、游戲和機器人的變革者，機器之心
[7] 深度學(xué)習(xí)算法發(fā)展：從多樣到統(tǒng)一，國金證券
[8] Your AI Friends Have Awoken, With Noam Shazeer，No Priors
[9] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond，Jingfeng Yang、Hongye Jin等
[10] Andrew Ng: Opportunities in AI - 2023，Stanford Online
[11] GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE，Semi Analysis
[12] IT 2023，賽迪顧問
[13] Open LLM Leaderboard，Hugging face
[14] AgentBench: Evaluating LLMs as Agents，Xiao Liu, Hao Yu等
[15] Who Owns the Generative AI Platform，a16z
[16] OpenAI Might Go Bankrupt by the End of 2024，Analytics India Mag
[17] AI’s $200B Question，Sequoia
[18] Nvidia Sold 900 Tons of H100 GPUs Last Quarter, Says Analyst Firm，tomshardware
[19] Character.ai's Noam Shazeer: "Replacing Google - and your mom"，Danny In The Valley
視覺設(shè)計：疏睿
責(zé)任編輯：李墨天