文|硅谷101 陳茜inTheValley
2022年11月30日,OpenAI的ChatGPT正式上線,從此AI大模型浪潮席卷而來,硅谷創(chuàng)業(yè)市場瞬間火爆,風(fēng)投資本極速轉(zhuǎn)向,二級金融概念股瘋狂飆升,科技巨頭拉響紅色警報,搶奪人類未來的蛋糕爭奪戰(zhàn),正式開打。
僅僅一年,隨著各大資本和巨頭入場,AI人工智能的技術(shù)迅速發(fā)展。
從底層大模型,到基礎(chǔ)設(shè)施,到機(jī)器學(xué)習(xí)操作(MLOps),再到消費(fèi)端應(yīng)用,生成式AI的生態(tài)已經(jīng)初步建立,并且將在2024年隨著AI的進(jìn)一步訓(xùn)練和穩(wěn)定,行業(yè)發(fā)展會加速向下游移動,人工智能會進(jìn)一步改變你我的生活,乃至改變整個世界。
這篇文章我們給大家梳理了ChatGPT發(fā)布一周年的時間線,看看大模型如何改變了這個世界。
01、OpenAI這一年:愈發(fā)龐大和神秘
我們先來看看OpenAI在這一年發(fā)生了什么。
2022年11月30日,ChatGPT正式上線
2022 年12月4日,推出 4 天后,用戶破百萬;兩個月后,用戶破億
2023年1月23日,微軟向 OpenAI 投資 100 億美元
2023年2月1日,OpenAI 推出 ChatGPT plus訂閱,開啟了付費(fèi)旅程
2023年3月14日,OpenAI 發(fā)布 GPT-4,plus 用戶可訪問
2023年3月23日,ChatGPT Plus 用戶可以訪問第三方插件和瀏覽模式(可以訪問互聯(lián)網(wǎng))
2023年5月18日,OpenAI 推出了 ChatGPT的iOS 應(yīng)用程序
2023年7月10日,OpenAI 向 ChatGPT Plus 的所有訂閱者提供其專有的代碼解釋器(Code Interpreter)插件
2023年9月25日,OpenAI 宣布 ChatGPT“現(xiàn)在可以看、聽、說”。ChatGPT Plus 用戶可以上傳圖像,而移動應(yīng)用程序用戶可以與聊天機(jī)器人交談
2023年10月19日,OpenAI 最新的圖像生成模型 DALL-E 3 被集成到 ChatGPT Plus 和 ChatGPT Enterprise 中;該集成使用 ChatGPT 在與用戶對話的指導(dǎo)下編寫 DALL-E 提示
2023年11月6日,OpenAI舉行開發(fā)者大會,推出了 GPTs,用戶可以自定義自己的GPT,未來甚至還能上傳到GPT store
2023年11月17日,Sam Altman被董事會罷免
2023年11月21日晚,Sam Altman回到OpenAI、恢復(fù)CEO頭銜
正值ChatGPT一周年之際,OpenAI內(nèi)部上演了連續(xù)反轉(zhuǎn)的董事會罷免CEO事件,雖然最終Sam Altman回歸公司,但這場風(fēng)波將OpenAI內(nèi)部的分裂呈現(xiàn)在了世人面前,而這家公司的內(nèi)部沖突和信息不透明,讓外界對AI的發(fā)展充滿了疑問和擔(dān)憂。
比如GPT-5是什么樣子的?Q*項目是什么?是什么觸發(fā)了OpenAI此次的管理層沖突?AGI真的在OpenAI內(nèi)部達(dá)到了嗎?ChatGPT一周年,人們對AI發(fā)展的問號更多了,而OpenAI并沒有變得更透明,而是越來越神秘...
路透社爆料說,在Sam Altman被董事會罷免之前,OpenAI內(nèi)部的研究人員發(fā)送給董事會一封信件,這封信警告稱他們發(fā)現(xiàn)了一種可能對人類構(gòu)成威脅的重大人工智能技術(shù),代號為Q*。Q*被一些 OpenAI 的人認(rèn)為可能通向超級智能或人工通用智能(AGI)的重大突破。研究人員認(rèn)為它可能對人類構(gòu)成威脅。
而正巧在不久前的亞太經(jīng)合組織峰會上,Sam Altman說了以下這段話:
“在 OpenAI 的歷史上,現(xiàn)在已經(jīng)是第四次,最近一次是在過去幾周內(nèi),我有幸在房間里,當(dāng)我們推開無知的面紗,將發(fā)現(xiàn)的邊界向前推進(jìn),能夠做到這一點(diǎn)是我一生職業(yè)上的榮譽(yù)?!?/p>
然后外界又開始各種猜測Q*是啥?是不是OpenAI內(nèi)部已經(jīng)達(dá)到AGI了?各種陰謀論,公式,引用,都出現(xiàn)了。
英偉達(dá)資深A(yù)I科學(xué)家Jim Fan也在LinkedIn上說:
“我從未見過一個讓這么多人幻想的算法。只是一個名字,沒有論文,沒有統(tǒng)計數(shù)據(jù),沒有產(chǎn)品,就開始讓我們對 Q* 幻想進(jìn)行逆向工程?!?/p>
但跟硅谷一些資深的AI科學(xué)家聊過之后,可能的結(jié)論是:并沒有傳得這么神。
目前我們覺得比較靠譜的猜測是:AI領(lǐng)域有一個技術(shù)叫Q-learning,大致的可以理解為自己學(xué)習(xí)自己。比如說,AlphaGo學(xué)習(xí)了人類以往的所有棋譜, 然后開始在互聯(lián)網(wǎng)上和人類棋手下棋。這個時候的AlphaGo圍棋的水平相比人類頂尖棋手還只能說得上是有來有回,這也是它打敗柯潔和李世石能引起如此轟動的原因。但是人類的棋譜終究是有限的,能陪著AI下棋的人類頂尖棋手也是有限的,想要進(jìn)步更快就要有更多的對局,更多的棋譜,其中一個辦法就是自己和自己下棋。通過自我對弈,AlphaGo Zero在三天內(nèi)以100比0的戰(zhàn)績戰(zhàn)勝了AlphaGo Lee(也就是戰(zhàn)勝了李世石的AI版),用40天超越了所有舊版本。
從此以后,人類棋手和AlphaGo的水平天差地別。
我們都知道,GPT-3幾乎學(xué)習(xí)了整個互聯(lián)網(wǎng)的內(nèi)容,那么問題來了:人類寫的內(nèi)容學(xué)習(xí)完了怎么辦?能不能AI學(xué)習(xí)自己生成的內(nèi)容?也就是說:Q*有可能代表著大模型也可以通過學(xué)習(xí)自己生成的內(nèi)容變強(qiáng)了。
當(dāng)然,這都是外界的猜測,并不是OpenAI官方的解讀。但這也是問題所在:OpenAI董事會為什么會罷免Sam Altman?到底什么是觸發(fā)因素?技術(shù)突破到底是什么?Q*是外界過度解讀了嗎?任憑外界如何謠傳如何解讀,OpenAI目前也并沒有任何官方信息和解釋。
在ChatGPT上線一周年之際,OpenAI正變得越來越神秘。而OpenAI也正變得越來越龐大、話語權(quán)越來越重要、對資金的追求越來越強(qiáng)勢。
就在2023年圣誕節(jié)的前幾天新聞爆出:OpenAI正在用1000億美元的估值在進(jìn)行下一輪融資的談判。如果達(dá)到這一估值,OpenAI將成為僅次于SpaceX的第二大估值的美國初創(chuàng)獨(dú)角獸公司。
而在OpenAI快速推進(jìn)新模型訓(xùn)練、同時推出商業(yè)化產(chǎn)品、打造生態(tài)之際,巨頭們也沒有閑著。
02、微軟這一年:亦敵亦友
首先來說說迄今為止的領(lǐng)跑者之一:微軟。
ChatGPT火爆全球之后,大家才發(fā)現(xiàn),原來微軟才是這背后的大贏家。除了火速向OpenAI追加100億美元投資、股份占比49%之外,微軟動作很快地將GPT運(yùn)用在自家的應(yīng)用上。
2023年2月7日微軟推出集成了GPT的bing chat,或者叫new bing。2023年3月16日,微軟發(fā)布了 Microsoft 365 Copilot,將 GPT-4 集成在了 Word、Excel、PowerPoint、Outlook、Teams 等 Microsoft 365 中。
發(fā)布這些新功能只是第一步,接下來還有無數(shù)的調(diào)整、優(yōu)化工作,并且還要采購足夠多的服務(wù)器支持上億用戶的使用。直到今年 11 月 15 日,微軟舉行 Ignite技術(shù)大會,微軟 CEO 納德拉(Satya Nadella)表示:
微軟是 Copilot(AI 助手)公司,現(xiàn)在是 Copilot 時代(Age of copilots),每個人做任何事情都將有一個 AI Copilot。
微軟宣布Bing Chat更名為Copilot,可以免費(fèi)使用GPT-4、DALL·E 3功能,并且擁有了獨(dú)立網(wǎng)站,Copilot 將嵌入所有微軟旗下應(yīng)用中。微軟還推出Copilot Studio,你可以自定義GPT、創(chuàng)建新插件、自定義工作流。
而慢慢的,我們開始發(fā)現(xiàn)微軟和OpenAI之間的關(guān)系發(fā)生了一點(diǎn)微妙的變化:在Sam Altman的董事會罷免風(fēng)波期間,微軟和CEO納德拉除了快速穩(wěn)定局面之外,還將不少OpenAI的客戶,特別是大客戶群體,轉(zhuǎn)移到了自身平臺上,因為通過微軟云計算服務(wù)Azure,也能調(diào)用OpenAI模型,包括ChatGPT,Codex以及DALL-E,還不用擔(dān)心OpenAI的內(nèi)斗風(fēng)險。
張璐,F(xiàn)usion Fund創(chuàng)始管理合伙人:
在當(dāng)時發(fā)生Sam Altman被罷免的這個周末之內(nèi),其實(shí)有很多家的初創(chuàng)企業(yè)已經(jīng)直接從OpenAI轉(zhuǎn)向了微軟的云服務(wù)平臺。因為在那邊不僅可以用到Azure,他也可以直接去調(diào)用OpenAI的模型,在微軟平臺上。那還有很多的公司就轉(zhuǎn)向了他的競爭對手Anthropic,Anthropic那邊他的股權(quán)架構(gòu)、公司架構(gòu)就簡單直接的多。所以我覺得在這樣的一個競爭越來越激烈的生態(tài)下,市場的形態(tài)下,雖然OpenAI現(xiàn)在還是有先發(fā)優(yōu)勢,有技術(shù)優(yōu)勢,但是他競爭對手成長速度也很快,可能留給OpenAI的時間并不多了。
所以,微軟和OpenAI的關(guān)系,雖然深度綁定,但也各懷異心。
比如說OpenAI與微軟的競爭對手Salesforce建立合作,微軟也是OpenAI的競爭對手,Meta的開源大模型Llama 2站臺成為首發(fā)合作伙伴。所以,深度綁定又亦敵亦友的關(guān)系,微軟和OpenAI在接下來的一年會如何發(fā)展,我們拭目以待。
接下來,再來說說另外一個大玩家:谷歌。
03、谷歌這一年:紅色警報下的全力以赴
在ChatGPT出現(xiàn)的時候,市場一片唱衰谷歌的聲音,現(xiàn)在依然如此。但谷歌在這一年中,也被迫加快了步伐。
特別是在年底的時候。之前已經(jīng)有報道說谷歌最被關(guān)注的多模態(tài)模型Gemini推遲到2024年第一季度,結(jié)果,谷歌在12月圣誕節(jié)之前哐哐狂發(fā)模型,不僅發(fā)了Gemini,還發(fā)了文生圖AI模型Imagen 2,還有,視頻生成模型VideoPoet,以及在醫(yī)療垂類上也瘋狂發(fā)力,推出醫(yī)療人工智能大模型MedLM等等,紅色警報來了之后,谷歌卷起來是真卷。我們接下來用時間軸來回顧一下谷歌的這一年。
2023年2月6日,感受到ChatGPT和微軟的壓力,Google正式發(fā)布聊天機(jī)器人Bard。
2月8日,Google舉行Bard的新聞發(fā)布會,然而,在當(dāng)天的發(fā)布的宣傳視頻上卻犯了錯,直接在一個天文問題上給出了錯誤的答案,市場認(rèn)為,谷歌在恐慌中將Bard推向市場,一夜之間市值蒸發(fā)超過千億美元。
之后,谷歌決定奮起直追。
2023年3月10日,谷歌推出PaLM-E,史上最大的視覺語言模型,具有 5620 億個參數(shù),集成了可控制機(jī)器人的視覺和語言能力。
2023年5月10日,谷歌推出了3400 億參數(shù)的PaLM 2,來對打GPT-4,號稱“在參數(shù)量更小的情況下,讓模型可以更高效地完成更復(fù)雜的任務(wù)”。
相比OpenAI,Anthropic,以及其它的開源大模型,谷歌既不是大模型公司,也不打算開源,也就是說,谷歌看中的是模型和自身應(yīng)用的結(jié)合。
比如谷歌在發(fā)布會中說:超過25個產(chǎn)品和應(yīng)用接入了PaLM 2的能力,包括對標(biāo)微軟365 Copilot,以及AI在Gmail、Google Docs、Google Sheets中應(yīng)用的能力。
財經(jīng)媒體CNBC還爆料說:谷歌正在研發(fā)PaLM 2和廣告的結(jié)合,包括允許廣告商生成自己的內(nèi)容和媒體資產(chǎn),還有對標(biāo)題和描述等方向的PaLM 2結(jié)合,都在測試當(dāng)中。CNBC這篇爆料顯示,AI驅(qū)動會在100多種谷歌產(chǎn)品上運(yùn)行,包括Google Play商店、Gmail、Android搜索和地圖等。
年中的時候谷歌還相對安靜,但在12月,谷歌突然發(fā)力。
2023年12月6日,外界期待已久的谷歌多模態(tài)大模型Gemini (雙子座)終于發(fā)布,包含三個版本:Nano、Pro和Ultra,Pro對標(biāo)GPT-3.5,Ultra對標(biāo)OpenAI在今年3月發(fā)布的GPT-4,被谷歌CEO Sundar Pichai稱為“谷歌迄今為止能力最強(qiáng)的AI模型”,可以處理文本之外的信息,包括圖像、視頻和音頻。從谷歌發(fā)布的演示視頻中能看出,Gemini結(jié)合了視覺和聽覺,充分展示出多模態(tài)模型的巨大應(yīng)用潛力。
但是,也正是這段視頻,在業(yè)內(nèi)掀起了激烈討論。谷歌的Gemini演示視頻看上去非常流暢、一氣呵成,但后來在同步發(fā)布的60頁報告中,被發(fā)現(xiàn),Gemini結(jié)果下面灰色小字標(biāo)注“CoT@32”,這是什么意思呢?
這代表:Gemini的測試使用了思維鏈提示技巧、嘗試了32次選最好結(jié)果,被批評夸大測評成績、把最好的拍攝結(jié)果拼湊在一起,但實(shí)際準(zhǔn)確度根本達(dá)不到。對此,谷歌也直言不諱,承認(rèn)視頻經(jīng)過后期處理和剪輯。而Gemini到底上線之后能達(dá)到什么效果?我們要等到2024年才會有更清楚的認(rèn)知。
目前谷歌內(nèi)部已經(jīng)有多條產(chǎn)品線開始和Gemini融合,或者基于Gemini開始衍生出各種應(yīng)用的想象,包括一個被稱為“埃爾曼計劃”(Project Ellmann)的項目,讓AI大模型讀取用戶的照片、搜索歷史和生活記憶等數(shù)據(jù),創(chuàng)建一個能有birdview“鳥瞰”人們一生數(shù)據(jù)、全面了解你懂你的AI生活助手。埃爾曼計劃團(tuán)隊演示的時候就描述說:“想象一下打開ChatGPT,但它已經(jīng)知道你生活的一切。你會問它什么?”
與此同時,2023年12月13日,谷歌上線文生圖模型Imagen 2:這個文生圖的增強(qiáng)模型由Google DeepMind開發(fā)。Google 聲稱與第一代Imagen 相比,Imagen 2在圖像質(zhì)量方面顯著提高,并引入了新功能,包括渲染文本,可以用于商業(yè)用途和品牌LOGO的生成。通過改變訓(xùn)練數(shù)據(jù)和方法,Imagen 2能夠生成更高分辨率、更美觀的圖像。
幾天之后,在文生圖模型之外,谷歌又在12月19日推出了視頻生成模型VideoPoet:不僅能根據(jù)視頻加入音頻效果,允許交互編輯,更重要的是,比起其它視頻生成應(yīng)用只能輸出2秒左右很短的視頻,VideoPoet通過一個討巧的辦法,讓AI根據(jù)前一個視頻的最后一秒接著預(yù)測下一秒的內(nèi)容,來延長了視頻生成的長度。
同時,在2023年12月13日谷歌在醫(yī)療人工智能大模型上持續(xù)發(fā)力,推出MedLM。這個模型基于Med-PaLM 2。在2022年,谷歌Med-PaLM模型因為通過了美國醫(yī)療執(zhí)照考試(USMLE)而成為頭條新聞,當(dāng)時的準(zhǔn)確率為67%,而今年,Med-PaLM 2進(jìn)一步將準(zhǔn)確率大幅提升至86.5%,根據(jù)谷歌的說法,這個分?jǐn)?shù)相當(dāng)于“專家”醫(yī)生水平。
谷歌表示,在未來幾個月,會將基于Gemini的模型集成到MedLM模型中,以進(jìn)一步擴(kuò)展其人工智能功能,未來旨在用于整個醫(yī)療保健行業(yè)的各個方面,包括醫(yī)院、藥物開發(fā)、面向患者的聊天機(jī)器人等。例如,美國醫(yī)療保健巨頭HCA Healthcare正在將MedLM模型用于記錄臨床醫(yī)生與患者之間的對話,并將其自動轉(zhuǎn)譯為醫(yī)療記錄,從而提高記錄的質(zhì)量。AI藥物發(fā)現(xiàn)平臺BenchSci正在使用MedLM模型快速篩選大量臨床數(shù)據(jù)并識別某些疾病和生物標(biāo)志物之間的聯(lián)系。
而谷歌在年底狂發(fā)模型這一點(diǎn)也很有意思,谷歌的新品發(fā)布時間大多集中在每年的5月到6月,過去幾乎沒有在年底的時間段發(fā)布過重要產(chǎn)品。而業(yè)內(nèi)有分析認(rèn)為:這次破例意味著谷歌的管理層擔(dān)心OpenAI的ChatGPT、微軟的Copilot以及其它快速發(fā)布迭代的產(chǎn)品正在成為AI領(lǐng)域的代表,谷歌必須加速前進(jìn)。
04、開源模型:變酷的Meta小扎和法國Mistral 7B
在OpenAI和谷歌等一眾公司閉門造大模型、拒絕開源之際,Meta和扎克伯克反倒在過去這一年,搖身一變,用兩個開源模型的發(fā)布,再次變得酷了起來。
Meta 在今年2月24日,發(fā)布了650億參數(shù)的開源大模型 LLaMA,7 月 12 日發(fā)布 700 億個參數(shù)的 LLaMA2。在硅谷背負(fù)罵名好多年的Meta突然,成為了率先開源的那一個。
賈揚(yáng)清,LEPTON.AI創(chuàng)始人:
我們可以發(fā)現(xiàn)的一點(diǎn)是說,Meta又變酷了,大家發(fā)現(xiàn)說,這很棒。我覺得這個東西對于無論是對于公司的形象,還是比如公司對人才的吸引力,這些都有非常正向的變化,也許并不是馬上體現(xiàn)在財報的收入上面。他首先本身長線呢,是一個非常積極正面的形象。我覺得每一個新的領(lǐng)域,其實(shí)最重要的一點(diǎn)就是能夠讓大家玩起來,所以我覺得LLaMA2就相當(dāng)于是把這個神秘的黑盒子給打開,說你看,大家都可以用了。
Meta在AI上的開源可以說一早就注定了,在我們之前推薦給大家的這本書Genius Makers,中文譯本名為《深度學(xué)習(xí)革命》中有紀(jì)錄:當(dāng)年扎克伯格邀請“深度學(xué)習(xí)”三巨頭之一的Yann Lecun加入臉書,為他坐鎮(zhèn)AI發(fā)展之際,Yann Lecun提的條件就是,在Meta,AI之后的發(fā)展必須開源。小扎答應(yīng)了,于是就有了如今的LLaMa開源路線。而確實(shí)在過去一年,LLaMa對創(chuàng)業(yè)生態(tài)的貢獻(xiàn)不容小覷。
事實(shí)上,大公司們的“閉源大模型”路線越來越引發(fā)外界的不安,越來越多的人站到了“開源派”,認(rèn)為開源有利于生態(tài)的快速建立與發(fā)展,也能集結(jié)全球的力量,幫助AI模型快速迭代,用群體的智慧去抗衡AI時代集中的壟斷。在硅谷,我也獨(dú)家采訪到了超級獨(dú)角獸公司Databricks的聯(lián)合創(chuàng)始人Ion Stoica,以及Fusion Fund的創(chuàng)始合伙人張璐,他們都認(rèn)為,AI開源被寄予厚望。
張璐,F(xiàn)usion Fund創(chuàng)始管理合伙人:
現(xiàn)在大語言模型的發(fā)展,也是有兩派,有開源的這一派,也就是現(xiàn)在比較有代表性的LLaMA、LLaMA2,還有包括即將發(fā)布的LLaMA3,還包括之前斯坦福出過一個Red Pajama,我當(dāng)時也很看好這個開源的一個項目。
所以我覺得我個人層面上,之所以會看好開源未來的發(fā)展,也是基于像The Linux Foundation這樣的一個成功的例子,在未來如果說人工智能技術(shù)、生成式人工智能,發(fā)展到一個階段,真的開始接近AGI的時候,我們是不是也要去探討,什么樣的公司架構(gòu)更適合去支持這樣的一個技術(shù)的應(yīng)用和去持續(xù)的支持這樣的一個社群的發(fā)展。我覺得The Linux Foundation可以是一個很好的參考的例子。
而硅谷有消息說,Llama 3在2024年早些時候會上線,我們也翹首以盼!
同時,人工智能的開源社區(qū)也在迎來更多的大語言模型。這包括Mistral AI,這是一家位于法國的AI初創(chuàng)企業(yè),2023年5月才成立。之后成立7個月就成功完成兩輪融資共計4.15億美元,跨入獨(dú)角獸行列,如今估值20億美元。創(chuàng)始人包括CEO 阿瑟·門斯(Arthur Mensch)、首席科學(xué)家紀(jì)堯姆·蘭普爾(Guillaume Lample)和CTO蒂莫西·拉克魯瓦(Timothée Lacroix)。
門斯曾任谷歌旗下人工智能公司DeepMind的高級研究科學(xué)家,積累了優(yōu)化大型語言模型的寶貴經(jīng)驗;蘭普爾和拉克魯瓦則在Meta人工智能團(tuán)隊共同領(lǐng)導(dǎo)了大型語言模型LlaMa的開發(fā)。
2023年9月27日,Mistral AI發(fā)布開源大模型Mistral 7B,對標(biāo)Meta旗下的LLaMa 2,號稱僅用73億個參數(shù),就能表現(xiàn)出更優(yōu)的性能。對比一下,Meta的LlaMa 2有700億參數(shù),而OpenAI的GPT 4訓(xùn)練用了1.76萬億個參數(shù)。
在2023年年底的時候,Mistral 7B已經(jīng)風(fēng)靡硅谷,我身邊不少的AI初創(chuàng)企業(yè)已經(jīng)在使用Mistral 7B的模型。所以在2024年,除了少數(shù)頭部公司繼續(xù)卷參數(shù)更大的模型之外,這樣的小參數(shù)模型將更有可能會百花齊放,帶來更多選擇的開源生態(tài)。
下一個部分,怎么能忘了芯片大贏家,英偉達(dá)呢?
05、開上游大贏家:芯片巨頭們
因為AI發(fā)展對算力的需求,英偉達(dá)可謂是過去一年的超級超級大贏家,股價在過去一年上漲了超過200%,公司市值過萬億美元。英偉達(dá)如何成為AI浪潮中的大贏家可以回看我們之前55分鐘超長的英偉達(dá)GPU全解析視頻。
在時間線上,ChatGPT推出之前,2022年3月22日,英偉達(dá)繼A100之后發(fā)布了H100 GPU,9月21日全面投產(chǎn)。不到半年,ChatGPT發(fā)布讓英偉達(dá)的顯卡立馬供不應(yīng)求,官方售價3.5萬美元的 H100 成為了絕對的硬通貨。
最近,Nvidia再次發(fā)力,在2023年11月13 日發(fā)布了 H200。與前前一代的NVIDIA A100 相比,容量幾乎翻倍,帶寬增加 2.4 倍。在處理 Llama2 (一個 700 億參數(shù)的 LLM)等 LLM 時,H200 的推理速度是H100 GPU的近2 倍。
根據(jù)英偉達(dá)發(fā)布的財報,截至今年10月底的一個財報季,英偉達(dá)收入達(dá)到181億美元,同比翻番,凈利潤達(dá)到92億美元,是去年同時期的13倍。
與英偉達(dá)的風(fēng)光無限相比,AMD就落寞很多,因為英偉達(dá)壟斷了CUDA框架,其他廠商只能被動適配,所以2023年6月13日,AMD發(fā)布MI300X GPU的時候,市場對AMD的反應(yīng)并沒有特別強(qiáng)烈,但是硅谷不喜歡壟斷者,在英偉達(dá)一卡難求之際,AMD不能說沒有機(jī)會。
在12月6日在硅谷San Jose舉辦的Advancing AI在線發(fā)布會上,AMD將發(fā)售MI300系列GPU,包含MI300A與MI300X芯片。目前,微軟、Meta、甲骨文、谷歌、亞馬遜等公司已經(jīng)向AMD下了大量訂單。而AMD官方預(yù)測,MI300芯片將是公司最快達(dá)到銷售額10億美元的產(chǎn)品。
此外,值得注意的還有一些過去被我們忽視的勢力,比如手機(jī)芯片。2023年10月24日,高通發(fā)布驍龍8 Gen3處理器;2023年11月6日,聯(lián)發(fā)科發(fā)布天璣9300處理器。兩款芯片都現(xiàn)場演示了本地運(yùn)行70億參數(shù)的大模型。
如果高通、聯(lián)發(fā)科的野心是在本地運(yùn)行大模型的話,云服務(wù)廠商也絕對不會甘心為英偉達(dá)打工。
從2016年開始,Google就在自研AI芯片。2023年8月29日,谷歌在Google Cloud Next上發(fā)布了第五代TPU v5e,用于大模型訓(xùn)練和推理。
2023年11月15日,在西雅圖舉行的Ignite開發(fā)者大會上,微軟推出了自研的AI芯片 Azure Maia 100,可以用于AI大模型的訓(xùn)練和推理。Azure云服務(wù)還會用上最新的英偉達(dá)H200芯片和AMD的MI300X 芯片,而OpenAI 等用戶的AI模型已經(jīng)開始在MI300X芯片上運(yùn)行。
2022年11月29日,亞馬遜推出基于自研AI芯片Inferentia 2的云服務(wù)。而亞馬遜AWS在投資OpenAI的競爭對手Anthropic40億美元之后,也和Anthropic達(dá)成了合作關(guān)系,成為了Anthropic的主要云提供商,其中亞馬遜的Trainium和Inferentia芯片都將在AWS云上被用于訓(xùn)練和部署大模型。
同時,馬斯克的芯片研發(fā)也在進(jìn)行。2019年4月23日,特斯拉展示了自研的自動駕駛芯片;2023 年 7 月 20 日特斯拉表示開始生產(chǎn) Dojo 超級計算機(jī)來訓(xùn)練無人駕駛汽車。我有聽到特斯拉內(nèi)部人士說,馬斯克對英偉達(dá)獨(dú)占AI GPU市場這件事情大發(fā)雷霆,而他不得不買一萬張英偉達(dá)H100芯片。所以,隨著馬老板這性格,特斯拉或者xAI的自研AI GPU芯片應(yīng)該不遠(yuǎn)了。
但在過去一年,雖然GPU硬件有這么多新聞和玩家涌進(jìn)來,但云計算大廠研發(fā)的這些芯片目前還只是給自己用,來保證自己在AI爭奪戰(zhàn)中的子彈是充足的。而隨著競爭的加劇,我們也希望在新的一年能夠看到,GPU和訓(xùn)練成本的下降。
最后,我們再來說說被OpenAI吊打的創(chuàng)業(yè)者們。
06、追不上OpenAI更新的創(chuàng)業(yè)者們
在過去一年,硅谷的大模型底層生態(tài)似乎已經(jīng)穩(wěn)固了下來,大家開始接受大模型就是巨頭們的游戲這件事情,VC和創(chuàng)業(yè)者們開始尋找巨頭們看不上的賽道。然而,這是一件風(fēng)險極高的事情。
一個絕佳的案例是 Jasper,一個基于GPT-3的AI寫文案、從硅谷孵化器YC創(chuàng)業(yè)訓(xùn)練營孵化出來的公司。2021年,Jasper收入超4000萬美金,到了2022年又翻了一倍達(dá)到8000萬美元。再然后,ChatGPT發(fā)布了,用戶們發(fā)現(xiàn),ChatGPT不用付費(fèi)就能實(shí)現(xiàn)一樣的效果,于是Jasper的融資馬上中斷,公司也開始了裁員。
在這輪 AI 浪潮中,你最大的競爭對手不是同行、不是其他公司的創(chuàng)業(yè)者、甚至不是自己,而是提供技術(shù)服務(wù)能力的大模型廠商。
在ChatGPT剛發(fā)布的時候,很多人認(rèn)為 AI 有很多不可解決的問題,比如最早的時候連簡單的數(shù)學(xué)都算不好、比如 ChatGPT 有可能一本正經(jīng)地胡說八道,它會一本正經(jīng)地介紹如何做出一道番茄炒籃球。創(chuàng)業(yè)項目也都瞄準(zhǔn)大模型不能做什么。
只是很多人沒想到的是,以上問題都是可以解決的,ChatGPT在最短時間里解決了這些問題。而技術(shù)發(fā)展的速度超過了想象,比如bing chat集成了 GPT,GPT 可以根據(jù)搜索的結(jié)果回答問題。
讓大家更沒想到的是,其實(shí) GPT-4早就訓(xùn)練完成了,只是因為還沒有完成對價值觀的約束,所以還沒有發(fā)布。結(jié)果等到今年4月發(fā)布 GPT-4 的時候,又一次震驚了所有人,因為 GPT-4回答的質(zhì)量更高,而且GPT-4有著多模態(tài)功能,這讓一眾做多模態(tài)的創(chuàng)業(yè)公司又被拍在沙灘上。
讓這些創(chuàng)業(yè)項目無法生存的原因就是:每一代大模型只會更強(qiáng)大,更通用,能做更多事。
2023年11月6日OpenAI舉行開發(fā)者大會,那一天最火的一個段子是:
Sam Altman obliterated my 3 million dollar startup and all I got was 500 dollars in OpenAI API credits(Sam Altman 毀掉了我 300 萬美元的初創(chuàng)公司,我只得到了 500 美元的 OpenAI API積分)
但并不是說,創(chuàng)業(yè)賽道就沒有機(jī)會了。在硅谷,AI創(chuàng)業(yè)熱潮依然進(jìn)行得如火如荼。在OpenAI董事會罷免的第二天,我去到了硅谷一個AI孵化器AGI House的黑客松聚會,里面大約200名創(chuàng)業(yè)者和技術(shù)人員依然對AI創(chuàng)業(yè)充滿了熱情和信心。同時,風(fēng)投機(jī)構(gòu)們依然在出手,垂直賽道,基礎(chǔ)設(shè)置,模型優(yōu)化等等方向依然是資金涌入的賽道。而業(yè)內(nèi)人士認(rèn)為,在2024年,更多基于模型的應(yīng)用將開始進(jìn)入我們的主流生活。
硅谷101:在接下來的一年,會發(fā)生什么事情?
衛(wèi)驍,CEO OF REALCHAR:
很多如果純是為了創(chuàng)業(yè)熱潮的公司,會“死”不少。尤其是第一波,很早拿到錢,然后什么做不出來的。而且會發(fā)生的是說,下面這股創(chuàng)業(yè)熱潮降下來之后,大家又會回歸到重新做產(chǎn)品,就是拿到錢之后,大家就重新進(jìn)入到開發(fā)模式。所以我覺得2024年前半年,會稍微安靜一點(diǎn)。但過了一年之后的話,那個時候會有大批量的AI產(chǎn)品出來,真正有用戶、有場景、有實(shí)際盈利的產(chǎn)品就會出來。
Ion Stoica,DATABRICKS聯(lián)合創(chuàng)始人:
現(xiàn)在所有的公司都在一窩蜂地做或者使用AI產(chǎn)品,對于一些行業(yè)來說可能帶來的變化也不是很大,也有一些行業(yè)是已經(jīng)被顛覆了的。但是明顯大家都感覺到壓力,但凡跟AI沾點(diǎn)邊的都去做AI產(chǎn)品了。如果你是做數(shù)據(jù)庫的公司,你也會跑去做AI,即使沒有AI基因的,也得開發(fā)個Copilot AI助手。我覺得明年開始,我們就能看到哪些工具是能留住用戶的了。
而這也許只是ChatGPT火爆全球之后,生成式AI爆發(fā)的第一年。一切才剛剛開始,而到達(dá)通用人工智能AGI還有很漫長的路要走。
這一切創(chuàng)新發(fā)生在硅谷,《硅谷101》也不停的創(chuàng)作了超過10期關(guān)于AI的視頻內(nèi)容,就像是站在電影院第一排看演出,演員發(fā)生的一舉一動都能清清楚楚地呈現(xiàn)出來。而希望在接下來的一年里,硅谷101也能繼續(xù)作為一線觀察者,帶大家從這里駛向未來。