文|王吉偉
近期的AIGC領(lǐng)域仍舊火爆異常。
但火的不只是AIGC應(yīng)用，還有巨頭之間的AI競賽，以及接連不斷上新的AI大模型（LLM，Large Language Model）。
面對ChatGPT帶來的技術(shù)沖擊，為了研發(fā)谷歌多模態(tài)AI模型及應(yīng)對微軟GPT-4版Security Copilot競爭，谷歌先是將谷歌大腦和DeepMind團(tuán)隊合并為“Google DeepMind”部門，接著又推出了基于Sec-PaLM LLM大模型技術(shù)的谷歌云安全AI 工作臺（Security AI Workbench）。
亞馬遜推出了AI大模型服務(wù)Amazon Bedrock，馬斯克成立了人工智能公司X.AI，并囤下萬張NVIDIA芯片。
有媒體將之比喻為圍剿ChatGPT。
但ChatGPT并不驚慌，仍然按照既有節(jié)奏新增了隱私功能使得用戶數(shù)據(jù)不再被用于模型訓(xùn)練，并計劃在未來幾個月推出ChatGPT企業(yè)版。
對于谷歌、亞馬遜等的動作，ChatGPT似乎并不在意，反而是微軟總裁說了一句“中國將是 ChatGPT 的主要對手”，又將輿論目光引向國內(nèi)。
國內(nèi)市場則也迎來了“百模大戰(zhàn)”時代。從3月開始到現(xiàn)在，各科技大廠及科研機(jī)構(gòu)已經(jīng)陸續(xù)發(fā)布了百度文心一言、阿里通義千問、華為云盤古、京東言犀等30多個大模型，目前還在不斷上新，難怪微軟總裁會發(fā)出前面的感慨。
然而在AI競賽和“百模大戰(zhàn)”的身后，笑得最開心的應(yīng)該是NVIDIA。
競爭越激烈，算力需求也就越大，NVIDIA GPU也就賣得越好。
生成式AI應(yīng)用的爆發(fā)和大模型的爭相發(fā)布，讓NVIDIA的算力供應(yīng)迎來更輝煌的時代。黃仁勛先生在NVIDIA GTC23說的金句“我們正處于AI的iPhone時刻”，到現(xiàn)在已經(jīng)廣為流傳，以至于GTC23已經(jīng)過去一個多月，仍有很多人念念不忘。
已經(jīng)連續(xù)舉辦14年的GTC如今已是全球最重要的AI大會之一，GTC23舉辦會議更是達(dá)到650多場，超過25萬名注冊用戶深入?yún)⑴c到GTC各個主題的會議。
黃仁勛更是用長達(dá)78分鐘的時間，講述了NVIDIA及其合作伙伴如何提供訓(xùn)練和部署尖端AI 服務(wù)所需的各種技術(shù)。
看完他的分享以及多個會議及合作發(fā)布之后，王吉偉頻道認(rèn)為，AI大模型所帶來的多元化算力需求，正在造就算力供給形式的進(jìn)一步演變。
為什么這么說？本文就跟大家探討一下。
AIGC應(yīng)用持續(xù)爆發(fā)
這一輪AIGC技術(shù)帶來的AI火爆，主要體現(xiàn)在C端的AI應(yīng)用上。與以往AI主要改進(jìn)和優(yōu)化B端不同，LLM所帶來ChatGPT、Midjourney等殺手級應(yīng)用，在變革B端的同時，也讓億萬用戶對AI技術(shù)有了直觀且震撼的感受。
ChatGPT、Midjourney還在快速進(jìn)化著，在文字、代碼、圖片生成等領(lǐng)域叱咤風(fēng)云的同時，更多廠商所推出的同類應(yīng)用也在快速發(fā)展，AI生成音樂、視頻、游戲的應(yīng)用也正在雨后春筍般的出現(xiàn)。
現(xiàn)在，基于GPT-3\4、Dall-E等模型的AI應(yīng)用越來越多。單是從GPT來看，GPT-3 DEMO網(wǎng)站統(tǒng)計的GPT-3應(yīng)用程序已經(jīng)超過800個，但這些程序并不包括企業(yè)推出的GPT應(yīng)用。
隨著更多組織引入或者自身搭建AI大模型，他們將利用這些技術(shù)改造已有應(yīng)用，并會以對話的方式生成更多AI應(yīng)用。
同時更多LLM的API開放服務(wù)，讓創(chuàng)業(yè)變得更加簡單。創(chuàng)業(yè)者只需要接入API就能將LLM集成到產(chǎn)品之中，大大提升產(chǎn)品業(yè)務(wù)效率和使用體驗。
除了調(diào)用AI，創(chuàng)業(yè)者們也會基于Stable Diffusion、Meta AI等開源模型打造更多的生成式AI應(yīng)用，滿足不同領(lǐng)域的用戶的需求。
Crunchbase數(shù)據(jù)顯示，2021年獲得投資的AIGC創(chuàng)業(yè)項目數(shù)量為291，2022年這一數(shù)據(jù)為211。經(jīng)歷了從年初到現(xiàn)在的AI應(yīng)用大爆發(fā)，預(yù)測2023年的創(chuàng)業(yè)項目同樣會迎來大爆發(fā)。
在諸多的AIGC工具中，有一類基于GPT的應(yīng)用是用于生成程序的，可以讓用戶通過自然語言快速生成GPT應(yīng)用。包括一些低代碼、RPA等工具也在借助GPT讓用戶簡單快速地打造需要的程序。這些AI工具的出現(xiàn)，直接讓生成式AI應(yīng)用出現(xiàn)倍數(shù)級增長。
Gartner預(yù)計到2025年，生成式人工智能將占所有生成數(shù)據(jù)的10%，目前這一比例還不到1%。這個數(shù)據(jù)意味著，在未來AIGC從1%到10%的發(fā)展進(jìn)程中，將會出現(xiàn)海量AI應(yīng)用。
事實上，推出LLM的大型企業(yè)是生成式AI應(yīng)用的主要推動者，他們首先會將AIGC應(yīng)用在自身產(chǎn)品體系推廣，然后再服務(wù)更多客戶。
LLM成為云計算和AI服務(wù)的主要部分之后，每個云計算廠商和推出LLM的廠商都將用此技術(shù)服務(wù)其生態(tài)內(nèi)成千上萬的客戶，這些客戶也會將生成式AI技術(shù)引入到企業(yè)內(nèi)部軟件應(yīng)用之中。
AI大模型層出不窮
在AIGC應(yīng)用海量爆發(fā)背后，正是各大科技廠商不斷推出的AI大模型。在以O(shè)penAI的GPT、Dall-E為代表的LLM出盡風(fēng)頭后，出于應(yīng)戰(zhàn)更出于商業(yè)生態(tài)所需，其他廠商陸續(xù)推出了各自的大模型。
在谷歌率先推出Bard并與NVIDIA聯(lián)合開發(fā)了參數(shù)量高達(dá)5300億的Megatron-Turing后，Meta發(fā)布了BlenderBot3、亞馬遜推出了自有的大型語言模型泰坦（Titan），OpenAI前元老創(chuàng)立的Anthropic發(fā)布了Claude，Stability AI擁有Stable Diffusion并于近期推出了開源大語言模型StableLM。
馬斯克也于近日啟動了基于自研大模型的“TruthGPT”聊天機(jī)器人，為此他已經(jīng)成立了X.AI公司，招募工程師，并已在NVIDIA購入高性能GPU。
除了大型公司，美國還有LLM領(lǐng)域比較知名的初創(chuàng)企業(yè)，比如前谷歌研究人員創(chuàng)立的Character.AI、由前LinkedIn聯(lián)合創(chuàng)始人、DeepMind聯(lián)合創(chuàng)始人等聯(lián)合創(chuàng)立的Inflection AI、來自谷歌AI團(tuán)隊成員創(chuàng)立的Cohere以及Adept.ai等，這些AI公司都有自研AI大模型。
美國的AI大模型先人一步，其他國家自然也不能落下。
很多國家的相關(guān)組織也陸續(xù)發(fā)布了AI大模型，目前已知的部分國家的行動包括：
俄羅斯Yandex研發(fā)了大模型YaLM；英國DeepMind推出了Gopher超大型語言模型，前幾天英國還宣布斥資1億英鎊建立新的“基礎(chǔ)模型工作組”（Foundation Model Taskforce），以開發(fā)能帶來“全球競爭力”的 AI 方案；韓國Naver研發(fā)了HyperCLOVA；以色列A21 Labs推出了Jurassic-1 Jumbo。
至于中國，更是開啟了“百模大戰(zhàn)”。
從3月16日百度基于文心大模型的“文心一言”發(fā)布后，國內(nèi)就開啟了“百模大戰(zhàn)”模式。
廠商們的AI大模型發(fā)布都集中在了4月，目前華為的盤古、360的智腦、商湯的日日新、阿里的通義千問、京東的言犀、騰訊的混元、中科院的紫東太初、科大訊飛的1+N認(rèn)知、浪潮的源1.0、昆侖萬維的天工3.5、云從科技的行業(yè)精靈、知乎的“知海圖AI”、第四范式的“式說3.0”、科大訊飛的“星火認(rèn)知”等大模型都已發(fā)布。
此外美團(tuán)的聯(lián)合創(chuàng)始人王慧文、搜狗創(chuàng)始人王小川，都創(chuàng)立新公司征戰(zhàn)AI大模型，亦有其他巨頭企業(yè)的AI項目負(fù)責(zé)人或者高管投身此領(lǐng)域。
目前而言，上述大模型再加上科研院系所公布的大模型，國內(nèi)已有超過30個大模型亮相。可以肯定的是，后面還會繼續(xù)有大型科技公司發(fā)布自己的AI大模型。
除了各國多個組織發(fā)布的AI大模型，Stable Diffusion等開源大模型也是一股不可忽視的力量。越來越多的開源模型，正在以本地部署的形式進(jìn)入更多企業(yè)成為其構(gòu)建生成式AI應(yīng)用的模型層。
在大模型之外，像斯坦福發(fā)布的52k數(shù)據(jù)的Alpaca、AI風(fēng)險投資公司Age of AI開發(fā)的FreedomGPT等中小模型，同樣也是各大組織在安全及私有化部署層面關(guān)注的重點。
可以看到，所有大型企業(yè)都將推出自有大模型，同時很多組織已經(jīng)意識到企業(yè)的應(yīng)用程序都要構(gòu)建于企業(yè)數(shù)字化架構(gòu)的模型層之上，大模型將會成為所有企業(yè)的基礎(chǔ)設(shè)施。
那么問題來了，現(xiàn)在全球有這么多的大模型，那將需要多么龐大的算力？這些算力又該如何供應(yīng)？
別著急，下一節(jié)就會講到。
算力需求的急劇攀升
AI大模型的快速發(fā)展，帶來全球算力市場需求的高速上漲。隨著AI技術(shù)的不斷突破以及各種開源架構(gòu)的推進(jìn)，算法模型和數(shù)據(jù)反而成了最簡單的，倒是算力不足成了大模型廠商遇到的最大的問題，或者說它已經(jīng)成了影響AI大模型能力的主要因素。
LLM對算力的需求到底有多大？以ChatGPT為例，GPT-3訓(xùn)練成本預(yù)計在500萬美元/次。
為支持ChatGPT對于強(qiáng)大算力的需求，微軟于2019 年投資10億美元建造了一臺大型頂尖超級計算機(jī)，配備了數(shù)萬個NVIDIA Ampere架構(gòu)GPU，還在60多個數(shù)據(jù)中心總共部署了幾十萬個NVIDIA GPU進(jìn)行輔助。
一個殺手級AI應(yīng)用ChatGPT，就需要這么大的算力支持。而OpenAI還有Dall-E等多個大模型，可見OpenAI這家公司對算力的需求有多大。
不僅如此，模型參數(shù)的增長也會導(dǎo)致算力需求猛增。比如華為云盤古大模型的預(yù)訓(xùn)練參數(shù)規(guī)模達(dá)到2000億，而阿里達(dá)摩院的M6模型參數(shù)更是達(dá)到10萬億，這些大模型對算力的需求已然超過ChatGPT。
OpenAI僅是一個大模型公司，上述谷歌等國外大型企業(yè)以及創(chuàng)業(yè)公司，還有國內(nèi)已經(jīng)超過30家推出大模型的組織，不管是自建數(shù)據(jù)中心還是將模型托管，想要大模型快速迭代與發(fā)展，都離不開龐大算力。
所以，在解決了算法模型和數(shù)據(jù)集后，為了讓自有大模型能夠快速落地商用，全球大模型廠商都把心思放到了算力之上，千方百計增加自身算力。
在算力打造方面，目前大模型廠商普遍采用的是GPU+CPU+NPU的異構(gòu)方式。一般是以NVIDIA GPU為主，搭配自研或者其他廠商的小算力GPU、CPU及NPU。而想要在短期內(nèi)獲得并保證超大算力，NVIDIA是不二之選。
與此同時，與NVIDIA合作打造定制化GPU集群，為模型訓(xùn)練提供高效穩(wěn)定可用的基礎(chǔ)算力系統(tǒng)，也成了大模型廠商的共同選擇。
為了滿足OpenAI多模型的算力需求，微軟基于NVIDIA最新旗艦芯片和NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)互連技術(shù)，推出Azure可大規(guī)模擴(kuò)展的AI虛擬機(jī)系列以顯著加速AI模型的開發(fā)。
亞馬遜云科技和NVIDIA合作，構(gòu)建全球最具可擴(kuò)展性且按需付費(fèi)的人工智能（AI）基礎(chǔ)設(shè)施，以訓(xùn)練日益復(fù)雜的大語言模型（LLM）和開發(fā)生成式AI應(yīng)用程序。
Meta與NVIDIA聯(lián)合打造了RSC，這是全球最快的AI超級計算機(jī)之一。
在國內(nèi)，有信息透露，百度在年初緊急下單3000臺8張芯片（2.4萬枚GPU）的服務(wù)器，百度全年會有5萬枚Hopper架構(gòu)GPU的需求。
阿里云預(yù)計在今年需要1萬枚左右，其中6000枚也是該GPU。
近期騰訊所發(fā)布的新一代高性能計算集群HCC，同樣采用了國內(nèi)首發(fā)的NVIDIA Hopper架構(gòu)GPU。
相關(guān)數(shù)據(jù)統(tǒng)計，國內(nèi)對NVIDIA新一代Hopper架構(gòu)GPU的需求，至少是數(shù)十萬的級別。
當(dāng)前階段的LLM大發(fā)展，算力源頭最終都指向了NVIDIA。這意味著，NVIDIA所提供的算力已經(jīng)無處不在。
無處不在的NVIDIA算力
AI已經(jīng)進(jìn)入大模型時代，接下來所有領(lǐng)域所有行業(yè)都將進(jìn)行一輪IT架構(gòu)與應(yīng)用程序的重大變革，所有組織都要引入大模型，所有AI應(yīng)用都要建立在模型層之上。
NVIDIA自誕生以來一直致力于加速運(yùn)算，尤其是2006年推出CUDA開發(fā)平臺（通用并行計算架構(gòu)）至今，所有行業(yè)早已認(rèn)知到CUDA的價值，擁有CUDA支持的NVIDIA GPU也早已成為AI訓(xùn)練首選。
現(xiàn)在，幾乎每個廠商推出的大模型，都需要以NVIDIA GPU為主的算力解決方案做支撐。構(gòu)建于這些大模型之上的生成式AI應(yīng)用，將會在各個領(lǐng)域得到應(yīng)用。從這個角度而言，NVIDIA的算力已經(jīng)無處不在。
而為了滿足不同廠商的需求，NVIDIA也在不斷求變。
GTC23期間，NVIDIA發(fā)布了用于數(shù)據(jù)中心的 NVIDIA Hopper架構(gòu)GPU、Grace Hopper和Grace，其中Hopper GPU NVL是一款帶有雙 GPU NVLink的GPU產(chǎn)品，用于支持像ChatGPT這樣的大型語言模型推理。
推出了搭載8個NVIDIA Hopper GPU的新版本DGX ，可以連接成為一個巨大的GPU，將成為全球大模型廠商構(gòu)建AI基礎(chǔ)設(shè)施的藍(lán)圖。
為了加速把DGX能力帶給初創(chuàng)企業(yè)和其他各類企業(yè)，助力其快速打造新產(chǎn)品和制定AI戰(zhàn)略，NVIDIA發(fā)布了用于AI云計算平臺的NVIDIA DGX Cloud。
在加速生成式AI技術(shù)應(yīng)用方面，NVIDIA還發(fā)布了NVIDIA AI Foundations云服務(wù)系列，為需要構(gòu)建、完善和運(yùn)行自定義大型語言模型及生成式AI的客戶提供服務(wù)。
同時為幫助企業(yè)部署處于快速發(fā)展的生成式AI模型，NVIDIA發(fā)布了用于AI視頻的NVIDIA L4 GPU、用于圖像生成的NVIDIA L40 GPU、用于大型語言模型部署的NVIDIA H100 NVL 以及用于推薦模型的NVIDIA Grace Hopper。
這些產(chǎn)品、平臺和解決方案的發(fā)布，可以讓NVIDIA的算力以更強(qiáng)勁的動力傳輸?shù)礁囝I(lǐng)域。
NVIDIA以算力助力多領(lǐng)域企業(yè)成長的案例已有太多，這里我們也來看幾個GTC23展示的案例。
比如在醫(yī)藥領(lǐng)域，三井物產(chǎn)株式會社正在與NVIDIA合作開展“Tokyo-1”項目。該項目旨在使用高分辨率分子動力學(xué)模擬和用于藥物研發(fā)的生成式 AI 模型等技術(shù)，為日本制藥行業(yè)的領(lǐng)導(dǎo)者提供強(qiáng)大動力。
通過該項目，用戶將能夠訪問 NVIDIA DGX 節(jié)點，以支持其進(jìn)行分子動力學(xué)模擬、大型語言模型訓(xùn)練、量子化學(xué)、為潛在藥物創(chuàng)建新型分子結(jié)構(gòu)的生成式 AI 模型等。Tokyo-1 用戶還可以通過NVIDIA BioNeMo 藥物研發(fā)軟件和服務(wù)，利用大型語言模型來處理化學(xué)、蛋白質(zhì)、DNA 和 RNA 數(shù)據(jù)格式。
在汽車領(lǐng)域，NVIDIA與新能源汽車（NEV）制造商比亞迪將拓寬 NVIDIA DRIVE Orin? 中央計算平臺的應(yīng)用范圍，將用于其更多新能源車型之中。DRIVE Orin的強(qiáng)大計算能力能夠?qū)崟r處理各種冗余傳感器信息，且這項技術(shù)還能為汽車制造商提供充足的計算裕量，支持其在整個汽車生命周期內(nèi)，開發(fā)和運(yùn)行全新的軟件驅(qū)動型服務(wù)。
NVIDIA DRIVE Orin作為當(dāng)前市面上性能最高的車規(guī)級處理器，自去年投產(chǎn)以來，已成為交通行業(yè)新一代新能源汽車、自動駕駛出租車和卡車的人工智能的首選引擎。
在通訊領(lǐng)域，AT&T和NVIDIA宣布了一項新合作，AT&T將通過使用NVIDIA驅(qū)動的AI來處理數(shù)據(jù)、優(yōu)化服務(wù)車隊路線規(guī)劃并創(chuàng)建用于員工支持與培訓(xùn)的數(shù)字虛擬形象，以持續(xù)轉(zhuǎn)變運(yùn)營方式和增強(qiáng)可持續(xù)性。
AT&T是首個探索使用全套NVIDIA AI平臺的電信運(yùn)營商。這些產(chǎn)品包括使用NVIDIA AI Enterprise軟件套件來提升其數(shù)據(jù)處理能力，這一套件包含NVIDIA RAPIDS Accelerator for Apache Spark；通過NVIDIA cuOpt，實現(xiàn)實時車輛路線規(guī)劃和優(yōu)化；通過NVIDIA Omniverse Avatar Cloud Engine和NVIDIA Tokkio，打造數(shù)字虛擬形象；以及通過NVIDIA Riva更好地利用對話式AI。
隨著更多領(lǐng)域的客戶采用NVIDIA的算力解決方案，NVIDIA的算力也將跟隨合作伙伴為用戶提供的服務(wù)而遍及更多垂直細(xì)分領(lǐng)域。
后記：市場需求造就算力模式演變
為了加速算力賦能千行百業(yè)，NVIDIA持續(xù)推出更多解決方案以滿足更多客戶的需求。而隨著用戶對于算力需求的變化，NVIDIA也在不斷探索更加多元化的算力解決方案。
從GTC23所發(fā)布的一系列產(chǎn)品、技術(shù)及解決方案來看，NVIDIA已經(jīng)從硬件算力供應(yīng)商發(fā)展成為能夠提供軟硬件一體解決方案及AI云計算的多元化算力供應(yīng)商。
這個改變一方面來自于NVIDIA對于全球客戶對算力需求變化的時刻洞悉與及時響應(yīng)，另一方面也來自于NVIDIA對算力如何更好助力人工智能發(fā)展的持續(xù)探索。
當(dāng)然，更主要的是AI大模型爆發(fā)式增長所帶來的龐大的算力需求，真正造就了一個無比龐大的市場。
在算力市場增速與規(guī)模方面，中國信息通信研究院數(shù)據(jù)，目前全球計算設(shè)備算力總規(guī)模達(dá)到615EFlops（Flops為算力單位，即每秒浮點運(yùn)算次數(shù)），增速達(dá)到44%，預(yù)計2030年全球算力規(guī)模達(dá)到56ZFlops，平均年增速達(dá)到65%。
未來7年的算力供應(yīng)，可以想象NVIDIA將會占據(jù)多大市場份額。
不說國外，單是中國市場目前已推出的三十多個大模型，就能感受到廣大組織對算力的巨大需求，更不用說今后全球要出現(xiàn)的更多大模型。
不管是大模型、中模型還是小模型，只要組織構(gòu)建或者引入大模型都離不開算力支持。
現(xiàn)在，發(fā)布自有大模型或者中模型正在成為大型企業(yè)的標(biāo)配，而使用大模型和生成式AI技術(shù)也即將成為企業(yè)運(yùn)營標(biāo)配。
這兩個標(biāo)配的實施與落地的過程，便是NVIDIA算力走進(jìn)更多組織的機(jī)會。并且，這個機(jī)會將會伴隨著AGI（Artificial General Intelligence，通用人工智能）的一路發(fā)展而長期存在。
兩個標(biāo)配需求，也將進(jìn)一步促進(jìn)以NVIDIA為首的廠商算力供應(yīng)模式開始從硬件方式走向更多元的發(fā)展。
市場需求，正在造就算力供應(yīng)模式的演變。
而在這個演變進(jìn)程中，無論是技術(shù)創(chuàng)新、產(chǎn)品引領(lǐng)、方案打造還是在算力變革，NVIDIA都扮演了絕對的主角。
黃仁勛在GTC23上表示，我們正處于AI 的iPhone時刻。AI大模型到來后，又何嘗不是NVIDIA的iPhone時刻。