正在閱讀:

巨頭圍攻英偉達CUDA:用安卓模式打破算力霸權(quán)

掃一掃下載界面新聞APP

巨頭圍攻英偉達CUDA:用安卓模式打破算力霸權(quán)

日光之下無新事。

文|雷科技

過去一年多,硅谷掀起的生成式AI革命席卷全球,并愈演愈烈。而在這場革命有中兩條非常明顯的主線:

一是基礎(chǔ)技術(shù)的進化,以GPT、Gemini為代表的大模型繼續(xù)向著AGI(通用人工智能)迭代;

二是現(xiàn)象級應用的涌現(xiàn),生成式AI在不同領(lǐng)域、不同場景下的應用狂潮在逐步改變?nèi)祟惖纳詈凸ぷ鞣绞?,比如雷科技尤其關(guān)注的AI硬件領(lǐng)域,就出現(xiàn)了AI手機、AI PC、AI電視、AI家電、AI清潔等新應用。

在兩條主線下,還有一條關(guān)于算力的「暗線」。

對AI的發(fā)展來說,算力短缺已經(jīng)不是一天兩天的問題,時至今日各大公司都還在繼續(xù)搶購GPU,更確切地說,是英偉達的高端GPU:

如果說《沙丘》是「得香料者得天下」,那AI行業(yè)就是「得英偉達GPU者得天下」。

這也讓整個行業(yè)對于英偉達GPU又愛又恨,一方面是基于CUDA平臺的英偉達高端GPU可以簡單、高效地進行人工智能訓練,另一方面是所有人都過于依賴英偉達這一家公司。

CUDA是英偉達AI的基石

關(guān)于英偉達GPU成功原因的分析已經(jīng)很多了,其核心主要還是英偉達GPU本身的高性能(包括互連性能),加上CUDA平臺帶來的軟硬件協(xié)同效應。英偉達在硬件本身上的優(yōu)勢并不難逾越,問題關(guān)鍵在于軟件,在于CUDA平臺。

在前段時間的GTC 2024開幕演講上,老黃也回顧了英偉達的發(fā)展史。

2014年,黃仁勛首次強調(diào)機器學習的重要性,當時AlphaGo尚未戰(zhàn)勝李世石,深度學習并未引發(fā)世界級關(guān)注。不過當時英偉達已提出CUDA(通用計算平臺)的概念,在許多人還在把英偉達當作「游戲顯卡」的制造商時,其走在了AI變革前沿。

不過最初,CUDA的應用場景主要是科學計算,就是類似于氣候模擬、物理模擬、生物信息學等專業(yè)研究,應用場景很有價值,但卻狹窄。正因為此,英偉達的CUDA一直沒有打開市場,帶給英偉達的回報無法與對應的巨量研發(fā)投入匹配。黃仁勛每年都需要向董事會解釋,為什么英偉達要堅持做CUDA?

其實當時老黃也不知道,英偉達的CUDA會在未來幾年,先后迎來區(qū)塊鏈“挖礦”、AI大模型計算等計算場景,真實潑天富貴。

短短兩年時間,英偉達通過H100、H200芯片,締造了萬億AI帝國,市值已超越亞馬遜等傳統(tǒng)豪強,按照這樣的勢頭,在可見的未來,超越蘋果、微軟成為世界頭號巨頭也不是沒有可能。

在被稱為AI應用元年的2024,英偉達的CUDA(通用計算平臺)正如其名,變得通用起來,從大語言模型、對話式AI、邊緣計算等底層技術(shù),到智能座艙、自動駕駛、人形機器人等應用場景,再到AI手機、AI PC、AI家電、AI搜索、AI繪畫等應用,以及未來的氣候預測、計算光刻與6G網(wǎng)絡(luò),AI正無處不在,英偉達的計算也無處不在,成為“通用計算”。

當英偉達的卡以及CUDA平臺越來越重要時,其他科技巨頭看到了“制霸”危機:

一方面,英偉達的卡價格不菲,且擁有絕對定價權(quán),廠商們囤積GPU卡要給英偉達巨額資金,結(jié)果就是:做AI的不一定賺錢(當前幾乎都不賺錢),英偉達卻賺爆了。

另一方面,英偉達可以決定最頂尖的卡先給誰,給多少,給不給。此外,英偉達也依托GPU的計算資源向上層業(yè)務(wù)拓展,涉足云等業(yè)務(wù),與科技巨頭形成一定的競爭。

事實上從2023年開始,很多芯片廠商和大模型廠商都意識到了這些問題,紛紛希望通過另建一套軟件平臺對抗英偉達的CUDA。不能說所有嘗試都失敗了,只能說目前還沒有出現(xiàn)真正的挑戰(zhàn)者。

如今,一個新聯(lián)盟和開源平臺,可能會徹底改變英偉達CUDA一家獨大的局面——如同當初谷歌振臂高呼組建的OHA聯(lián)盟以及開源的安卓對抗蘋果一般。因緣際會的是,在這一輪打破CUDA霸權(quán)的戰(zhàn)爭中,谷歌依然扮演了至關(guān)重要的角色,安卓陣營的高通、ARM們也在發(fā)揮各自的關(guān)鍵作用。

日光之下,無新事。

巨頭組建聯(lián)盟反抗CUDA

「整個行業(yè)都希望能干掉CUDA,包括谷歌、OpenAI等公司都在想方設(shè)法讓人工智能訓練更加開放。我們認為CUDA的護城河既淺又窄。」在去年年底的一場活動上,英特爾CEO帕特·基辛格(Pat Gelsinger)語出驚人地指出了對于英偉達CUDA平臺的看法。

但即便基辛格認為CUDA的護城河「既窄又淺」,他也明白挑戰(zhàn)在人工智能訓練上挑戰(zhàn)英偉達,絕非易事。

根據(jù)路透社報道,Linux基金會聯(lián)合英特爾、谷歌、高通、ARM以及三星等公司成立了統(tǒng)一加速基金會(UXL),以英特爾的oneAPI為起點,正在開發(fā)一套開源軟件套件,允許人工智能開發(fā)者在任何AI芯片上運行他們的代碼。

這里需要簡單介紹下,oneAPI是英特爾的統(tǒng)一編程模型和軟件開發(fā)框架,可以讓開發(fā)者無需對代碼進行重大修改,就能借助oneAPI實現(xiàn)跨硬件架構(gòu)(包括英特爾的CPU、GPU和FPGA)的程序開發(fā)。

簡單來說,UXL就是在oneAPI的基礎(chǔ)上更進一步,要實現(xiàn)更廣泛的跨架構(gòu)跨平臺支持,解除芯片硬件與軟件的強綁定關(guān)系。

而集合了芯片廠商、大模型廠商以及晶圓代工廠的UXL,無疑是想取代英偉達CUDA平臺,成為全球人工智能開發(fā)者的首選開發(fā)平臺。高通人工智能和機器學習主管Vinesh Sukumar就明確表示:

「我們實際上是在向開發(fā)者展示如何從英偉達平臺遷移出來?!?/p>

甚至,UXL最終也將支持英偉達的硬件和代碼。

而除了最初參與的創(chuàng)始成員,UXL還吸引了包括亞馬遜AWS、微軟Azure以及多家芯片廠商。同時根據(jù)規(guī)劃,UXL預計在今年上半年確定技術(shù)規(guī)范,在年底前將技術(shù)細節(jié)完善成熟。

至于UXL能不能成功替代掉CUDA,成為全球人工智能開發(fā)者的首選平臺,顯然還需要一系列的證明,畢竟超越CUDA:

真的很難。

對抗CUDA,到底難在哪里?

首先我們需要明白,CUDA既是一種編程語言,也是一種編譯器。

作為編程語言,CUDA是開發(fā)者通過CUDA與底層硬件(GPU)溝通、調(diào)用算力的一種方式,新建一套新的編程語言并不難。作為編譯器,CUDA無疑有很高的性能,這意味著開發(fā)者可以通過CUDA在GPU上更高效地執(zhí)行程序,用更容易理解的話說:

CUDA可以高效地利用GPU的峰值算力。

考慮到今天人工智能訓練對于大算力、高性能的追求,也無怪乎開發(fā)者對于CUDA的偏愛。

但實際上英偉達在這兩個層面上絕非天下無敵,尤其是OpenAI開源的Triton,不僅能在英偉達的GPU上實現(xiàn)接近CUDA的執(zhí)行效率,還在合并AMD ROCm(對標CUDA)等平臺的代碼,兼容更多的GPU。

CUDA難以被撼動的關(guān)鍵在于,它還是一種生態(tài)。

去年臺北電腦展上,老黃透露有400萬開發(fā)者正在使用CUDA計算平臺。而且在過去十幾年間(CUDA推出于2007年),CUDA已經(jīng)積累了大量的高性能程序庫以及框架代碼。這也是為什么盡管連OpenAI都吐槽用CUDA為GPU編程的難度,但更多開發(fā)者還是基于CUDA,而不是Triton進行開發(fā)。

另一方面,英偉達的軟硬件協(xié)同設(shè)計也讓這種優(yōu)勢更加牢不可破。

要知道,Triton可以兼容英偉達的GPU,其他GPU也可以兼容CUDA,甚至在效率上后來居上也并非不可能。但軟件適配硬件需要時間,尤其是在GPU上需要更長的時間。

這意味著英偉達一旦發(fā)布新的GPU和CUDA版本,不管是兼容CUDA還是兼容英偉達的GPU,就需要重新追趕英偉達的腳步。

所以某種程度上,能打敗英偉達的只有采用軟硬件協(xié)同設(shè)計的策略,同時擁有強大的芯片能力和軟件能力。

用“安卓模式”,打破英偉達算力霸權(quán)

谷歌擁有自己的TPU、XLA計算平臺,還有自己的大模型和一系列算力「出口」。但谷歌這套并不外賣,所以包括Authropic(Claude母公司)、Midjourney都是通過谷歌云使用這一套算力解決方案,而沒有選擇購買英偉達的GPU。

從這角度來看,UXL雖然聚集了從晶圓代工廠到芯片廠商,再到云計算和大模型廠商,涵蓋了AI芯片的主要上下游,但真正的挑戰(zhàn)還在于不同成員之間的協(xié)同,這也是UXL能不能成功的關(guān)鍵。

如果沒有足夠的利益捆綁,每一個“聯(lián)盟”都難成氣候,聚集得多高調(diào),渙散就有多迅猛。安卓生態(tài)能成功的關(guān)鍵在于,系統(tǒng)平臺、半導體、硬件、開發(fā)者等等參與者能各取所需,一起將蛋糕做大。UXL是否能形成同樣的正循環(huán)效應?當下,我們不知道答案。

年初,OpenAI Sam Altman語不驚人死不休,曝出計劃籌集7萬億美元解決AI面對的算力問題。雖然這個數(shù)字驚掉了所有人的下巴,但也再一次地說明了,以O(shè)penAI為代表的人工智能行業(yè)對于算力的極度渴求——在微軟支持下,OpenAI也在布局自有芯片體系。

總而言之,英偉達不能滿足所有人,所有人也不滿足于只有一家英偉達。換句話說,不管UXL能不能成功,谷歌會不會改變策略,所有人都會繼續(xù)挑戰(zhàn)英偉達:

直到打破算力霸權(quán)。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

英偉達

6.7k
  • 黃仁勛:英偉達已經(jīng)將AI應用于芯片設(shè)計、軟件編寫和供應鏈管理等領(lǐng)域
  • 英偉達或于12月宣布在泰國投資計劃

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

巨頭圍攻英偉達CUDA:用安卓模式打破算力霸權(quán)

日光之下無新事。

文|雷科技

過去一年多,硅谷掀起的生成式AI革命席卷全球,并愈演愈烈。而在這場革命有中兩條非常明顯的主線:

一是基礎(chǔ)技術(shù)的進化,以GPT、Gemini為代表的大模型繼續(xù)向著AGI(通用人工智能)迭代;

二是現(xiàn)象級應用的涌現(xiàn),生成式AI在不同領(lǐng)域、不同場景下的應用狂潮在逐步改變?nèi)祟惖纳詈凸ぷ鞣绞?,比如雷科技尤其關(guān)注的AI硬件領(lǐng)域,就出現(xiàn)了AI手機、AI PC、AI電視、AI家電、AI清潔等新應用。

在兩條主線下,還有一條關(guān)于算力的「暗線」。

對AI的發(fā)展來說,算力短缺已經(jīng)不是一天兩天的問題,時至今日各大公司都還在繼續(xù)搶購GPU,更確切地說,是英偉達的高端GPU:

如果說《沙丘》是「得香料者得天下」,那AI行業(yè)就是「得英偉達GPU者得天下」。

這也讓整個行業(yè)對于英偉達GPU又愛又恨,一方面是基于CUDA平臺的英偉達高端GPU可以簡單、高效地進行人工智能訓練,另一方面是所有人都過于依賴英偉達這一家公司。

CUDA是英偉達AI的基石

關(guān)于英偉達GPU成功原因的分析已經(jīng)很多了,其核心主要還是英偉達GPU本身的高性能(包括互連性能),加上CUDA平臺帶來的軟硬件協(xié)同效應。英偉達在硬件本身上的優(yōu)勢并不難逾越,問題關(guān)鍵在于軟件,在于CUDA平臺。

在前段時間的GTC 2024開幕演講上,老黃也回顧了英偉達的發(fā)展史。

2014年,黃仁勛首次強調(diào)機器學習的重要性,當時AlphaGo尚未戰(zhàn)勝李世石,深度學習并未引發(fā)世界級關(guān)注。不過當時英偉達已提出CUDA(通用計算平臺)的概念,在許多人還在把英偉達當作「游戲顯卡」的制造商時,其走在了AI變革前沿。

不過最初,CUDA的應用場景主要是科學計算,就是類似于氣候模擬、物理模擬、生物信息學等專業(yè)研究,應用場景很有價值,但卻狹窄。正因為此,英偉達的CUDA一直沒有打開市場,帶給英偉達的回報無法與對應的巨量研發(fā)投入匹配。黃仁勛每年都需要向董事會解釋,為什么英偉達要堅持做CUDA?

其實當時老黃也不知道,英偉達的CUDA會在未來幾年,先后迎來區(qū)塊鏈“挖礦”、AI大模型計算等計算場景,真實潑天富貴。

短短兩年時間,英偉達通過H100、H200芯片,締造了萬億AI帝國,市值已超越亞馬遜等傳統(tǒng)豪強,按照這樣的勢頭,在可見的未來,超越蘋果、微軟成為世界頭號巨頭也不是沒有可能。

在被稱為AI應用元年的2024,英偉達的CUDA(通用計算平臺)正如其名,變得通用起來,從大語言模型、對話式AI、邊緣計算等底層技術(shù),到智能座艙、自動駕駛、人形機器人等應用場景,再到AI手機、AI PC、AI家電、AI搜索、AI繪畫等應用,以及未來的氣候預測、計算光刻與6G網(wǎng)絡(luò),AI正無處不在,英偉達的計算也無處不在,成為“通用計算”。

當英偉達的卡以及CUDA平臺越來越重要時,其他科技巨頭看到了“制霸”危機:

一方面,英偉達的卡價格不菲,且擁有絕對定價權(quán),廠商們囤積GPU卡要給英偉達巨額資金,結(jié)果就是:做AI的不一定賺錢(當前幾乎都不賺錢),英偉達卻賺爆了。

另一方面,英偉達可以決定最頂尖的卡先給誰,給多少,給不給。此外,英偉達也依托GPU的計算資源向上層業(yè)務(wù)拓展,涉足云等業(yè)務(wù),與科技巨頭形成一定的競爭。

事實上從2023年開始,很多芯片廠商和大模型廠商都意識到了這些問題,紛紛希望通過另建一套軟件平臺對抗英偉達的CUDA。不能說所有嘗試都失敗了,只能說目前還沒有出現(xiàn)真正的挑戰(zhàn)者。

如今,一個新聯(lián)盟和開源平臺,可能會徹底改變英偉達CUDA一家獨大的局面——如同當初谷歌振臂高呼組建的OHA聯(lián)盟以及開源的安卓對抗蘋果一般。因緣際會的是,在這一輪打破CUDA霸權(quán)的戰(zhàn)爭中,谷歌依然扮演了至關(guān)重要的角色,安卓陣營的高通、ARM們也在發(fā)揮各自的關(guān)鍵作用。

日光之下,無新事。

巨頭組建聯(lián)盟反抗CUDA

「整個行業(yè)都希望能干掉CUDA,包括谷歌、OpenAI等公司都在想方設(shè)法讓人工智能訓練更加開放。我們認為CUDA的護城河既淺又窄?!乖谌ツ昴甑椎囊粓龌顒由希⑻貭朇EO帕特·基辛格(Pat Gelsinger)語出驚人地指出了對于英偉達CUDA平臺的看法。

但即便基辛格認為CUDA的護城河「既窄又淺」,他也明白挑戰(zhàn)在人工智能訓練上挑戰(zhàn)英偉達,絕非易事。

根據(jù)路透社報道,Linux基金會聯(lián)合英特爾、谷歌、高通、ARM以及三星等公司成立了統(tǒng)一加速基金會(UXL),以英特爾的oneAPI為起點,正在開發(fā)一套開源軟件套件,允許人工智能開發(fā)者在任何AI芯片上運行他們的代碼。

這里需要簡單介紹下,oneAPI是英特爾的統(tǒng)一編程模型和軟件開發(fā)框架,可以讓開發(fā)者無需對代碼進行重大修改,就能借助oneAPI實現(xiàn)跨硬件架構(gòu)(包括英特爾的CPU、GPU和FPGA)的程序開發(fā)。

簡單來說,UXL就是在oneAPI的基礎(chǔ)上更進一步,要實現(xiàn)更廣泛的跨架構(gòu)跨平臺支持,解除芯片硬件與軟件的強綁定關(guān)系。

而集合了芯片廠商、大模型廠商以及晶圓代工廠的UXL,無疑是想取代英偉達CUDA平臺,成為全球人工智能開發(fā)者的首選開發(fā)平臺。高通人工智能和機器學習主管Vinesh Sukumar就明確表示:

「我們實際上是在向開發(fā)者展示如何從英偉達平臺遷移出來?!?/p>

甚至,UXL最終也將支持英偉達的硬件和代碼。

而除了最初參與的創(chuàng)始成員,UXL還吸引了包括亞馬遜AWS、微軟Azure以及多家芯片廠商。同時根據(jù)規(guī)劃,UXL預計在今年上半年確定技術(shù)規(guī)范,在年底前將技術(shù)細節(jié)完善成熟。

至于UXL能不能成功替代掉CUDA,成為全球人工智能開發(fā)者的首選平臺,顯然還需要一系列的證明,畢竟超越CUDA:

真的很難。

對抗CUDA,到底難在哪里?

首先我們需要明白,CUDA既是一種編程語言,也是一種編譯器。

作為編程語言,CUDA是開發(fā)者通過CUDA與底層硬件(GPU)溝通、調(diào)用算力的一種方式,新建一套新的編程語言并不難。作為編譯器,CUDA無疑有很高的性能,這意味著開發(fā)者可以通過CUDA在GPU上更高效地執(zhí)行程序,用更容易理解的話說:

CUDA可以高效地利用GPU的峰值算力。

考慮到今天人工智能訓練對于大算力、高性能的追求,也無怪乎開發(fā)者對于CUDA的偏愛。

但實際上英偉達在這兩個層面上絕非天下無敵,尤其是OpenAI開源的Triton,不僅能在英偉達的GPU上實現(xiàn)接近CUDA的執(zhí)行效率,還在合并AMD ROCm(對標CUDA)等平臺的代碼,兼容更多的GPU。

CUDA難以被撼動的關(guān)鍵在于,它還是一種生態(tài)。

去年臺北電腦展上,老黃透露有400萬開發(fā)者正在使用CUDA計算平臺。而且在過去十幾年間(CUDA推出于2007年),CUDA已經(jīng)積累了大量的高性能程序庫以及框架代碼。這也是為什么盡管連OpenAI都吐槽用CUDA為GPU編程的難度,但更多開發(fā)者還是基于CUDA,而不是Triton進行開發(fā)。

另一方面,英偉達的軟硬件協(xié)同設(shè)計也讓這種優(yōu)勢更加牢不可破。

要知道,Triton可以兼容英偉達的GPU,其他GPU也可以兼容CUDA,甚至在效率上后來居上也并非不可能。但軟件適配硬件需要時間,尤其是在GPU上需要更長的時間。

這意味著英偉達一旦發(fā)布新的GPU和CUDA版本,不管是兼容CUDA還是兼容英偉達的GPU,就需要重新追趕英偉達的腳步。

所以某種程度上,能打敗英偉達的只有采用軟硬件協(xié)同設(shè)計的策略,同時擁有強大的芯片能力和軟件能力。

用“安卓模式”,打破英偉達算力霸權(quán)

谷歌擁有自己的TPU、XLA計算平臺,還有自己的大模型和一系列算力「出口」。但谷歌這套并不外賣,所以包括Authropic(Claude母公司)、Midjourney都是通過谷歌云使用這一套算力解決方案,而沒有選擇購買英偉達的GPU。

從這角度來看,UXL雖然聚集了從晶圓代工廠到芯片廠商,再到云計算和大模型廠商,涵蓋了AI芯片的主要上下游,但真正的挑戰(zhàn)還在于不同成員之間的協(xié)同,這也是UXL能不能成功的關(guān)鍵。

如果沒有足夠的利益捆綁,每一個“聯(lián)盟”都難成氣候,聚集得多高調(diào),渙散就有多迅猛。安卓生態(tài)能成功的關(guān)鍵在于,系統(tǒng)平臺、半導體、硬件、開發(fā)者等等參與者能各取所需,一起將蛋糕做大。UXL是否能形成同樣的正循環(huán)效應?當下,我們不知道答案。

年初,OpenAI Sam Altman語不驚人死不休,曝出計劃籌集7萬億美元解決AI面對的算力問題。雖然這個數(shù)字驚掉了所有人的下巴,但也再一次地說明了,以O(shè)penAI為代表的人工智能行業(yè)對于算力的極度渴求——在微軟支持下,OpenAI也在布局自有芯片體系。

總而言之,英偉達不能滿足所有人,所有人也不滿足于只有一家英偉達。換句話說,不管UXL能不能成功,谷歌會不會改變策略,所有人都會繼續(xù)挑戰(zhàn)英偉達:

直到打破算力霸權(quán)。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。