界面新聞記者 | 李彪
界面新聞編輯 | 宋佳楠
近日,一篇題為“英偉達H100 GPU海外租金價格降至2美元/小時”的文章迅速在國內(nèi)傳播開來,市場也紛紛圍繞“算力泡沫是否開始破裂”“H100算力不香了”等話題進行討論。
此前美國一家AI推理服務(wù)供應(yīng)商Featherless.AI的聯(lián)合創(chuàng)始人Eugene Cheah撰文表示,最近頻繁收到算力租賃商的廣告郵件,稱單張英偉達H100 GPU的租賃價格降至大約2美元/小時,甚至更低,相比2023年5美元/小時左右的市場均價幾近腰斬。
去年時,英偉達曾預(yù)測,4美元/小時的GPU價格會在4年內(nèi)保持不變,但不到1年半就走向了降價。
Eugene Cheah在文中稱,像AWS、Meta、谷歌這樣的大型與中型AI模型公司,已通過長期租賃榨取了算力價值。眼下,除非是要建立大型智算集群的公司,否則不要購買全新的H100,“租算力”是更經(jīng)濟適用的選擇。
市場普遍認同H100海外降價的趨勢,但認為“2美元/小時”,甚至“1美元/小時”,主要是Lambda Labs等個別初創(chuàng)算力租賃公司為吸引客戶搞促銷,不能反映市場平均價格水平。
界面新聞記者瀏覽亞馬遜AWS云服務(wù)平臺官網(wǎng)時發(fā)現(xiàn),按照短租和長租不同條件,以一臺服務(wù)器8張GPU換算下來,H100的最新價格有12美元/小時(按一年長租簽約)、5美元/小時(按三年長租簽約)兩種不同的檔位。另一家云廠商谷歌云類似產(chǎn)品的價格也在10美元上下。
國內(nèi)一位從事AI算力租賃業(yè)務(wù)的行業(yè)人士告訴界面新聞記者,海外H100降價的邏輯很容易理解——隨著英偉達的GPU新品H200、B200今年陸續(xù)開始上市,新品性能更強,平均算下來H100算力成本相對更低,原來的舊產(chǎn)品自然需要降價,差別只在于降價幅度和速度。據(jù)他了解,5到8美元/小時,更能代表目前海外主流平臺的價格水平,也符合英偉達此前預(yù)測的產(chǎn)品價格走勢。
英偉達的新品近期開始上市供貨后,市場反響依然熱烈。
該公司CEO黃仁勛本月在參加一場研討會時透露,B200 GPU近期開始量產(chǎn)交貨后備受客戶青睞,未來12個月的Blackwell架構(gòu)GPU訂單已全部售罄,任何新客戶需要等到2025年才能收到產(chǎn)品。
“國內(nèi)的情況與海外不同,因為英偉達高端顯卡禁售,很難拿新品,走的是另一條不同的路?!鄙鲜鋈耸空J為,海外降價對國內(nèi)幾乎沒有影響,現(xiàn)階段,國內(nèi)算力租賃市場最大的問題仍在于供需失衡,“國內(nèi)算力資源極度分散,大多時候都是賣家找不到買家,買家也找不到賣家?!?/p>
之所以如此,是因為國內(nèi)目前算力資源總供給有限,無法做到按需分配。
據(jù)界面新聞記者了解,國內(nèi)用于訓(xùn)練AI模型的算力資源,除了AI GPU H100、A100之外,還有英偉達的消費GPU產(chǎn)品4090,以及不同廠商的國產(chǎn)AI算力。
同時,國內(nèi)從事算力租賃的公司混雜,產(chǎn)品服務(wù)與價格缺乏統(tǒng)一標準,少有像海外的AWS、谷歌云那樣,可以向客戶提供標準化租賃服務(wù)的公司。
另有多位市場人士向界面新聞記者表示,國內(nèi)算力資源租賃的服務(wù)器價格今年確有波動。一臺H100服務(wù)器,年初的市場報價在12萬元/年左右,現(xiàn)在的市價大概在7萬元。
一家曾參與國內(nèi)某地方政府建設(shè)智算中心的科技公司CEO提到,由于字節(jié)跳動、阿里、騰訊這些互聯(lián)網(wǎng)巨頭掌握的算力資源主要供自家大模型使用,很少能面向公開市場提供租賃服務(wù)?,F(xiàn)在市場上絕大多數(shù)從事算力租賃的廠商都是在賣服務(wù)器硬件,無法做到像過去的云計算廠商一樣,提供標準服務(wù)、統(tǒng)一定價。
“這些算力租賃服務(wù)商大多數(shù)是因去年算力需求暴漲囤了一定量的AI服務(wù)器現(xiàn)貨,然后把算力硬件當作‘期貨’炒。為了保證硬件回本,他們極少有能真正按小時計價來靈活地提供服務(wù),許多訂單都要按1年甚至更長時間起租,折算下來是一筆不小的成本?!边@位CEO認為,國內(nèi)市場降價主要影響的是這批“投機客”,他們手中的硬件資產(chǎn)在貶值。
另據(jù)兩位AI服務(wù)器的銷售人員透露,目前國內(nèi)非公開渠道流通的少量H100服務(wù)器,現(xiàn)貨每臺價格在240萬元-250萬元上下,相比去年近300萬元的售價有所下跌。
在上述科技公司CEO看來,僅通過H100的價格浮動就預(yù)言“算力泡沫破裂”為時尚早。
就供給而言,與Meta、微軟、特斯拉這樣已擁有數(shù)十萬張H100 GPU,且仍繼續(xù)加大采購的海外算力巨頭相比,國內(nèi)算力總量有限,各地仍在加緊投入建設(shè)智算中心。政府今年對算力建設(shè)的投入方向仍是主張“適度超前”來增加供給。
而從需求角度看,無論是AI大模型訓(xùn)練還是推理,以及支持傳統(tǒng)企業(yè)通過AI探索業(yè)務(wù)轉(zhuǎn)型,先進的算力資源始終是市場上的“搶手貨”。
“市場上真正有資源、有實力建設(shè)算力中心的客戶還是極少數(shù),今年接觸的大量客戶對于平價、穩(wěn)定且按需調(diào)用的算力還是極度渴求?!痹揅EO說道。