正在閱讀:

大模型一體機是在“賣盒子”嗎?

掃一掃下載界面新聞APP

大模型一體機是在“賣盒子”嗎?

大模型不一定要捆綁硬件來凸顯價值,但一定要結合硬件來充分釋放價值

文|腦極體

如果要找一個海內(nèi)外大模型商業(yè)化探索的差異點,“一體機”應該榜上有名。

微軟、谷歌、OpenAI等,主要通過基于云的AI服務和API接口來實現(xiàn)商業(yè)化。當然也有硬件,比如英偉達推出的Jetson,就是面向邊緣計算和AI應用的一款設備,可以用來在邊緣場景中運行復雜的AI模型,但更多的是作為一個通用的AI計算平臺,而不是集成了特定大模型的一體機。

與之相比,“大模型一體機”在中國市場的熱度更高。主流AI大模型廠商、ICT服務商及ISV服務商,幾乎全部下場了。

AI大模型廠商,如百度的千帆大模型一體機、科大訊飛的星火一體機、智譜AI的智譜GLM昇騰大模型一體機。ICT廠商和ISV服務商也都在積極推出各種場景化一體機,比如新華三面向政企客戶的AIGC靈犀一體機,達觀數(shù)據(jù)面向企業(yè)市場的“曹植”大模型一體機,商湯科技的金融大模型檢索問答一體機,中軟國際面向政府市場的JointPilot“四問(問數(shù)、問視、問策、問服)”系列大模型一體機等。

大模型一體機,是一個非常有意思的賽道。

有人說,大模型一體機更符合國情,類似于“賣盒子”,也就是軟硬結合,將軟件帶硬件盒子一起賣給客戶,這在ToB/ToG市場很好用,因為更符合“拍板領導”的認知范圍,不認可軟件的價值,只愿意為看得見摸得著的硬資產(chǎn)付費。

大模型一體機,通過將計算硬件和AI大模型及相關支持軟件,緊耦合封裝在一起,方便客戶使用大模型來實現(xiàn)AI應用,可以看作是AI版的“賣盒子”,是一種好的商業(yè)模式嗎?

一體機里除了大模型還有什么?

首先有必要搞清楚,大模型一體機究竟在賣什么?市面上的大模型一體機,主要由幾個部分構成:

1.硬件。大模型的訓練和推理,需要大量的算力資源,涉及高性能AI硬件。大模型一體機搭載AI硬件,并針對模型進行優(yōu)化調校。

2.大模型。滿足客戶使用大模型、開發(fā)AI應用的需求,大模型一體機中內(nèi)置的大模型也各有特色。這里簡單介紹兩種,一種是單一大模型的一體機,比如軟通動力聯(lián)合百川智能推出的“軟通-百川AI大模型一體機”,就預裝了百川大模型。另一種是開源開放的大模型一體機,提供豐富的基座大模型讓企業(yè)測試、調用,比如百度的千帆大模型一體機,除了內(nèi)置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余個主流開源大模型。

3.全棧工具。通用場景的大模型,是無法直接被特定領域、垂直場景來使用的。舉個例子,很多行業(yè)還沒有高質量的語料,一些知識經(jīng)驗還沒有被文本化、數(shù)據(jù)化,導致大模型無法充分學習。所以,想要用好大模型,很多企業(yè)還需要有工程師來進行數(shù)據(jù)治理,建立高質量的行業(yè)語料和知識庫,做好提示詞工程,開發(fā)業(yè)務友好的插件……從零搭建起全棧AI開發(fā)能力,有著不小的工程量。而大模型一體機,針對垂直場景進行過優(yōu)化微調,集成了易用的平臺化工具,可以將原本幾個月的開發(fā)周期縮短到幾天、幾小時,實現(xiàn)特定行業(yè)專屬大模型的快速部署。

4.支持服務。不同于傳統(tǒng)軟件,大模型需要持續(xù)學習,根據(jù)人類反饋和數(shù)據(jù)集及時更新迭代,具有很強的時效性,需要服務商更快、更有針對性地響應。而作為整體解決方案出售的大模型一體機,包含了一定程度的技術支持和服務,可以解決企業(yè)長期應用大模型的問題。

不難發(fā)現(xiàn),相比單純售賣AI服務和API的商業(yè)模式,開箱即用的大模型一體機,能夠縮短部署周期、深度結合場景、打消落地門檻,是更符合當下產(chǎn)業(yè)現(xiàn)狀的一種選擇,也可以讓更多企業(yè)更快地用好大模型。

大模型一體機不等于傳統(tǒng)盒子

國內(nèi)企業(yè)紛紛推出大模型一體機時,我所在的一個行業(yè)群,有人表示:國內(nèi)就是軟件不值錢,硬件值錢。

提供服務和解決方案的商業(yè)模式,優(yōu)于“賣盒子”,是一個業(yè)內(nèi)流傳已久的觀念。

尤其是在傳統(tǒng)企業(yè)軟件和云計算領域,“賣盒子”被認為是市場不夠成熟的無奈之選,因為以前很多甲方的領導不了解軟件技術,覺得硬件更有科技含量。而在銷售方式上,賣盒子壁壘不高,拼的不是產(chǎn)品創(chuàng)新,而是客情關系和酒量。商業(yè)回報上,賣盒子涉及定制成本、人力維護成本,無法像軟件那樣通過規(guī)?;@得非線性增長,干的都是苦活累活。

既然大模型一體機,也是將大模型及相關軟件與硬件集成,作為一個整體產(chǎn)品出售來“賣盒子”。這種商業(yè)模式究竟好不好呢?

這里要明確,盡管都是將軟硬件集成在一起售賣,但此一時彼一時,大模型一體機并不能等同于傳統(tǒng)的“賣盒子”模式。

從市場源頭的需求驅動力來看,購買一體機的用戶,并非“不懂大模型”。

認為“賣盒子”比“賣軟件服務”low,往往是覺得ToB市場的很多客戶不懂軟件,不明白為什么一張license要賣那么貴,必須封裝到盒子里才肯買單。

但今時今日,隨著數(shù)字化、智能化的深入,各行各業(yè)的企業(yè)決策者,很少有人不認可大模型的價值,不認可數(shù)據(jù)工程、知識工程等“軟實力”之于AI落地的意義。恰恰相反,大模型一體機的市場崛起,正是因為對應用大模型、開發(fā)專屬大模型的迫切渴求。

如果說以前“賣盒子”有點買櫝還珠的味道,那么現(xiàn)在,一體機中大模型這顆“明珠”在企業(yè)市場的認可度,是毋庸置疑的。

除了“軟實力”的價值受到認可,大模型一體機的硬件,也更加多元化。

“賣盒子”的另一類訴求是,將硬件作為企業(yè)資產(chǎn)的一部分,更好估價,導致了硬件過度堆砌、脫離業(yè)務實際需求的情況。顯然,大模型一體機市場,也并不是這樣的。

我們注意到,大模型一體機的供應商,普遍會提供多種部署方案,既有低成本的輕量級一體機,也有針對大中型客戶的定制化高配一體機,相當于中杯、大杯和超大杯。企業(yè)完全可以立足于業(yè)務場景的實際需求,選擇最適合自己的硬件版本,無需重度投入過多的硬件資源。

“不是高配一體機買不起,而是輕量一體機更有性價比”,價值導向、實用導向驅動的大模型一體機,拼的主要是產(chǎn)品力,在供給和銷售策略上也更合理、更市場化。

另外值得一提的是,“賣盒子”曾被認為是迎合了中國企業(yè)缺乏“安全感”的心理,進行(沒有太大必要的)私有化本地部署。那么,支持本地部署、強調數(shù)據(jù)隔離與安全保障的大模型一體機,有必要嗎?

相信了解大模型技術的讀者,都會很快做出判斷:很有必要。

大模型不同于傳統(tǒng)的軟件技術,其訓練和推理都會涉及大量重要隱私數(shù)據(jù),又存在“幻覺”問題,對數(shù)據(jù)監(jiān)管和內(nèi)容安全的擔憂并非杞人憂天。

而大模型一體機的本地私有化部署,可以幫助企業(yè)實現(xiàn)數(shù)據(jù)隔離與網(wǎng)絡隔離,減少數(shù)據(jù)傳輸及存儲的風險,確保數(shù)據(jù)資產(chǎn)的安全性。不打消客觀存在的安全顧慮,大模型是很難落地到“最后一公里”的。

所以,大模型一體機并不等于傳統(tǒng)的“賣盒子”,而是從復雜產(chǎn)業(yè)實際出發(fā)的一種選擇。

大模型一體機到底誰在用?

當然,大模型一體機確有其用,并不意味著每一個開發(fā)者、每一家企業(yè)都適合。

相比大模型一體機少則幾萬、多則幾十萬的前期投入成本,通過API調用次數(shù)或計算資源計費,一個token只需要幾分錢,初始成本更低。那么,這大模型一體機到底是誰在用???

有三類群體,應該將大模型一體機的集成方案,作為重點考量:

一是風險敏感型。

包括數(shù)據(jù)隱私安全風險,以及供應鏈斷鏈風險。軟硬件協(xié)同優(yōu)化的一體機,可以讓AI大模型在國產(chǎn)硬件上也有不錯的性能表現(xiàn)。對于有信創(chuàng)需求的企事業(yè)單位,是更優(yōu)解。

公開報道顯示,基于昇騰AI硬件底座的軟通AI訓推一體化平臺,就受到央國企、科技機構、教育、金融等領域客戶的認可。

二是長期運營型。

一位開發(fā)者朋友,在調用了GPT4-Turbo之后表示:“太燒錢了!”他所用的非代碼調用場景,一次要花費0.5元,長期用是不可承受的,于是選擇了能力更低的GPT-3.5+其他模型的組合拳。

大模型API基于token使用量的計費方式,雖然初始階段看起來成本更低,但總體擁有成本(TCO)卻未必。實踐看來,企業(yè)應用AI,并不意味著所有任務都要使用云端先進大模型的完整能力。

大模型一體機提供的更豐富的模型選型、本地化部署、優(yōu)化過的性能保障,可能讓企業(yè)AI開發(fā)應用的全生命周期,打好“組合拳”。

三是非AI原生型。

大模型火爆之后,很多行業(yè)和企業(yè)才開始關注AI、使用AI,沒有積累相關的開發(fā)能力和人才,對技術也是一知半解,這時候想要在自身的業(yè)務場景中快速上馬大模型,可能要面臨短期內(nèi)資源緊缺的溢價情況,被迫在算力市場、人才市場進行競價,試錯成本更高。這時候,通過大模型一體機的小時級一站式交付、即插即用,可以快速試錯。

比如一個普惠版的大模型一體機,不需要A100這類高端顯卡,就可以幫助企業(yè)打造一個專屬大模型,開發(fā)出小型的知識庫應用或AIGC類應用,讓業(yè)務智能化起來,讓大模型不再遙遠。

大模型的商業(yè)化探索還處于早期,用傳統(tǒng)的眼光去看待新興事物,未嘗不是一種刻舟求劍。大模型不一定要捆綁硬件來凸顯價值,但一定要結合硬件來充分釋放價值。

從這個角度來說,大模型一體機的商業(yè)內(nèi)核,與以往的“賣盒子”有本質的不同,或許能為企業(yè)市場帶來一種全新的商業(yè)機遇。

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

大模型一體機是在“賣盒子”嗎?

大模型不一定要捆綁硬件來凸顯價值,但一定要結合硬件來充分釋放價值

文|腦極體

如果要找一個海內(nèi)外大模型商業(yè)化探索的差異點,“一體機”應該榜上有名。

微軟、谷歌、OpenAI等,主要通過基于云的AI服務和API接口來實現(xiàn)商業(yè)化。當然也有硬件,比如英偉達推出的Jetson,就是面向邊緣計算和AI應用的一款設備,可以用來在邊緣場景中運行復雜的AI模型,但更多的是作為一個通用的AI計算平臺,而不是集成了特定大模型的一體機。

與之相比,“大模型一體機”在中國市場的熱度更高。主流AI大模型廠商、ICT服務商及ISV服務商,幾乎全部下場了。

AI大模型廠商,如百度的千帆大模型一體機、科大訊飛的星火一體機、智譜AI的智譜GLM昇騰大模型一體機。ICT廠商和ISV服務商也都在積極推出各種場景化一體機,比如新華三面向政企客戶的AIGC靈犀一體機,達觀數(shù)據(jù)面向企業(yè)市場的“曹植”大模型一體機,商湯科技的金融大模型檢索問答一體機,中軟國際面向政府市場的JointPilot“四問(問數(shù)、問視、問策、問服)”系列大模型一體機等。

大模型一體機,是一個非常有意思的賽道。

有人說,大模型一體機更符合國情,類似于“賣盒子”,也就是軟硬結合,將軟件帶硬件盒子一起賣給客戶,這在ToB/ToG市場很好用,因為更符合“拍板領導”的認知范圍,不認可軟件的價值,只愿意為看得見摸得著的硬資產(chǎn)付費。

大模型一體機,通過將計算硬件和AI大模型及相關支持軟件,緊耦合封裝在一起,方便客戶使用大模型來實現(xiàn)AI應用,可以看作是AI版的“賣盒子”,是一種好的商業(yè)模式嗎?

一體機里除了大模型還有什么?

首先有必要搞清楚,大模型一體機究竟在賣什么?市面上的大模型一體機,主要由幾個部分構成:

1.硬件。大模型的訓練和推理,需要大量的算力資源,涉及高性能AI硬件。大模型一體機搭載AI硬件,并針對模型進行優(yōu)化調校。

2.大模型。滿足客戶使用大模型、開發(fā)AI應用的需求,大模型一體機中內(nèi)置的大模型也各有特色。這里簡單介紹兩種,一種是單一大模型的一體機,比如軟通動力聯(lián)合百川智能推出的“軟通-百川AI大模型一體機”,就預裝了百川大模型。另一種是開源開放的大模型一體機,提供豐富的基座大模型讓企業(yè)測試、調用,比如百度的千帆大模型一體機,除了內(nèi)置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余個主流開源大模型。

3.全棧工具。通用場景的大模型,是無法直接被特定領域、垂直場景來使用的。舉個例子,很多行業(yè)還沒有高質量的語料,一些知識經(jīng)驗還沒有被文本化、數(shù)據(jù)化,導致大模型無法充分學習。所以,想要用好大模型,很多企業(yè)還需要有工程師來進行數(shù)據(jù)治理,建立高質量的行業(yè)語料和知識庫,做好提示詞工程,開發(fā)業(yè)務友好的插件……從零搭建起全棧AI開發(fā)能力,有著不小的工程量。而大模型一體機,針對垂直場景進行過優(yōu)化微調,集成了易用的平臺化工具,可以將原本幾個月的開發(fā)周期縮短到幾天、幾小時,實現(xiàn)特定行業(yè)專屬大模型的快速部署。

4.支持服務。不同于傳統(tǒng)軟件,大模型需要持續(xù)學習,根據(jù)人類反饋和數(shù)據(jù)集及時更新迭代,具有很強的時效性,需要服務商更快、更有針對性地響應。而作為整體解決方案出售的大模型一體機,包含了一定程度的技術支持和服務,可以解決企業(yè)長期應用大模型的問題。

不難發(fā)現(xiàn),相比單純售賣AI服務和API的商業(yè)模式,開箱即用的大模型一體機,能夠縮短部署周期、深度結合場景、打消落地門檻,是更符合當下產(chǎn)業(yè)現(xiàn)狀的一種選擇,也可以讓更多企業(yè)更快地用好大模型。

大模型一體機不等于傳統(tǒng)盒子

國內(nèi)企業(yè)紛紛推出大模型一體機時,我所在的一個行業(yè)群,有人表示:國內(nèi)就是軟件不值錢,硬件值錢。

提供服務和解決方案的商業(yè)模式,優(yōu)于“賣盒子”,是一個業(yè)內(nèi)流傳已久的觀念。

尤其是在傳統(tǒng)企業(yè)軟件和云計算領域,“賣盒子”被認為是市場不夠成熟的無奈之選,因為以前很多甲方的領導不了解軟件技術,覺得硬件更有科技含量。而在銷售方式上,賣盒子壁壘不高,拼的不是產(chǎn)品創(chuàng)新,而是客情關系和酒量。商業(yè)回報上,賣盒子涉及定制成本、人力維護成本,無法像軟件那樣通過規(guī)模化獲得非線性增長,干的都是苦活累活。

既然大模型一體機,也是將大模型及相關軟件與硬件集成,作為一個整體產(chǎn)品出售來“賣盒子”。這種商業(yè)模式究竟好不好呢?

這里要明確,盡管都是將軟硬件集成在一起售賣,但此一時彼一時,大模型一體機并不能等同于傳統(tǒng)的“賣盒子”模式。

從市場源頭的需求驅動力來看,購買一體機的用戶,并非“不懂大模型”。

認為“賣盒子”比“賣軟件服務”low,往往是覺得ToB市場的很多客戶不懂軟件,不明白為什么一張license要賣那么貴,必須封裝到盒子里才肯買單。

但今時今日,隨著數(shù)字化、智能化的深入,各行各業(yè)的企業(yè)決策者,很少有人不認可大模型的價值,不認可數(shù)據(jù)工程、知識工程等“軟實力”之于AI落地的意義。恰恰相反,大模型一體機的市場崛起,正是因為對應用大模型、開發(fā)專屬大模型的迫切渴求。

如果說以前“賣盒子”有點買櫝還珠的味道,那么現(xiàn)在,一體機中大模型這顆“明珠”在企業(yè)市場的認可度,是毋庸置疑的。

除了“軟實力”的價值受到認可,大模型一體機的硬件,也更加多元化。

“賣盒子”的另一類訴求是,將硬件作為企業(yè)資產(chǎn)的一部分,更好估價,導致了硬件過度堆砌、脫離業(yè)務實際需求的情況。顯然,大模型一體機市場,也并不是這樣的。

我們注意到,大模型一體機的供應商,普遍會提供多種部署方案,既有低成本的輕量級一體機,也有針對大中型客戶的定制化高配一體機,相當于中杯、大杯和超大杯。企業(yè)完全可以立足于業(yè)務場景的實際需求,選擇最適合自己的硬件版本,無需重度投入過多的硬件資源。

“不是高配一體機買不起,而是輕量一體機更有性價比”,價值導向、實用導向驅動的大模型一體機,拼的主要是產(chǎn)品力,在供給和銷售策略上也更合理、更市場化。

另外值得一提的是,“賣盒子”曾被認為是迎合了中國企業(yè)缺乏“安全感”的心理,進行(沒有太大必要的)私有化本地部署。那么,支持本地部署、強調數(shù)據(jù)隔離與安全保障的大模型一體機,有必要嗎?

相信了解大模型技術的讀者,都會很快做出判斷:很有必要。

大模型不同于傳統(tǒng)的軟件技術,其訓練和推理都會涉及大量重要隱私數(shù)據(jù),又存在“幻覺”問題,對數(shù)據(jù)監(jiān)管和內(nèi)容安全的擔憂并非杞人憂天。

而大模型一體機的本地私有化部署,可以幫助企業(yè)實現(xiàn)數(shù)據(jù)隔離與網(wǎng)絡隔離,減少數(shù)據(jù)傳輸及存儲的風險,確保數(shù)據(jù)資產(chǎn)的安全性。不打消客觀存在的安全顧慮,大模型是很難落地到“最后一公里”的。

所以,大模型一體機并不等于傳統(tǒng)的“賣盒子”,而是從復雜產(chǎn)業(yè)實際出發(fā)的一種選擇。

大模型一體機到底誰在用?

當然,大模型一體機確有其用,并不意味著每一個開發(fā)者、每一家企業(yè)都適合。

相比大模型一體機少則幾萬、多則幾十萬的前期投入成本,通過API調用次數(shù)或計算資源計費,一個token只需要幾分錢,初始成本更低。那么,這大模型一體機到底是誰在用???

有三類群體,應該將大模型一體機的集成方案,作為重點考量:

一是風險敏感型。

包括數(shù)據(jù)隱私安全風險,以及供應鏈斷鏈風險。軟硬件協(xié)同優(yōu)化的一體機,可以讓AI大模型在國產(chǎn)硬件上也有不錯的性能表現(xiàn)。對于有信創(chuàng)需求的企事業(yè)單位,是更優(yōu)解。

公開報道顯示,基于昇騰AI硬件底座的軟通AI訓推一體化平臺,就受到央國企、科技機構、教育、金融等領域客戶的認可。

二是長期運營型。

一位開發(fā)者朋友,在調用了GPT4-Turbo之后表示:“太燒錢了!”他所用的非代碼調用場景,一次要花費0.5元,長期用是不可承受的,于是選擇了能力更低的GPT-3.5+其他模型的組合拳。

大模型API基于token使用量的計費方式,雖然初始階段看起來成本更低,但總體擁有成本(TCO)卻未必。實踐看來,企業(yè)應用AI,并不意味著所有任務都要使用云端先進大模型的完整能力。

大模型一體機提供的更豐富的模型選型、本地化部署、優(yōu)化過的性能保障,可能讓企業(yè)AI開發(fā)應用的全生命周期,打好“組合拳”。

三是非AI原生型。

大模型火爆之后,很多行業(yè)和企業(yè)才開始關注AI、使用AI,沒有積累相關的開發(fā)能力和人才,對技術也是一知半解,這時候想要在自身的業(yè)務場景中快速上馬大模型,可能要面臨短期內(nèi)資源緊缺的溢價情況,被迫在算力市場、人才市場進行競價,試錯成本更高。這時候,通過大模型一體機的小時級一站式交付、即插即用,可以快速試錯。

比如一個普惠版的大模型一體機,不需要A100這類高端顯卡,就可以幫助企業(yè)打造一個專屬大模型,開發(fā)出小型的知識庫應用或AIGC類應用,讓業(yè)務智能化起來,讓大模型不再遙遠。

大模型的商業(yè)化探索還處于早期,用傳統(tǒng)的眼光去看待新興事物,未嘗不是一種刻舟求劍。大模型不一定要捆綁硬件來凸顯價值,但一定要結合硬件來充分釋放價值。

從這個角度來說,大模型一體機的商業(yè)內(nèi)核,與以往的“賣盒子”有本質的不同,或許能為企業(yè)市場帶來一種全新的商業(yè)機遇。

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。