正在閱讀:

李彥宏最新內(nèi)部講話:開(kāi)源大模型不如閉源,后者會(huì)持續(xù)領(lǐng)先

掃一掃下載界面新聞APP

李彥宏最新內(nèi)部講話:開(kāi)源大模型不如閉源,后者會(huì)持續(xù)領(lǐng)先

在李彥宏看來(lái),大模型開(kāi)源并非眾人拾柴火焰高,反而是閉源模型在能力上會(huì)持續(xù)領(lǐng)先。

作者:范劍磊

界面新聞?dòng)浾?| 李如嘉

界面新聞編輯 | 宋佳楠

4月11日,界面新聞獲悉,百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏在一場(chǎng)內(nèi)部講話中首次談及文心大模型為何不開(kāi)源,以及對(duì)于大模型開(kāi)源與閉源的路線選擇的看法。

此外,他還提到了關(guān)于AI創(chuàng)業(yè)者應(yīng)該專注模型還是應(yīng)用創(chuàng)業(yè)公司既做模型又做應(yīng)用的“雙輪驅(qū)動(dòng)”是否是一個(gè)好模式等業(yè)界焦點(diǎn)話題。

大模型開(kāi)源意義不大

在大模型領(lǐng)域,目前有開(kāi)源和閉源兩種技術(shù)路線。

例如馬斯克旗下的人工智能初創(chuàng)公司“xAI”選擇了開(kāi)源路線,此前其正式開(kāi)源了全球最大參數(shù)的大語(yǔ)言模型Grok-1。Meta的大語(yǔ)言模型Llama系列,以及在開(kāi)源社區(qū)備受關(guān)注的Mistral AI等,國(guó)內(nèi)的智源“悟道”大模型、百川智能大模型、阿里的通義千問(wèn)模型也都是開(kāi)源大模型。

掀起大模型熱潮的OpenAI開(kāi)發(fā)的GPT-3.5、GPT-4選擇了閉源,百度文心大模型也是如此。

李彥宏在內(nèi)部講話中提到,關(guān)于文心是否需要開(kāi)源,百度內(nèi)部有過(guò)非常激烈的討論,最終決定不開(kāi)源。當(dāng)時(shí)的判斷是,市場(chǎng)上一定會(huì)有開(kāi)源的模型,而且不止一家會(huì)開(kāi)源。在這種情況下,多百度一家開(kāi)源不多,少百度一家開(kāi)源也不少。

這個(gè)市場(chǎng)上不缺我們這一家開(kāi)源的模型。我們要開(kāi)源還得自己去維護(hù)一套開(kāi)源的版本,這是不劃算的?!?/span>他認(rèn)為,模型開(kāi)源的意義其實(shí)不是很大,這些開(kāi)源模型在外零散小規(guī)模地去做各種驗(yàn)證應(yīng)用,沒(méi)有經(jīng)過(guò)大算力的驗(yàn)證。

在他看來(lái),與傳統(tǒng)的軟件開(kāi)源不同,大模型開(kāi)源并非眾人拾柴火焰高。反而是閉源模型在能力上會(huì)持續(xù)領(lǐng)先,而不是一時(shí)的領(lǐng)先。

有行業(yè)人士同樣對(duì)界面新聞表示,此前開(kāi)源軟件的優(yōu)勢(shì)在于大家共享代碼,可以做到多人共同修復(fù)bug,使得軟件不斷更新。然而大模型本身是一個(gè)黑盒,在有人提交修改后就有重新訓(xùn)練的可能,每次訓(xùn)練都會(huì)消耗大量的算力和資金,并不像從前開(kāi)源軟件一樣在多人共同開(kāi)發(fā)方面有如此大的受益。

上述人士判斷,長(zhǎng)期來(lái)看,閉源更能集中智力、算力等資源對(duì)大模型進(jìn)行迭代,比起開(kāi)源效率更高。

李彥宏也強(qiáng)調(diào),閉源的優(yōu)勢(shì)還在于有真正的商業(yè)模式,能賺到錢去聚集算力、聚集人才。在成本上,同等能力下,閉源模型的推理成本更低、響應(yīng)速度更快。同等參數(shù)的情況下,閉源模型的能力也更強(qiáng)。

今天不管是在中國(guó)也好、在美國(guó)也好,最強(qiáng)的基礎(chǔ)模型都是閉源的,而各種各樣的小模型、最好的小模型,都是通過(guò)大模型蒸餾來(lái)的。通過(guò)大模型降維做出來(lái)的模型就是更好的,這樣也會(huì)導(dǎo)致閉源在成本上、在效率上會(huì)有優(yōu)勢(shì)。他說(shuō)。

關(guān)于大模型的開(kāi)源閉源之爭(zhēng),百川智能首席執(zhí)行官王小川此前接受界面新聞采訪時(shí)也有所提及。他的觀點(diǎn)是,大模型本身不代表消費(fèi)端,不像安卓、IOS需要二選一,今天從企業(yè)端的角度,開(kāi)源閉源都很需要。

王小川很看重開(kāi)源帶來(lái)的價(jià)值,他認(rèn)為,未來(lái)80%的企業(yè)會(huì)用到開(kāi)源模型,因?yàn)殚_(kāi)源模型小巧,而閉源沒(méi)法對(duì)很多場(chǎng)景做出上佳適配。

AI創(chuàng)業(yè)者的核心競(jìng)爭(zhēng)力并非模型本身

除對(duì)開(kāi)、閉源路線表態(tài)外,李彥宏還對(duì)AI創(chuàng)業(yè)者創(chuàng)業(yè)公司提出了自己的看法。

他認(rèn)為,一些做模型的創(chuàng)業(yè)公司所謂的“雙輪驅(qū)動(dòng)”不是一個(gè)好模式,既做模型又做應(yīng)用,勢(shì)必會(huì)分散精力。創(chuàng)業(yè)公司的精力和資源都是有限的,當(dāng)資源有限時(shí)更應(yīng)該專注,而不是去搞所謂的“雙輪驅(qū)動(dòng)”。

而對(duì)AI創(chuàng)業(yè)者來(lái)說(shuō),核心競(jìng)爭(zhēng)力不應(yīng)該是模型本身,這是非常耗資源,而且需要很長(zhǎng)時(shí)間的堅(jiān)持才能跑出來(lái)。創(chuàng)業(yè)者真正的優(yōu)勢(shì)應(yīng)該是在某一個(gè)領(lǐng)域的知識(shí)、數(shù)據(jù)。

假如你今天想找一個(gè)黃色的無(wú)兜的男士泳褲,你在任何一個(gè)電商平臺(tái)上都找不到,這種需求目前的技術(shù)是解決不了的。大模型如果有領(lǐng)域知識(shí)就可以解決,這就是靠領(lǐng)域知識(shí)能夠提供獨(dú)特價(jià)值的例子。他說(shuō)。

在他看來(lái),市面上有大量模型,大的、小的、開(kāi)源的、閉源的,在特定應(yīng)用當(dāng)中如何使用這些模型的組合是有技巧的,這是創(chuàng)業(yè)者可以干的事兒,是可以提供價(jià)值增益的。

而關(guān)于外界所擔(dān)心的如果用了文心或者閉源模型,做得好就會(huì)被抄襲、被搶飯碗,李彥宏也回應(yīng)稱,在移動(dòng)時(shí)代,微信沒(méi)有去吃掉拼多多,滴滴也沒(méi)有變成騰訊的一部分。它們都各自提供了自己獨(dú)特的價(jià)值,有自己非常不一樣的競(jìng)爭(zhēng)力。它們的興起都是依賴移動(dòng)生態(tài)里的一個(gè)封閉平臺(tái)——微信,但它們并不怕微信去搶它的飯碗,所以沒(méi)有必要擔(dān)心基礎(chǔ)模型通吃AI的應(yīng)用。

中信建投研報(bào)指出,當(dāng)前國(guó)內(nèi)大模型能力逐步提升,中文領(lǐng)域處理和部分特性如長(zhǎng)文本處理等有對(duì)齊和領(lǐng)先優(yōu)勢(shì)。隨著Kimi熱度提升,國(guó)內(nèi)多家大模型廠商加入長(zhǎng)文本能力競(jìng)爭(zhēng),產(chǎn)業(yè)消費(fèi)端落地加速。國(guó)內(nèi)大模型應(yīng)用元年已至。

在模型逐漸成熟后,未來(lái)大模型將在產(chǎn)品和應(yīng)用層上展開(kāi)新一輪比拼和爭(zhēng)奪。李彥宏這番講話也是在吸引更多應(yīng)用層開(kāi)發(fā)者選擇文心大模型。

在此前的百度2023年第四季度及全年財(cái)報(bào)電話會(huì)上,李彥宏透露,百度智能云四季度總營(yíng)收84億元,其中大模型為云業(yè)務(wù)帶來(lái)約6.6億元增量收入。

目前,文心大模型的日調(diào)用量已超過(guò)5000萬(wàn)次,季度環(huán)比增長(zhǎng)190%。去年12月,約有2.6萬(wàn)家企業(yè)調(diào)用文心大模型,季度環(huán)比增長(zhǎng)150%。三星、榮耀、汽車之家等企業(yè)均與百度達(dá)成合作。

自發(fā)布以來(lái),百度不斷降低文心大模型的推理成本,目前已降低至去年3月版本的1%。

李彥宏還表示,未來(lái),多模態(tài)或多模態(tài)的融合,比如文字到視頻,是非常重要的基礎(chǔ)模型開(kāi)發(fā)的方向,是AGI(通用人工智能)的一個(gè)必要方向。百度已經(jīng)在這些領(lǐng)域進(jìn)行投資,并會(huì)在未來(lái)繼續(xù)進(jìn)行投資。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

百度

6k
  • 李彥宏堅(jiān)稱不做視頻生成模型,中國(guó)版Sora到底值不值得做?
  • 百度智能云海東數(shù)據(jù)標(biāo)注基地正式啟動(dòng)

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

李彥宏最新內(nèi)部講話:開(kāi)源大模型不如閉源,后者會(huì)持續(xù)領(lǐng)先

在李彥宏看來(lái),大模型開(kāi)源并非眾人拾柴火焰高,反而是閉源模型在能力上會(huì)持續(xù)領(lǐng)先。

作者:范劍磊

界面新聞?dòng)浾?| 李如嘉

界面新聞編輯 | 宋佳楠

4月11日,界面新聞獲悉,百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏在一場(chǎng)內(nèi)部講話中首次談及文心大模型為何不開(kāi)源,以及對(duì)于大模型開(kāi)源與閉源的路線選擇的看法。

此外,他還提到了關(guān)于AI創(chuàng)業(yè)者應(yīng)該專注模型還是應(yīng)用、創(chuàng)業(yè)公司既做模型又做應(yīng)用的“雙輪驅(qū)動(dòng)”是否是一個(gè)好模式等業(yè)界焦點(diǎn)話題。

大模型開(kāi)源意義不大

在大模型領(lǐng)域,目前有開(kāi)源和閉源兩種技術(shù)路線。

例如馬斯克旗下的人工智能初創(chuàng)公司“xAI”選擇了開(kāi)源路線,此前其正式開(kāi)源了全球最大參數(shù)的大語(yǔ)言模型Grok-1。Meta的大語(yǔ)言模型Llama系列,以及在開(kāi)源社區(qū)備受關(guān)注的Mistral AI等,國(guó)內(nèi)的智源“悟道”大模型、百川智能大模型、阿里的通義千問(wèn)模型也都是開(kāi)源大模型。

掀起大模型熱潮的OpenAI開(kāi)發(fā)的GPT-3.5、GPT-4選擇了閉源,百度文心大模型也是如此。

李彥宏在內(nèi)部講話中提到,關(guān)于文心是否需要開(kāi)源,百度內(nèi)部有過(guò)非常激烈的討論,最終決定不開(kāi)源。當(dāng)時(shí)的判斷是,市場(chǎng)上一定會(huì)有開(kāi)源的模型,而且不止一家會(huì)開(kāi)源。在這種情況下,多百度一家開(kāi)源不多,少百度一家開(kāi)源也不少。

這個(gè)市場(chǎng)上不缺我們這一家開(kāi)源的模型。我們要開(kāi)源還得自己去維護(hù)一套開(kāi)源的版本,這是不劃算的?!?/span>他認(rèn)為,模型開(kāi)源的意義其實(shí)不是很大,這些開(kāi)源模型在外零散小規(guī)模地去做各種驗(yàn)證應(yīng)用,沒(méi)有經(jīng)過(guò)大算力的驗(yàn)證

在他看來(lái),與傳統(tǒng)的軟件開(kāi)源不同,大模型開(kāi)源并非眾人拾柴火焰高。反而是閉源模型在能力上會(huì)持續(xù)領(lǐng)先,而不是一時(shí)的領(lǐng)先。

有行業(yè)人士同樣對(duì)界面新聞表示,此前開(kāi)源軟件的優(yōu)勢(shì)在于大家共享代碼,可以做到多人共同修復(fù)bug,使得軟件不斷更新。然而大模型本身是一個(gè)黑盒,在有人提交修改后就有重新訓(xùn)練的可能,每次訓(xùn)練都會(huì)消耗大量的算力和資金,并不像從前開(kāi)源軟件一樣在多人共同開(kāi)發(fā)方面有如此大的受益。

上述人士判斷,長(zhǎng)期來(lái)看,閉源更能集中智力、算力等資源對(duì)大模型進(jìn)行迭代,比起開(kāi)源效率更高。

李彥宏也強(qiáng)調(diào),閉源的優(yōu)勢(shì)還在于有真正的商業(yè)模式,能賺到錢去聚集算力、聚集人才。在成本上,同等能力下,閉源模型的推理成本更低響應(yīng)速度更快。同等參數(shù)的情況下,閉源模型的能力也更強(qiáng)。

今天不管是在中國(guó)也好、在美國(guó)也好,最強(qiáng)的基礎(chǔ)模型都是閉源的,而各種各樣的小模型、最好的小模型,都是通過(guò)大模型蒸餾來(lái)的。通過(guò)大模型降維做出來(lái)的模型就是更好的,這樣也會(huì)導(dǎo)致閉源在成本上、在效率上會(huì)有優(yōu)勢(shì)。他說(shuō)。

關(guān)于大模型的開(kāi)源閉源之爭(zhēng),百川智能首席執(zhí)行官王小川此前接受界面新聞采訪時(shí)也有所提及。他的觀點(diǎn)是,大模型本身不代表消費(fèi)端,不像安卓、IOS需要二選一,今天從企業(yè)端的角度,開(kāi)源閉源都很需要。

王小川很看重開(kāi)源帶來(lái)的價(jià)值,他認(rèn)為,未來(lái)80%的企業(yè)會(huì)用到開(kāi)源模型,因?yàn)殚_(kāi)源模型小巧,而閉源沒(méi)法對(duì)很多場(chǎng)景做出上佳適配。

AI創(chuàng)業(yè)者的核心競(jìng)爭(zhēng)力并非模型本身

除對(duì)開(kāi)、閉源路線表態(tài)外,李彥宏還對(duì)AI創(chuàng)業(yè)者創(chuàng)業(yè)公司提出了自己的看法。

他認(rèn)為,一些做模型的創(chuàng)業(yè)公司所謂的“雙輪驅(qū)動(dòng)”不是一個(gè)好模式,既做模型又做應(yīng)用,勢(shì)必會(huì)分散精力。創(chuàng)業(yè)公司的精力和資源都是有限的,當(dāng)資源有限時(shí)更應(yīng)該專注,而不是去搞所謂的“雙輪驅(qū)動(dòng)”。

而對(duì)AI創(chuàng)業(yè)者來(lái)說(shuō),核心競(jìng)爭(zhēng)力不應(yīng)該是模型本身,這是非常耗資源,而且需要很長(zhǎng)時(shí)間的堅(jiān)持才能跑出來(lái)。創(chuàng)業(yè)者真正的優(yōu)勢(shì)應(yīng)該是在某一個(gè)領(lǐng)域的知識(shí)、數(shù)據(jù)。

假如你今天想找一個(gè)黃色的無(wú)兜的男士泳褲,你在任何一個(gè)電商平臺(tái)上都找不到,這種需求目前的技術(shù)是解決不了的。大模型如果有領(lǐng)域知識(shí)就可以解決,這就是靠領(lǐng)域知識(shí)能夠提供獨(dú)特價(jià)值的例子。他說(shuō)。

在他看來(lái),市面上有大量模型,大的、小的、開(kāi)源的、閉源的,在特定應(yīng)用當(dāng)中如何使用這些模型的組合是有技巧的,這是創(chuàng)業(yè)者可以干的事兒,是可以提供價(jià)值增益的。

而關(guān)于外界所擔(dān)心的如果用了文心或者閉源模型,做得好就會(huì)被抄襲、被搶飯碗,李彥宏也回應(yīng)稱,在移動(dòng)時(shí)代,微信沒(méi)有去吃掉拼多多,滴滴也沒(méi)有變成騰訊的一部分。它們都各自提供了自己獨(dú)特的價(jià)值,有自己非常不一樣的競(jìng)爭(zhēng)力。它們的興起都是依賴移動(dòng)生態(tài)里的一個(gè)封閉平臺(tái)——微信,但它們并不怕微信去搶它的飯碗,所以沒(méi)有必要擔(dān)心基礎(chǔ)模型通吃AI的應(yīng)用。

中信建投研報(bào)指出,當(dāng)前國(guó)內(nèi)大模型能力逐步提升,中文領(lǐng)域處理和部分特性如長(zhǎng)文本處理等有對(duì)齊和領(lǐng)先優(yōu)勢(shì)。隨著Kimi熱度提升,國(guó)內(nèi)多家大模型廠商加入長(zhǎng)文本能力競(jìng)爭(zhēng),產(chǎn)業(yè)消費(fèi)端落地加速。國(guó)內(nèi)大模型應(yīng)用元年已至。

在模型逐漸成熟后,未來(lái)大模型將在產(chǎn)品和應(yīng)用層上展開(kāi)新一輪比拼和爭(zhēng)奪。李彥宏這番講話也是在吸引更多應(yīng)用層開(kāi)發(fā)者選擇文心大模型。

在此前的百度2023年第四季度及全年財(cái)報(bào)電話會(huì)上,李彥宏透露,百度智能云四季度總營(yíng)收84億元,其中大模型為云業(yè)務(wù)帶來(lái)約6.6億元增量收入。

目前,文心大模型的日調(diào)用量已超過(guò)5000萬(wàn)次,季度環(huán)比增長(zhǎng)190%。去年12月,約有2.6萬(wàn)家企業(yè)調(diào)用文心大模型,季度環(huán)比增長(zhǎng)150%。三星、榮耀、汽車之家等企業(yè)均與百度達(dá)成合作。

自發(fā)布以來(lái),百度不斷降低文心大模型的推理成本,目前已降低至去年3月版本的1%。

李彥宏還表示,未來(lái),多模態(tài)或多模態(tài)的融合,比如文字到視頻,是非常重要的基礎(chǔ)模型開(kāi)發(fā)的方向,是AGI(通用人工智能)的一個(gè)必要方向百度已經(jīng)在這些領(lǐng)域進(jìn)行投資,并會(huì)在未來(lái)繼續(xù)進(jìn)行投資。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。