文|新火種 文子
編輯|小迪
馬斯克又一大招，直逼OpenAI。
Grok-1.5突然發(fā)布，挑戰(zhàn)“勁敵”GPT-4
繼一周前開(kāi)源GroK-1后，馬斯克又有了新動(dòng)作，再一次劍指OpenAI。
3月29日，馬斯克旗下xAI團(tuán)隊(duì)突然對(duì)外發(fā)布Grok-1.5大模型，主打就是一個(gè)“字少事大”。而這一次的動(dòng)作，明擺著也是沖著GPT-4去的。
從Grok-1.5的基準(zhǔn)測(cè)試結(jié)果來(lái)看，各項(xiàng)能力都有巨大的飛躍。其中最明顯的改進(jìn)之一就是在代碼和數(shù)學(xué)相關(guān)方面的性能，尤其是涵蓋了從小學(xué)到高中的各種競(jìng)賽問(wèn)題。
比如在MATH基準(zhǔn)測(cè)試中，Grok-1.5就取得50.6%的得分；在GSM8K基準(zhǔn)測(cè)試中，Grok-1.5更獲得90%的得分。
而在評(píng)估代碼生成和解決問(wèn)題能力的HumanEval基準(zhǔn)測(cè)試中，Grok-1.5更是超越了GPT-4，得分高達(dá)74.1%，同時(shí)碾壓了一眾熱門(mén)的開(kāi)源模型 Mistral Large、Claude 2等等。
另一個(gè)重要升級(jí)之一就是Grok-1.5改進(jìn)了推理能力，從原先的24 %提升至50%。該模型現(xiàn)在能夠在上下文窗口中處理高達(dá)128K token的長(zhǎng)文本，這相當(dāng)于一部中篇小說(shuō)的篇幅。這一改進(jìn)使得Grok的處理能力達(dá)到了之前上下文長(zhǎng)度的16倍，進(jìn)而能夠充分利用長(zhǎng)文檔中的信息。
此外，Grok-1.5模型還具備處理更長(zhǎng)且更復(fù)雜的指令的能力，即便在上下文窗口擴(kuò)大時(shí)，也能保持良好的指令遵循性。
無(wú)獨(dú)有偶，在Needle In A Haystack（NIAH）評(píng)估中，Grok-1.5還展現(xiàn)出了強(qiáng)大的信息檢索技能，能夠在一個(gè)包含128K字節(jié)的上下文中準(zhǔn)確檢索到嵌入的文本，并實(shí)現(xiàn)了完美的檢索結(jié)果。
根據(jù)xAI官方的介紹，Grok-1.5是基于JAX、Rust和Kubernetes構(gòu)建的定制分布式訓(xùn)練框架之上。在大型計(jì)算集群中，維持大規(guī)模語(yǔ)言模型（LLMs）訓(xùn)練作業(yè)的穩(wěn)定性和持續(xù)性是關(guān)鍵的挑戰(zhàn)之一。xAI團(tuán)隊(duì)開(kāi)發(fā)的專(zhuān)屬訓(xùn)練協(xié)調(diào)器，具備自動(dòng)識(shí)別并隔離訓(xùn)練過(guò)程中出現(xiàn)的故障節(jié)點(diǎn)的先進(jìn)能力。
此外，xAI團(tuán)隊(duì)還對(duì)檢查點(diǎn)的創(chuàng)建、數(shù)據(jù)加載以及訓(xùn)練作業(yè)的重啟流程進(jìn)行了優(yōu)化，以降低故障帶來(lái)的停機(jī)時(shí)間。
在未來(lái)幾日內(nèi)，Grok-1.5將向早期測(cè)試者和平臺(tái)用戶(hù)開(kāi)放。隨著Grok-1.5逐漸普及至更廣泛的用戶(hù)群體，預(yù)計(jì)還將推出多項(xiàng)新功能。
全面對(duì)戰(zhàn)OpenAI，Grok-1.5開(kāi)源成謎
要知道，這次Grok-1.5發(fā)布前，馬斯克因?yàn)槠鹪V了OpenAI不開(kāi)源，所以選擇開(kāi)源了3140 億參數(shù)的模型Grok-1，也是截至目前參數(shù)量最大的開(kāi)源大語(yǔ)言模型，規(guī)模相當(dāng)于 Meta LlaMA 2 70B的4.4倍。
其實(shí)拋開(kāi)馬斯克本身與OpenAI的恩怨情仇不講，Grok的開(kāi)源決策并非倉(cāng)促?zèng)Q定，而是經(jīng)過(guò)深思熟慮。
表面上看Grok占據(jù)著X平臺(tái)資源優(yōu)勢(shì)和馬斯克的影響力加持，但在大模型大爆發(fā)的當(dāng)下，卻并沒(méi)有在大模型的“軍備競(jìng)賽”中有太多競(jìng)爭(zhēng)優(yōu)勢(shì)。
特別是自2024年以來(lái)，Gemini、Claude 3等模型的發(fā)布，它們的能力已經(jīng)接近甚至超越了GPT-4，這三個(gè)模型基本上確立了行業(yè)的第一梯隊(duì)。再加上Mistral AI和Inflection AI也在積極追趕，大模型的“虹吸效應(yīng)”愈發(fā)顯著，留給馬斯克和Grok的時(shí)間已經(jīng)不多了。
在這種形勢(shì)下，如果Grok堅(jiān)持閉源開(kāi)發(fā)的路線(xiàn)，它很可能會(huì)像之前諾基亞的Symbian系統(tǒng)一樣，被淘汰只是時(shí)間問(wèn)題。這樣的結(jié)果不僅無(wú)法幫助馬斯克將X平臺(tái)商業(yè)化，還會(huì)成為一種昂貴的沉沒(méi)成本。
因此，擺在馬斯克面前的只剩下一條路，就是破釜沉舟用“開(kāi)源”為Grok殺出一條血路。
月之暗面CEO楊植麟就曾表示，“如果我今天有一個(gè)領(lǐng)先的模型，開(kāi)源出來(lái)，大概率不合理。反而是落后者可能會(huì)這么做，或者開(kāi)源小模型，攪局嘛，反正不開(kāi)源也沒(méi)價(jià)值?！?/p>
而Grok-1自開(kāi)源5天后，在開(kāi)源社區(qū)GitHub就獲得了高達(dá)4.2萬(wàn)人的收藏，可見(jiàn)馬斯克這一步棋下的贏了民心。
所以哪怕目前Grok 團(tuán)隊(duì)并未表示Grok-1.5是否開(kāi)源，但有Grok-1打了頭陣，再加上馬斯克和OpenAI的官司，Grok-1.5大概率是要開(kāi)源的，也就是時(shí)間長(zhǎng)短的問(wèn)題。
“ALL IN”和混戰(zhàn)，AI反擊戰(zhàn)打響
如果用一句話(huà)來(lái)形容現(xiàn)在的AI領(lǐng)域，就是一群瘋子在“ALL IN”和混戰(zhàn)。全球主流大模型間的比拼，仍沒(méi)有減慢的跡象。大家你出你的牌，我出我的牌。
在這場(chǎng)混戰(zhàn)之中，從馬斯克批判GPT背后的大模型濫用會(huì)引發(fā)人類(lèi)危機(jī)，到親自下場(chǎng)參與大模型的開(kāi)發(fā)，再到開(kāi)源Grok-1，這種反差的背后更多不是技術(shù)和理念差異，而是商業(yè)利益和政治風(fēng)向的變化。
馬斯克的目的也非常明確，就是和OpenAI硬剛到底，推出能夠匹敵ChatGPT的產(chǎn)品。
畢竟一旦GPT-4成功躍進(jìn)到GPT-5，其他AIGC工具也會(huì)跟著實(shí)現(xiàn)爆發(fā)式增長(zhǎng)，而這一切都將會(huì)大幅抹去X計(jì)劃中的AI部分，到時(shí)馬斯克整個(gè)商業(yè)帝國(guó)的基石就會(huì)受到嚴(yán)重侵蝕。這種結(jié)果對(duì)馬斯克而言無(wú)論是商業(yè)考量還是個(gè)人心理層面都無(wú)法接受，也促使他立馬發(fā)布了現(xiàn)在的Grok-1.5。
在xAI的官網(wǎng)里也可以看到馬斯克的初創(chuàng)團(tuán)隊(duì)擁有12名核心成員，其中4名是華人。團(tuán)隊(duì)成員曾在人工智能領(lǐng)域的其他知名公司工作過(guò)，包括OpenAI、谷歌研究院、微軟研究院和最近并入谷歌的DeepMind，也有來(lái)自多倫多大學(xué)的AI領(lǐng)域頂級(jí)學(xué)者。
目前xAI也同步開(kāi)啟了招人計(jì)劃，招攬AI相關(guān)的技術(shù)人才加入。
其實(shí)不止馬斯克在加緊腳步，被馬斯克視作“宿敵”的OpenAI也在緊鑼密鼓的研發(fā)大模型。就在最近，有微軟工程師爆料，10萬(wàn)個(gè)H100基建正在緊鑼密鼓地建設(shè)中，目的就是為了訓(xùn)練GPT-6。
同時(shí)，一張名為“OpenAI內(nèi)部時(shí)間線(xiàn)”的圖片也在網(wǎng)上瘋傳，里面清晰地標(biāo)注出，OpenAI早在2022年8月-10月之間就開(kāi)始了GPT-5的訓(xùn)練，在2023年4月就已經(jīng)開(kāi)始訓(xùn)練了GPT-4.5，而在去年9月就開(kāi)始了GPT-6的測(cè)試。
所以無(wú)論消息是真是假，但有一點(diǎn)不可否認(rèn)，馬斯克和OpenAI這場(chǎng)戰(zhàn)爭(zhēng)似乎看不到終點(diǎn)。
而馬斯克的2024年，還有好幾場(chǎng)硬仗要打。