界面新聞?dòng)浾?| 伍洋宇

界面新聞編輯 | 宋佳楠

繼OpenAI突然上線一款“小模型”GPT-4o mini之后，Meta決定拋出其超大參數(shù)的大模型炸場(chǎng)。

7月24日，Meta發(fā)布了開源大模型系列Llama 3.1 405B，以及升級(jí)后的70B和8B兩個(gè)尺寸模型。

Llama 3.1 405B被認(rèn)為是當(dāng)前最強(qiáng)的開源大模型。根據(jù)Meta公布的信息，該模型上下文長度支持128K，增加了對(duì)八種語言的支持，在通用知識(shí)、可操控性、數(shù)學(xué)、工具使用和多語言翻譯等方面能夠與GPT-4o和Claude 3.5 sonnet等旗艦?zāi)Ｐ拖噫敲溃踔猎谌斯ぴu(píng)估（Human Evaluation）的比較中，其總體表現(xiàn)比這兩個(gè)模型更好。 

同時(shí)，8B和70B兩個(gè)型號(hào)的升級(jí)版本也是多語言的，并且都拓展到了128K上下文長度。

Llama 3.1 405B是Meta迄今為止最大的模型。Meta表示，該模型的訓(xùn)練涉及超過15萬億tokens，為了在合理時(shí)間內(nèi)達(dá)到理想效果，團(tuán)隊(duì)優(yōu)化了整個(gè)訓(xùn)練堆棧，使用了超過16000個(gè)H100 GPU——這也是第一個(gè)在如此大規(guī)模算力下完成訓(xùn)練的Llama模型。

這個(gè)艱難的訓(xùn)練目標(biāo)被團(tuán)隊(duì)拆分為多個(gè)關(guān)鍵步驟。為了最大程度保證訓(xùn)練穩(wěn)定性，Meta沒有選擇MoE架構(gòu)（混合專家架構(gòu)），而是采用了標(biāo)準(zhǔn)僅解碼器的Transformer模型架構(gòu)進(jìn)行小幅調(diào)整。

據(jù)Meta介紹，團(tuán)隊(duì)也使用了迭代的后訓(xùn)練過程，對(duì)每一輪進(jìn)行監(jiān)督微調(diào)和直接偏好優(yōu)化，為每個(gè)回合創(chuàng)建最高質(zhì)量的合成數(shù)據(jù)，以提高每種能力的性能。與此前版本的Llama相比，團(tuán)隊(duì)提升和改進(jìn)了用于訓(xùn)練前、后的數(shù)據(jù)數(shù)量和質(zhì)量。

在Llama 3.1 405B炸場(chǎng)的同時(shí)，馬克·扎克伯格發(fā)表了一篇題為“開源AI是前進(jìn)的道路”的宣言，再次強(qiáng)調(diào)開源大模型的意義與價(jià)值，劍鋒直指OpenAI等走上閉源路線的大模型公司。

扎克伯格重提開源Linux與閉源Unix的故事，認(rèn)為前者支持更多功能和更廣泛的生態(tài)系統(tǒng)，并且是云計(jì)算和運(yùn)行大多數(shù)移動(dòng)設(shè)備操作系統(tǒng)的行業(yè)標(biāo)準(zhǔn)基礎(chǔ)?！拔蚁嘈湃斯ぶ悄芤矔?huì)以類似的方式發(fā)展?！?/span>

他指出，幾家科技公司在開發(fā)領(lǐng)先的閉源大模型，但開源大模型正在迅速縮小這一差距。最直接的證據(jù)是，Llama 2此前只能與落后的老一代模型相比，但Llama 3已經(jīng)可與最新模型相提并論，并在某些領(lǐng)域獲得領(lǐng)先。

他預(yù)計(jì)，從明年開始，Llama 3就能成為業(yè)內(nèi)最先進(jìn)的模型——而在此之前，Llama已經(jīng)在開放性、可修改性和成本效率方面處于領(lǐng)先地位。

扎克伯格引用了很多理由闡述為什么這個(gè)世界需要開源模型，稱對(duì)開發(fā)者而言，除了更透明的開發(fā)環(huán)境以更好訓(xùn)練、微調(diào)和提煉他們自己的模型，另一個(gè)重要因素是“需要一種既高效又負(fù)擔(dān)得起的模式”。

他解釋道，對(duì)于面向用戶和離線的推理任務(wù)，開發(fā)人員可以在自己的基礎(chǔ)設(shè)施上運(yùn)行Llama 3.1 405B，成本大約是GPT- 4o等閉源模型的50%。

圍繞開源、閉源兩大路線之爭，此前業(yè)界已有過多番討論，但當(dāng)時(shí)的主要基調(diào)在于，兩者各有價(jià)值，開源能夠以高性價(jià)比的方式惠及廣大開發(fā)者，并且有利于大語言模型自身的技術(shù)迭代與發(fā)展，而閉源能夠集中資源更快、更深突破性能瓶頸，比開源更有望率先達(dá)成AGI（通用人工智能）。

換句話說，業(yè)界普遍認(rèn)為，在模型的性能水平上，開源很難追上閉源。而Llama 3.1 405B的出現(xiàn)或許會(huì)讓行業(yè)重新思考這一結(jié)論，很可能將影響一大批已經(jīng)傾向于使用閉源模型服務(wù)的企業(yè)和開發(fā)者群體。

目前，Meta的生態(tài)圈已經(jīng)非常龐大。Llama 3.1模型上線后，超過25個(gè)合作伙伴將提供相關(guān)服務(wù)，包括亞馬遜AWS、英偉達(dá)、Databricks、Groq、戴爾、微軟Azure和谷歌云等。

只是扎克伯格對(duì)于Llama系列模型處于領(lǐng)先地位的預(yù)期是明年，不排除中間有再被閉源模型掀翻屋頂?shù)目赡?。在此期間，外界可能會(huì)紛紛關(guān)注到那些性能水平趕不上Llama 3.1 405B的閉源大模型，它們當(dāng)前的處境的確有些尷尬。

他還特別談及中國與美國在大模型領(lǐng)域的競爭，認(rèn)為美國在這方面永遠(yuǎn)領(lǐng)先中國數(shù)年是不現(xiàn)實(shí)的。但即使是幾個(gè)月的微小領(lǐng)先，也會(huì)隨著時(shí)間的推移而“積少成多”，從而使美國獲得“明顯優(yōu)勢(shì)”。

“美國的優(yōu)勢(shì)是去中心化和開放式創(chuàng)新。有些人認(rèn)為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認(rèn)為這行不通，只會(huì)讓美國及其盟友處于不利地位?！痹?span>扎克伯格看來，一個(gè)只有封閉模式的世界，會(huì)導(dǎo)致少數(shù)大公司和地緣政治對(duì)手能夠獲得領(lǐng)先的模式，而初創(chuàng)公司、大學(xué)和小企業(yè)則錯(cuò)失機(jī)會(huì)。此外，將美國創(chuàng)新限制在封閉開發(fā)中，增加了完全無法領(lǐng)先的可能性。

“相反，我認(rèn)為我們最好的策略是建立一個(gè)強(qiáng)大的開放生態(tài)系統(tǒng)，讓我們的領(lǐng)先公司與政府和盟友密切合作，以確保他們能夠最好地利用最新進(jìn)展，并在長期內(nèi)實(shí)現(xiàn)可持續(xù)的先發(fā)優(yōu)勢(shì)?！痹瞬癖硎?。