文|羅超TMT
今天在朋友圈看到一張圖：國內(nèi)的“百模大戰(zhàn)”已升級成“兩百模大戰(zhàn)”，據(jù)不完全統(tǒng)計，今年1-7月國內(nèi)共發(fā)布了64個大模型，截至目前叫得出名字的國產(chǎn)大模型已接近200家。這么多大模型，哪些是真能打的？在每天冒出來的各類“榜單”上出現(xiàn)了“家家第一”的情況，甚至已不止一款國產(chǎn)大模型“碾壓”了GPT-4，且很多“世界頂級”大模型是出自剛成立的團隊之手。
然而國產(chǎn)大模型在國外的境遇，卻是冰火兩重天。前段時間《時代周刊》公布2023年AI領(lǐng)域最有影響力100人，中國面孔十分罕見，有媒體評論“百模大戰(zhàn)打了個寂寞”；日前，開源AI社區(qū)代表Hugging Face發(fā)布最受歡迎開源大模型機構(gòu)TOP15榜單，在大名鼎鼎的Stability AI、Meta AI、Runway、OpenAI、谷歌、微軟等海外機構(gòu)外，只有一家機構(gòu)來自中國：KEG實驗室（全稱為清華大學(xué)知識工程實驗室，成立于1996年），其憑借今年開源的模型ChatGLM-6B上榜。
這種反?，F(xiàn)象的背后，是大模型行業(yè)日益嚴(yán)重的“跑分亂象”。在讓人眼花繚亂的大模型榜單上，似乎每一個大模型都曾拿過第一，都可分分鐘碾壓GPT-4。這不禁讓人懷疑，國產(chǎn)大模型技術(shù)真的這么強？大模型技術(shù)門檻真的這么低？
大模型榜單，家家第一？
如果搜索“大模型，超越GPT-4”可以發(fā)現(xiàn)，多家國產(chǎn)大模型號稱在多個維度已超越OpenAI旗下的GPT-4，且有模有樣地曬出對應(yīng)的大模型評測榜單“跑分”，比如某大模型宣稱“基模型12項性能超越GPT-４”。相對來說，源自頂尖學(xué)術(shù)機構(gòu)的大模型對自己的水平更嚴(yán)謹(jǐn)一些，它們往往不會過度強調(diào)排名數(shù)據(jù)，而科技巨頭雖然會有一些“包裝”但也不會太離譜，頂多只會宣稱“明年挑戰(zhàn)GPT-4”“已達(dá)到GPT3.5的水平”。
大模型“家家都是第一”的亂象，跟雙11結(jié)束后的品牌戰(zhàn)報有些相似。每個品牌都能定制一個讓自己看上去“最厲害”的雙11榜單，GMV不行可以說銷量，兩者都不行可加前綴限定到細(xì)分品類如“XX元內(nèi)XX吋采取XX屏幕的電視之第一”，實在不行還能說自身同比增速行業(yè)第一。
大模型是純技術(shù)產(chǎn)品，衡量其水準(zhǔn)理論上要用專業(yè)技術(shù)評測體系，“讓專業(yè)的歸專業(yè)”，當(dāng)前，在PK技術(shù)參數(shù)這件事上，大模型榜單存在不少問題。
前些年行業(yè)流行“參數(shù)規(guī)模越大，大模型卻強大”，大模型狂卷參數(shù)，最高已過千億。今天大模型不能再單拼參數(shù)了，因為行業(yè)都知道，參數(shù)大的大模型不一定真強大。大模型要證明實力，離不開“跑分”，就是去跑一些機構(gòu)的大模型評測體系的測試數(shù)據(jù)集來“拿分”再排名。
當(dāng)下，市面上的評測工具（系統(tǒng)）不下50個，既有來自專業(yè)學(xué)術(shù)機構(gòu)的，也有來自市場運作組織的，還有一些媒體也推出了對應(yīng)的大模型榜單。
在不同大模型“跑分”榜單中，同一個大模型的表現(xiàn)可能相差甚大，比如前段時間被質(zhì)疑“基于開源大模型偽原創(chuàng)”的某大模型宣稱超越GPT-4“勇奪全球開源評測雙料冠軍”，在其公布自身第一的榜單上，百度文心一言連TOP20都無法進(jìn)入，但在8月15日某權(quán)威媒體研究機構(gòu)發(fā)布的《人工智能大模型體驗報告2.0》，百度文心一言又能排第二，第一是訊飛星火大模型；在8月28日，SuperCLUE發(fā)布的中文大模型8月榜單，GPT-4排名第一，百川智能的Baichuan-13B-Chat排在中文榜單首位；在9月的開源評測榜單C-Eval最新一期排行榜中，云天勵飛大模型“云天書”排在第一，GPT-4名列第十。
不同大模型的“智力”表現(xiàn)，在不同榜單相差巨大，明眼人一看就知道其中暗藏玄機。
更離奇的是，就算在同一榜單中，也經(jīng)常出現(xiàn)多個大模型共同認(rèn)領(lǐng)第一的情況。比如某手機廠商宣布，其“自研大模型在C-Eval全球中文榜單中排名第一。此前其自研大模型已取得C-Eval百億內(nèi)大模型榜單第一，CMMLU全球中文榜單第一以及其百億內(nèi)大模型榜單第一的好成績?！蓖粫r間，某互聯(lián)網(wǎng)巨頭旗下的創(chuàng)新業(yè)務(wù)宣稱其“千億級參數(shù)的大模型登頂C-Eval和CMMLU兩大權(quán)威評測榜單，多項性能優(yōu)于GPT-4?！笨吹竭@里很多人肯定會有疑問：為什么在C-Eval和CMMLU這兩大“權(quán)威評測榜單”中，均會同時出現(xiàn)兩個第一？——如果繼續(xù)搜索恐怕還能找到更多認(rèn)領(lǐng)第一的情況。
只要前綴用得好，家家都是大模型王者，國產(chǎn)大模型秒殺GPT-4、碾壓人類智商都不是事兒。
問題在于，當(dāng)家家都宣稱自己是大模型“王者”后，這樣的“金牌”含金量到底有多少？我們不由要問：大模型評測體系到底出了什么問題？
大模型評測體系，問題在哪？
百模大戰(zhàn)如火如荼。不同大模型都有著分出個高低的強烈需求，在這樣的背景下，市面上快速出現(xiàn)了大量的大模型排行榜，它們可被分為三類：一類是大學(xué)等機構(gòu)主導(dǎo)的學(xué)術(shù)類榜單，一類是第三方公司運作的市場類榜單，還有一類是媒體等非技術(shù)機構(gòu)推出的評測榜單。
用手機行業(yè)來類比，第一類、第二類就像是安兔兔、dxomark這樣的跑分平臺，芯片、相機好不好用技術(shù)評測數(shù)據(jù)說話；第三類更像是評測體驗博主，他們站在用戶角度去設(shè)計榜單。真正能夠衡量大模型技術(shù)實力的是第一類、第二類“跑分”榜單。
不論是學(xué)術(shù)界還是產(chǎn)業(yè)界的大模型榜單，當(dāng)前的“跑分”原理都是一致的：設(shè)計一套評測數(shù)據(jù)集去讓大模型給出答案，再閱卷打分，本質(zhì)就是讓大模型“做題”拿分。大模型本質(zhì)是機器學(xué)習(xí)技術(shù)，其目的是提升機器的智能程度以為人類所用，因此用衡量人的能力的手段即“考試做題”來評估大模型的水準(zhǔn)，本身不存在什么問題。
然而，大模型大規(guī)模爆發(fā)才不到一年時間，當(dāng)前的大模型跑分評測體系才剛發(fā)展出來，整體很不成熟，這導(dǎo)致了一些大模型玩家投機取巧，靠“刷分”奪冠。
大模型評測基礎(chǔ)體系并不復(fù)雜。用最權(quán)威的考試體系高考來對標(biāo)的話：評測數(shù)據(jù)集相當(dāng)于“題庫”；評測工具與過程則對應(yīng)到高考考試工具與過程，比如筆試用的試卷，英語聽力用的廣播；打分體系相當(dāng)于高考的閱卷體系，比如語文作文會有多名老師閱卷再算平均分，以確保公平。
這樣看的話，當(dāng)前的大模型跑分評測體系問題有三：
第一、開源評測數(shù)據(jù)集題目全公開，“刷題”最流行。很多大模型評測榜單的數(shù)據(jù)集是公開的，針對此出現(xiàn)了普遍的“刷題”現(xiàn)象，有的公司會雇傭人類“數(shù)據(jù)標(biāo)注員”來做題將答案給到大模型，還有的公司會讓GPT-4來答題再將答案用來訓(xùn)練自家大模型，大模型做題就可以“滿分”了。許多大模型剛推出就可以拿滿分“排第一”碾壓GPT-4，玄妙正在于這里。
開源評測數(shù)據(jù)集相當(dāng)于高考搞“開卷考試”一樣，除非是特別開放的問題（如職場面試），否則被試者完全可以提前針對性地刷題背答案，最終得分自然完全無法反映出其真實水平。
第二，評測數(shù)據(jù)不開源、全過程封閉評測，引發(fā)了公平性問題。既然將評測數(shù)據(jù)集開源會引發(fā)“刷題”，為什么評測機構(gòu)要開源呢？答案在于：評測的公平性。如果機構(gòu)在評測時用什么問題以及對應(yīng)什么答案是什么一直不公開，如果機構(gòu)的評測邏輯與工具、評分方法與過程是封閉的“黑盒子”，得出的任何結(jié)果都難免會被質(zhì)疑。只有公開，才有公平公正，才能讓人信服。因此，評測機構(gòu)開放與不開放都難。
第三，評測數(shù)據(jù)集本身存在不夠科學(xué)的情況。比如用中文數(shù)據(jù)集去考核英文大模型，跟讓老外直接來參加高考一樣不靠譜；再比如用通用評測數(shù)據(jù)集去評測醫(yī)療、金融、工業(yè)、科學(xué)等產(chǎn)業(yè)大模型，跟讓體育特長生去參加普通高考一樣，沒太大意義。
更諷刺的是，現(xiàn)在行業(yè)出現(xiàn)了一些“隨心所欲的主觀榜單”，排名者不知道是誰，也不會用什么評測數(shù)據(jù)集來測試大模型，而是“我覺得誰第一誰就是第一”，比如這幾天某大模型榜單，一看排名依據(jù)竟然是依據(jù)“開放程度”“技術(shù)專利”“全平臺訪問指數(shù)”和“熱度指數(shù)”，這并不科學(xué)。
有的大模型靠“刷分”去拿第一“碾壓GPT-4”，好歹還是花了點功夫去準(zhǔn)備的，比如會讓數(shù)據(jù)標(biāo)注員去做題，頂多算考試舞弊“小抄”。但是搞一些排名機構(gòu)都不知道是誰、連評測數(shù)據(jù)集都沒有的主觀榜單來宣稱“第一”的玩家，簡直就跟花錢去野雞大學(xué)買學(xué)歷的差不多——更準(zhǔn)確的說法應(yīng)該是，“辦假證”，就算野雞大學(xué)也要去像模像樣學(xué)習(xí)一番。
沒有任何證據(jù)表明有大模型創(chuàng)業(yè)者“花錢買榜”的情況，但當(dāng)前大模型榜單確實存在嚴(yán)重問題，市場亟待一套類似于高考一樣的權(quán)威的大模型評測體系，在公平公正公開的同時，科學(xué)、全面、有效地衡量大模型的綜合水平。
市場需要怎樣的大模型評測體系？
從隋唐時期出現(xiàn)的科舉考試到今天的高考，從中國的四六級英語考試再到國外的GRE、托福、雅思……“考試”讓每個人都可以公平地被衡量，進(jìn)而得到對應(yīng)的成長機會。
同理，大模型評測體系對大模型的發(fā)展也不可或缺：
一方面，如果評測相對準(zhǔn)確、靠譜、權(quán)威，可以科學(xué)、全面、有效地衡量孰優(yōu)孰劣，對市場所有大模型玩家來說無疑是好事。如果評測不準(zhǔn)確，阿貓阿狗的大模型都可以“第一”“奪冠”“屠榜”，對真正擁有頂尖人才、投入巨大資源、攻堅技術(shù)卡點的大模型團隊無疑是十分不公平的。榜單排名不只是決定市場認(rèn)知，往往也意味著人才、資金等資源的凝聚能力。
另一方面，只有評測結(jié)果相對準(zhǔn)確，大模型研發(fā)者才能知道自己產(chǎn)品的市場水平在哪，優(yōu)缺點在哪，進(jìn)而查漏補缺，沿著正確的方向鉆研算法、提升技術(shù)、加強訓(xùn)練，不斷攻克難點不斷升級迭代，這樣的過程就像高中同學(xué)們參加“模擬考試”或者“摸底考試”的意義一樣。
那么，大模型評測體系怎樣才能成為“高考”一樣的權(quán)威評測體系呢？
首先，“假學(xué)歷”、“野雞大學(xué)學(xué)歷”這一類“野雞榜單”應(yīng)該被徹底反對，“買榜單”“買排名”這樣的做法應(yīng)該被堅決鄙視。讓技術(shù)的歸技術(shù)，大模型技術(shù)實力只能且必須用技術(shù)說話，搞一些跟技術(shù)沒關(guān)系的評估維度來生拉硬套“造榜單”跟“買假學(xué)歷證”的行為沒什么區(qū)別，行業(yè)對這類榜單應(yīng)該毫不猶豫地唾棄。
其次，大模型要證明技術(shù)水平就要尊重“考試”規(guī)則，參加“高考”，當(dāng)前的大模型“高考”體系有待改進(jìn)：
1、評測過程全開放，數(shù)據(jù)應(yīng)該“開/閉結(jié)合”。機構(gòu)的評測工具、評測過程、評測方法以及評分體系應(yīng)該毫無保留地開源，確保公平公正公開。評測數(shù)據(jù)集則應(yīng)“開/閉結(jié)合”，開源歷史題目讓大模型訓(xùn)練，但正式的評測數(shù)據(jù)集應(yīng)該封閉以杜絕“刷榜”，在評測結(jié)束后再開放避嫌“暗箱操作”，同時也可以讓大模型研發(fā)者有的放矢地去發(fā)現(xiàn)問題和改進(jìn)技術(shù)。此外，機構(gòu)也可以開源類似于面試求職一樣的開放題目，再配套對應(yīng)的評測體系來衡量大模型表現(xiàn)。
參考高考作文題目打分來看，評測機構(gòu)甚至可以多家聯(lián)合評測，最大化規(guī)避主觀問題和隨機因素，盡可能真實地衡量大模型的水平。
2、評測體系更全面，評測方式多元化。除針對大模型在性能與泛化評測等表現(xiàn)設(shè)計評估體系外，更多兼顧到大模型的能效、魯棒性、安全性等綜合能力評測。與此同時，針對不同類型的大模型設(shè)計對應(yīng)的評測體系，比如金融大模型強化金融級安全評測，比如工業(yè)大模型則要評估其在惡劣環(huán)境下的極限表現(xiàn)。
3、評測數(shù)據(jù)集更專業(yè)，不斷豐富評測數(shù)據(jù)。評測數(shù)據(jù)集的建立過程本質(zhì)是“命題”，參考高考來看，這是一個系統(tǒng)而科學(xué)的工程。針對大模型的評測數(shù)據(jù)集應(yīng)該不斷完善，隨著大模型的迭代而迭代，比如GPT-4強化多模態(tài)能力，評測數(shù)據(jù)集也應(yīng)該配套強化音視頻等多媒體內(nèi)容理解與生成相關(guān)評測數(shù)據(jù)集；再比如針對金融等專業(yè)大模型，評測數(shù)據(jù)集應(yīng)該有對應(yīng)的專業(yè)題庫。每年高考作文命題都會貼合實時，正是因為相關(guān)題目不可能存在歷史題目，大模型評測數(shù)據(jù)集同樣可與時俱進(jìn)，結(jié)合最新的實時知識去完善，讓大模型不可能靠刷題、刷分得高分。
如何準(zhǔn)確測量一個大模型的能力，這實際上還是一個非常有爭議的問題，因為目前我們其實還并不能確切地指出大模型智能涌現(xiàn)的原因。很多時候，模型運作本身是一個黑箱過程，這就意味著對大模型的測評某種意義上講是管中窺豹——它的完善就如同大模型能力的提升一樣，都將是一個長期的過程。
世界上不會有完美的大模型評測體系，但隨著技術(shù)的迭代，當(dāng)前的大模型評估體系需要升級，貼合市場需求，回歸技術(shù)本身，讓大模型開發(fā)者們可以沿著正確的方向前進(jìn)。
對于大模型開發(fā)者來說，任何榜單的排名是技術(shù)進(jìn)化的自然結(jié)果，而不應(yīng)該被當(dāng)成目的。大模型團隊的資源是有限的，如果花心思、資源與精力去定制榜單搞排名追求“虛假強大”，哪怕拿遍行業(yè)第一都沒什么意義，這是緣木求魚。不論怎樣證明自己第一都是沒有用的，不斷精進(jìn)技術(shù)，加速技術(shù)產(chǎn)品化的步伐，讓技術(shù)進(jìn)入場景才是大模型團隊的大事。有沒有B端客戶買單？真實下載量、用戶數(shù)到底如何？行業(yè)內(nèi)的真實口碑如何？學(xué)術(shù)圈的技術(shù)評價怎樣？能不能實現(xiàn)商業(yè)化？這些評估體系遠(yuǎn)比任何榜單的排名重要得多。