文|科技新知
當新賽道擠滿了摩拳擦掌的選手，場邊的裁判員也應運而生。
5月，國家科技部下屬的中國科學技術(shù)信息研究所，發(fā)布了《中國人工智能大模型地圖研究報告》。內(nèi)容顯示，截至5月28日，國內(nèi)10億級參數(shù)規(guī)模以上基礎大模型至少已發(fā)布79個。
每一個亮相時，都少不了“行業(yè)領先”“技術(shù)革新”諸如此類的標簽。不免引來質(zhì)疑：如何直觀地評判哪一款大模型在技術(shù)和性能上更為卓越？那些宣稱“第一”的評估標準與數(shù)據(jù)來源又是怎樣的？
一把衡量不同模型效能基準的“尺子”亟待打造。
前不久，國際咨詢公司IDC發(fā)布《AI大模型技術(shù)能力評估報告2023》，調(diào)研了9家中國市場主流大模型技術(shù)廠商。其他不少研究機構(gòu)和團隊也投入資源，發(fā)布了對應的評價標準和深度報告。這背后所顯露的現(xiàn)象和趨勢，更值得深層次的探討。
評測基準百家爭鳴
ChatGPT 帶火了大模型應用的相關研究，評測基準亦成為關注焦點所在。
日前，微軟亞洲研究院公開了介紹大模型評測領域的綜述文章《A Survey on Evaluation of Large Language Models》。根據(jù)不完全統(tǒng)計（見下圖），大模型評測方面文章的發(fā)表呈上升趨勢，越來越多的研究著眼于設計更科學、更好度量、更準確的評測方式來對大模型的能力進行更深入的了解。
文中一共列出了19個受歡迎的基準測試，每個都側(cè)重于不同的方面和評估標準，為其各自的領域提供了寶貴的貢獻。為了更好地總結(jié)，研究員將這些基準測試分為兩類：通用基準（General benchmarks）和具體基準（Specific benchmarks），其中不乏一些深具盛名的大模型基準。
Chatbot Arena，就被行業(yè)人士普遍認為是最具公平性與廣泛接受度的平臺。其背后的推手——LMSYS Org，是一個開放的研究組織，由加州大學伯克利分校、加州大學圣地亞哥分校和卡內(nèi)基梅隆大學合作創(chuàng)立。
這個創(chuàng)新性的評估標準，為各大AI研究機構(gòu)與技術(shù)愛好者，提供了一個既獨特又具有激烈競爭力的場所，專門用于評價和比對不同聊天機器人模型的實際應用效果。用戶能夠與其中的匿名模型進行實時互動，而后通過在線投票系統(tǒng)表達他們對于某一模型的滿意度或喜好。
值得一提的是，該評測方式的設計靈感來源于國際象棋等競技游戲中盛行的ElO評分系統(tǒng)。通過積累大量的用戶投票，它能夠更為貼近實際場景地評估各模型的綜合表現(xiàn)。
微軟亞洲研究院還在文中提到了通用基準C-Eval，這是一個全面的中文基礎模型評估套件。它包含了13948個多項選擇題，涵蓋了52個不同的學科和四個難度級別，該項目由上海交通大學、清華大學、愛丁堡大學共同完成。
除了通用任務的基準測試外，還存在一些專為某些下游任務設計的具體基準測試。
譬如，MultiMedQA是一個醫(yī)學問答基準測試，重點關注醫(yī)學檢查、醫(yī)學研究和消費者健康問題。該基準由谷歌和DeepMind的科研人員提出，它包括七個與醫(yī)學問答相關的數(shù)據(jù)集，其中包括六個現(xiàn)有的數(shù)據(jù)集和一個新的數(shù)據(jù)集。測試目標是評估大語言模型在臨床知識和問答能力方面的性能。
還有一些中文評測基準被微軟研究院所遺漏。例如SuperCLUE，作為針對中文可用的通用大模型的一個測評基準，由來自中文語言理解測評基準開源社區(qū)CLUE的成員發(fā)起。
為了著眼于綜合評價大模型的能力，使其能全面地測試大模型的效果，又能考察模型在中文上特有任務的理解和積累，SuperCLUE從三個不同的維度評價模型的能力：基礎能力、專業(yè)能力和中文特性能力。
實際上，這些維度只是冰山一角。在評測 LLMs 的性能時，選擇合適的任務和領域?qū)τ谡故敬笮驼Z言模型的表現(xiàn)、優(yōu)勢和劣勢至關重要。微軟亞洲研究院將現(xiàn)有的任務劃分為了7個不同的類別：
自然語言處理：包括自然語言理解、推理、自然語言生成和多語言任務；
魯棒性、倫理、偏見和真實性；
醫(yī)學應用：包括醫(yī)學問答、醫(yī)學考試、醫(yī)學教育和醫(yī)學助手；
社會科學；
自然科學與工程：包括數(shù)學、通用科學和工程；
代理應用：將 LLMs 作為代理使用；
其他應用。
縱觀當前AI領域的發(fā)展趨勢，大模型的評測基準測試不再僅僅是一個單一的技術(shù)環(huán)節(jié)，而是已經(jīng)逐步成為整個上下游產(chǎn)業(yè)鏈中的重要配套。
正確地使用“尺子”
存在即合理。
大模型評測基準的誕生和持續(xù)優(yōu)化，之所以呈現(xiàn)出愈演愈烈的勢頭，無疑與其所能帶來的巨大價值和業(yè)界的廣泛認同是密不可分的。
可以看到，通過深入的大模型評測基準分析，能夠更為明確和系統(tǒng)地揭示大模型在各種應用場景中的優(yōu)勢與局限性。這種專業(yè)的評估不僅為AI領域的研發(fā)者提供了清晰的指導，同時也助力用戶最終作出更為明智的技術(shù)選擇。
在復雜的研發(fā)過程中，判斷技術(shù)方案或特定模型的優(yōu)越性往往是一個挑戰(zhàn)。C-Eval數(shù)據(jù)集和其相關榜單，意義不僅僅是一系列的數(shù)字或排名，而是為大模型的研發(fā)者提供了一套客觀、系統(tǒng)的評估工具。
用C-Eval項目團隊的話來說，“我們的最重要目標是輔助模型開發(fā)”。
具體來看，研發(fā)團隊可以與企業(yè)緊密合作，將大模型評測基準整合到他們的開發(fā)和測試工作流程中。這不僅可以在實際應用環(huán)境中驗證模型的性能，還能通過雙方的深度溝通，找到在測試過程中可能遇到的技術(shù)難題和挑戰(zhàn)，從而實現(xiàn)更為高效和準確的模型優(yōu)化。
正是基于這一點，多家頭部大模型廠商不僅在模型研發(fā)上持續(xù)投入，同時也在評測基準的制定與優(yōu)化上下足了功夫。
譬如科大訊飛通過認知智能全國重點實驗室牽頭設計了通用認知大模型評測體系，覆蓋7大類481個細分任務類型；阿里巴巴達摩院多語言NLP團隊發(fā)布了首個多語言多模態(tài)測試基準M3Exam，共涵蓋12317道題目，等等。
不過也正如C-Eval項目團隊所強調(diào)的：對于大模型廠商，單純地追求榜單的高位排名，并不應成為其主要追求。
當廠商將榜單成績作為首要目標時，可能會為了追求高分而采用過度擬合榜單的策略，這樣就很容易損失模型的廣泛適用性。更為關鍵的是，若僅僅著眼于排名，廠商可能為了短期的成績而試圖尋找捷徑，從而違背了真正踏實的科研精神與價值觀。
再看終端用戶的視角中，大模型測評基準提供了一個全面的、結(jié)構(gòu)化的參考框架，從而充分地輔助用戶在眾多技術(shù)選項中做出更為理性和明智的決策。這種評測不僅降低了技術(shù)采納的風險，也確保了用戶能夠從所選模型中獲得最佳的投資回報率。
尤其對于那些還未擁有深厚大模型研發(fā)實力的企業(yè)來說，深入了解大模型的技術(shù)邊界，并能夠針對自身需求高效地進行技術(shù)選型，是至關重要的。
綜上，不論是對于背后的研發(fā)團隊還是產(chǎn)品側(cè)的終端用戶，大模型評測基準都承載著不可估量的價值和意義。
劣幣來襲
吊詭的是，由于在原理核心上并不涉及復雜的技術(shù)門檻，導致目前市場上的大模型評測基準的數(shù)量，甚至已經(jīng)超過了大模型本身。這其中自然有許多機構(gòu)見到了可乘之機，進行各種市場操作，包括混淆視聽、誤導消費者的行為。
此前就有觀點認為，隨著AI技術(shù)的發(fā)展，大模型評測可能會被某些公司或機構(gòu)用作營銷工具，通過發(fā)布其模型的高分評測結(jié)果來吸引公眾的注意力，以期提高產(chǎn)品的市場份額。
目前也有一些突出的現(xiàn)象佐證：在某些特定評測榜單中領先的廠商，放到其他不同的榜單評測中，卻未能夠維持其優(yōu)勢地位。
不能排除存在著客觀原因。當前階段，對于大模型的評估機制和具體評測指標，并沒有達到一個行業(yè)共識，更遑論出現(xiàn)統(tǒng)一的的評測標準。不同的應用環(huán)境和任務標準，就會產(chǎn)生截然不同的評價框架和需求。
此外，大模型評測通常依賴于兩大主要方法：自動評測和人工評測。自動評測是基于精確的計算機算法和一系列預定義的指標進行，而人工評測更多強調(diào)人類專家的主觀見解、經(jīng)驗和質(zhì)量判定。
遇到大模型生成詩歌或短文這類任務時，人工評測的主觀性變得尤為顯著。自古“文無第一，武無第二”，不同的評審者可能會對同一作品給出不同的評價。
然而，從相關搜索結(jié)果中不難發(fā)現(xiàn)，大模型評測早已被某些廠商視為一個營銷的競技場。畢竟在一個競爭激烈的市場中，每一個廠商都希望自己的產(chǎn)品能夠脫穎而出。
因此有充分的動機去選擇那些能夠突顯自己產(chǎn)品優(yōu)勢的評測指標，而忽略那些可能暴露弱項的指標。這種選擇性的展示，即使有機會帶來短期的市場優(yōu)勢，但是對于消費者和整個行業(yè)來說，必然是有害的。
一時的誤導一旦扭曲了市場的競爭格局，可能使得真正有價值的創(chuàng)新被埋沒。劣幣驅(qū)逐良幣之下，那些只是為了宣傳而進行的“創(chuàng)新”反而會趨之若鶩。
從這個角度出發(fā)，大模型評測基準還是應該回歸其本質(zhì)，即為了更好地理解和比較不同模型的性能，為研發(fā)者和終端用戶提供反饋，而不是為了產(chǎn)品廠商的短期利益。
既然要當裁判員，還是要盡量做到獨立、客觀、第三方。
參考資料：
微軟研究院《A Survey on Evaluation of Large Language Models》
機器之心《13948道題目，涵蓋微積分、線代等52個學科，上交清華給中文大模型做了個測試集》