界面新聞?dòng)浾?| 伍洋宇
界面新聞編輯 | 文姝琪
時(shí)隔一周，零一萬物再次更新其千億參數(shù)閉源大模型Yi-Large的動(dòng)態(tài)，這次是榜單成績。
5月21日，零一萬物表示，在LMSYS盲測競技場最新排名中，Yi-Large總榜排名世界模型第7。在總榜上，GPT系列占了前十中的四位，以機(jī)構(gòu)排序，零一萬物位于OpenAI，Google和Anthropic之后。
此外，其中文分榜排名與GPT4o并列第一（嚴(yán)格來說分?jǐn)?shù)更低一些），編程能力（Coding）和長提問（Long query）位列第二。
LMSYS Org是一個(gè)針對大型語言模型（LLMs）的研究組織，其發(fā)布的大語言模型評估排行榜也被稱為大模型匿名競技場。榜單會讓大量用戶輸入問題，并由不同模型生成回答，用戶在不知道模型與答案對應(yīng)關(guān)系的情況下根據(jù)答案質(zhì)量進(jìn)行投票，從而對模型進(jìn)行評估。
此次刷新的“Chatbot Arena”是LMSYS排行榜的主要基準(zhǔn)之一，使用Elo評級方法（一項(xiàng)基于統(tǒng)計(jì)學(xué)原理的評價(jià)體系）進(jìn)行計(jì)算結(jié)果，這一場全球用戶投票數(shù)超過1170萬。
這次成績之所以被零一萬物重視，一方面是因?yàn)樗菄鴥?nèi)大模型領(lǐng)域唯一進(jìn)入前十的公司（智譜GLM4、阿里Qwen Max、Qwen 1.5也參與了這次盲測），但客觀來看，它不能完全驗(yàn)證自己是國內(nèi)第一的說法，因?yàn)閲鴥?nèi)參賽選手僅有三家。
另一方面在于排在Yi-Large前面的大模型都是萬億參數(shù)級別，而Yi-Large以千億參數(shù)量級達(dá)成了相近的表現(xiàn)。“如果我們有10倍GPU，我們的萬億模型完全可以達(dá)到第一名。”零一萬物創(chuàng)始人兼CEO李開復(fù)表示。
事實(shí)上，大模型曾因刷榜亂象廣受爭議，大量榜單由于題目缺乏動(dòng)態(tài)性、可針對性刷題等問題，已經(jīng)喪失了一部分公信力。對此，零一萬物模型負(fù)責(zé)人黃文灝表示，團(tuán)隊(duì)之所以強(qiáng)調(diào)LMSYS的排名價(jià)值，是因?yàn)榭粗仄漕}目動(dòng)態(tài)隨機(jī)、基于用戶打分等機(jī)制帶來的客觀性。
而關(guān)于用戶輸出的“prompt”（提示詞）在專業(yè)水平上是否不如專業(yè)評測集，黃文灝的理解是，一方面，盲測競技場的方式更貼近用戶真實(shí)使用場景，這是其主要價(jià)值所在；另一方面，LMSYS也有“hard prompt”部分，這一板塊對于模型智力其實(shí)提出了很高挑戰(zhàn)。
除去榜單本身傳遞出來的技術(shù)信息，這背后還呈現(xiàn)出中美大模型領(lǐng)域差距等更宏大長遠(yuǎn)的議題。
李開復(fù)表示，團(tuán)隊(duì)尊重美國在科技領(lǐng)域的創(chuàng)造性，但后發(fā)有后發(fā)的優(yōu)勢。“中國人的聰明、勤奮、努力是不容忽視的。”他指出，零一萬物用一年時(shí)間把過去幾年的技術(shù)差距縮短到目前的6個(gè)月（在榜單上超過了6個(gè)月前更新的海外大模型），“6個(gè)月的差別我覺得不是很大，這是以一個(gè)不可思議的超級速度在追趕。”
在追趕問題上，李開復(fù)多次提到了算力局限問題，但算力對模型發(fā)展的限制客觀存在，當(dāng)世界第一梯隊(duì)已經(jīng)處于領(lǐng)先位置，并且擁有更深厚的資源，國內(nèi)大模型公司可以采取什么戰(zhàn)術(shù)？
在李開復(fù)看來，這件事本質(zhì)上可以分為兩個(gè)方向，一是“把一張GPU擠出更多的價(jià)值”（主要指提高M(jìn)FU，模型FLOPs利用率），二是優(yōu)化模型表現(xiàn)，這涉及數(shù)據(jù)配比、如何引入多模態(tài)等技術(shù)細(xì)節(jié)，“我覺得我們在這方面是不輸于美國。”他說。
對于行業(yè)趨勢，零一萬物繞不開的就是當(dāng)前已經(jīng)開展的B端（企業(yè)端）服務(wù)“價(jià)格戰(zhàn)”。
此前，李開復(fù)明確表示，不應(yīng)在行業(yè)內(nèi)按照ofo的燒錢打法重蹈覆轍。但接連幾日以來，字節(jié)跳動(dòng)旗下豆包大模型宣布降價(jià)，其通用模型pro-32k的推理輸入價(jià)格僅為0.0008元/千Tokens，比行業(yè)便宜近一半；隨即，阿里云通義千問主力模型Qwen-Long的API輸入價(jià)格直降97%降至0.0005元/千Tokens；百度文心大模型也宣布兩款主力模型ENIRE Speed和ENIRE Lite免費(fèi)。
李開復(fù)表示已經(jīng)關(guān)注到這一現(xiàn)象，但他認(rèn)為零一萬物目前定價(jià)合理，且團(tuán)隊(duì)也在花很大精力進(jìn)行降價(jià)。“行業(yè)每年降低10倍推理成本是可以期待的，而且也應(yīng)該是必然發(fā)生的。”他說。
但他堅(jiān)持認(rèn)為價(jià)格戰(zhàn)是一個(gè)“雙輸”的打法，大模型公司不會這樣不理智。當(dāng)他認(rèn)定自己的技術(shù)值得的時(shí)候，就會堅(jiān)持一個(gè)合適的價(jià)格，而絕不會靠貼錢、賠錢去做生意。
“如果你再問，以后可能中國就是這么卷，大家寧可賠光通輸也不讓你贏，那我們就走外國市場?！崩铋_復(fù)表示。