文｜阿爾法工場
大模型之戰(zhàn)進(jìn)入到今日，許多開發(fā)者都面臨著一個共同的挑戰(zhàn)：如何在保證高性能的同時，降低資源和算力的需求？
這一困境在端側(cè)應(yīng)用尤為明顯，因?yàn)樵S多設(shè)備和應(yīng)用場景對計算能力和存儲空間有嚴(yán)格的限制。這無疑大大制約了大模型在各種設(shè)備和場景中的普及。
如何突破這一桎梏，實(shí)現(xiàn)性能與資源的完美平衡，從而打開潛在的市場？
近期，一些小型模型，如Mistral AI推出的Mixtral8x7B和微軟發(fā)布的Phi-2，提供了一個可能的解決方案。
這些小模型在參數(shù)規(guī)模上相對較小，但在性能上卻表現(xiàn)出了驚人的實(shí)力，甚至在某些方面超越了Llama2等規(guī)模更大的競爭對手。
而這也意味著，套在很多場景上的“參數(shù)枷鎖”，也將有望被打破。一個新的增量市場，已經(jīng)呼之欲出。
01 以小博大
從技術(shù)上說，Mistral 和Phi-2的特點(diǎn)就是一個詞：短小精悍。
Mistral 8x7B由來自歐洲的Mistral AI打造，采用了稀疏混合專家模型（SMoE）技術(shù)，結(jié)合了多個針對特定任務(wù)訓(xùn)練的較小模型，提高了運(yùn)行效率。
在許多基準(zhǔn)測試中，Mistral 8x7B的性能已經(jīng)達(dá)到甚至超越了規(guī)模是其25倍的Llama2 70B。
而微軟推出的Phi-2雖然規(guī)模更小（僅27億參數(shù)），但得益于“教科書質(zhì)量”數(shù)據(jù)的訓(xùn)練，以及學(xué)習(xí)其他模型傳遞的洞見的技術(shù)，目前已在某些基準(zhǔn)測試中超過了更大的模型，如 70億參數(shù)的Mistral和130億參數(shù)的Llama2。
Mistral 7B在所有基準(zhǔn)測試中超越了Llama2 13B
那么，這些異軍突起的小模型，將會給已進(jìn)入“平臺期”的模型層，帶來怎樣新的想象？
具體來說，針對目前大模型的種種局限，小模型至少在兩個方面實(shí)現(xiàn)了逆襲。
其中一個方面，就是其橫向擴(kuò)展了模型的使用范圍，打開了之前因資源、算力而被束縛的市場。
以手機(jī)市場為例，根據(jù)Statista的數(shù)據(jù)，2021年全球智能手機(jī)用戶數(shù)量已達(dá)到約39億。
然而，小打開手機(jī)大模型的市場，卻絕非易事。
由于手機(jī)設(shè)備上的內(nèi)存和計算能力有限，為了平衡內(nèi)存占用、執(zhí)行速度和功耗，目前手機(jī)廠商普遍采用端云協(xié)同的解決方案，但這并非長遠(yuǎn)之計。
對于手機(jī)廠商來說，使用云端資源會產(chǎn)生額外的成本。隨著用戶規(guī)模的擴(kuò)大，這些成本可能會不斷增加，從而限制了其盈利規(guī)模的上限。
因此，最好的選擇，就是能讓手機(jī)在本地就能運(yùn)行一款參數(shù)不大，但性能又能與云端大模型媲美的小模型。
同樣地，在一些需要快速部署，實(shí)現(xiàn)實(shí)時響應(yīng)的邊緣場景，例如自動駕駛、物聯(lián)網(wǎng)（IoT）中，實(shí)時決策和數(shù)據(jù)處理就顯得至關(guān)重要。
根據(jù)ResearchAndMarkets的報告，全球自動駕駛汽車市場規(guī)模在2020年達(dá)到了約558億美元。預(yù)計到2027年，這一數(shù)字將增長至約5,260億美元。
目前的車載計算平臺，如英偉達(dá)的DRIVE AGX Orin，計算能力是254 TOPS（每秒254萬億次操作），在高速公路等相對簡單的場景中，由于數(shù)據(jù)量和計算復(fù)雜度較低，其算力并不是很吃緊。
然而，在更復(fù)雜的城市駕駛場景中，自動駕駛系統(tǒng)需要處理更多、更復(fù)雜的數(shù)據(jù)和任務(wù)，如實(shí)時檢測和識別各種障礙物、預(yù)測其他道路用戶的行為、規(guī)劃安全路徑等。
在這種情況下，有限的算力，就會限制自動駕駛的進(jìn)一步普及。
Mistral和Phi-2這類小模型由于其較小的模型體積和較低的計算需求，可以在這些有限資源下高效運(yùn)行。
因?yàn)檐囕d系統(tǒng)需要在有限的能源和散熱條件下運(yùn)行，而較低的計算需求還有助于提高處理速度，實(shí)現(xiàn)實(shí)時決策和響應(yīng)。
這一點(diǎn)對于推動自動駕駛和智能座艙技術(shù)的發(fā)展具有重要意義。
02 通向Agent之路
除了打通原先被限制的市場外，Mistral和Phi-2這類小模型的另一大逆襲之處，就是其與Agent的關(guān)系。
Mistral AI的CEO Arthur Mensch曾言：讓模型變小一定會有助于Agents 的開發(fā)和應(yīng)用。
而在模型層鮮有重大突破的今天，越來越多的人已經(jīng)意識到：Agent就是大模型的未來。
對比AI與人類的交互模式，目前已從過去的嵌入式工具型AI（例如Siri）向助理型AI發(fā)展，目前的各類AI Copilot不再是機(jī)械地完成人類指令，而是可以自動化地完成各種人類工作流，
如果說Copilot這類生成式AI是“副駕駛”，那么Agent則可以算得上一個初級的“主駕駛”。
比爾·蓋茨曾言：在計算行業(yè)中，平臺是應(yīng)用程序和服務(wù)構(gòu)建的基礎(chǔ)技術(shù)。Android、iOS 和Windows都是平臺的例子。而Agent將成為下一個平臺。
到了那時，要創(chuàng)建一個新的應(yīng)用或服務(wù)，你不需要掌握編程或圖形設(shè)計技能。Agent將能夠幫助處理幾乎所領(lǐng)域的事務(wù)。
那么Arthur Mensch為什么會斷言小模型一定會有助于Agents的開發(fā)和應(yīng)用？
這里主要有兩個原因：一是推理成本，二是模型復(fù)雜度。
在推理成本方面，除了絕對數(shù)值外（即每1000個Token的成本），更重要的，是模型的推理預(yù)算與實(shí)際效能之比。
從目前的情況來看，Mixtral擁有46.7B的總參數(shù)量，但每個token只使用 12.9B參數(shù)，也就是說，Mixtral的實(shí)際執(zhí)行速度和所需的成本和一個12.9B的模型相當(dāng)。
下圖展示了官方公布的模型生成質(zhì)量與推理消耗成本的關(guān)系，與Llama2相比，Mistral7B和Mixtral8x7B表現(xiàn)出自己高能效的優(yōu)勢。
這意味著，與大模型相比，在保持高效能的情況下，Mixtral這類小模型通常需要更少的計算資源和時間來進(jìn)行推理，因此更加適合用于實(shí)時交互和在線學(xué)習(xí)。
其次，小模型也有助于Agents的開發(fā)和應(yīng)用，因?yàn)樗鼈兺ǔ＞哂懈偷哪Ｐ蛷?fù)雜度，更容易被理解和調(diào)試。
Arthur Mensch對此談到：當(dāng)人們走向一個Agents和AI交互的世界，系統(tǒng)的復(fù)雜性也會因此大幅增加。這種高度復(fù)雜的情境可能導(dǎo)致崩潰（Collapse），即機(jī)器學(xué)習(xí)中的一種一切都停滯不前的狀態(tài)，如果沒有足夠的自組織和解決問題的意愿，人們可能無法有效地應(yīng)對和管理這些挑戰(zhàn)。
為了解決這個問題，需要在設(shè)計和實(shí)現(xiàn)AI系統(tǒng)時充分考慮系統(tǒng)的可擴(kuò)展性、模塊化和可解釋性。
而小模型通常具有更簡單的結(jié)構(gòu)和更少的參數(shù)，這使得具有更好的可調(diào)試性，從而便于讓開發(fā)人員更容易理解和控制模型的性能，從而更快地將Agents推向市場。
03 新的勝出者
在模型層市場被少數(shù)頭部企業(yè)左右的當(dāng)下，小模型的出現(xiàn)，無疑為市場打開了新的可能。
從總的態(tài)勢來說，之后的模型層競爭中，小模型可能會對大模型形成一種“農(nóng)村包圍城市”的態(tài)勢。
“農(nóng)村”象征著小模型主要占據(jù)的應(yīng)用領(lǐng)域。這些領(lǐng)域通常包括資源受限的環(huán)境，如物聯(lián)網(wǎng)設(shè)備、智能家居、移動設(shè)備和邊緣計算場景。
在這些領(lǐng)域，小模型的靈活性、低成本和低能耗等特點(diǎn)使它們具有競爭優(yōu)勢。此外，小模型在定制化和遷移學(xué)習(xí)方面的優(yōu)勢，使它們能夠更好地適應(yīng)各種細(xì)分市場和特定任務(wù)。
“城市”則象征著大模型主要占據(jù)的應(yīng)用領(lǐng)域。這些領(lǐng)域通常包括計算資源豐富、對性能要求較高的場景，如數(shù)據(jù)中心、云計算和高性能計算環(huán)境。
在這樣的態(tài)勢下，憑借著細(xì)分市場的優(yōu)勢，以及開源社區(qū)的協(xié)作和共創(chuàng)，小模型在性能上會不斷迭代，并逐漸對大模型主導(dǎo)的領(lǐng)域形成一種“鉗制”的優(yōu)勢。
這種關(guān)系，類似于農(nóng)村為城市提供糧食等資源，維持城市的正常運(yùn)行。在AI領(lǐng)域，大模型在特定領(lǐng)域的優(yōu)化和提升，將愈發(fā)難以脫離小模型提供的實(shí)踐場景和技術(shù)支持。
而面對這樣的態(tài)勢，頭部的大模型企業(yè)，自然也不甘被鉗制，因此，這些大廠可能的應(yīng)對之策之一，是通過蒸餾（Distillation）或者合成數(shù)據(jù)（Synthetic data generation）等技術(shù)來訓(xùn)練出質(zhì)量更高的小模型。
或者更簡單粗暴一些，直接將小模型團(tuán)隊收購、兼并，為己所用。
在這樣的情況下，未來小模型領(lǐng)域，怎樣的企業(yè)更有可能勝出？
就大小模型的差異而言，小模型并不像大模型一樣，需要龐大的算力、數(shù)據(jù)作為支撐，在這個領(lǐng)域，更考驗(yàn)的是對技術(shù)的理解，以及深厚的理論基礎(chǔ)。
因此，將來在小模型領(lǐng)域，更有可能脫穎而出的團(tuán)隊，應(yīng)該會是那些具有強(qiáng)大學(xué)術(shù)、技術(shù)背景，且一線研究者、技術(shù)人員具有更大話語權(quán)的企業(yè)。
例如這次的Mixtral的團(tuán)隊Mixtral AI， 就是由DeepMind和Meta的三位青年科學(xué)家建立。
聯(lián)創(chuàng)三人，Arthur Mensch，CEO，前DeepMind研究科學(xué)家；Guillaume Lample，首席科學(xué)家，前Meta研究科學(xué)家，Llama項目帶頭；Timothee Lacroix，CTO，前Llama工程帶頭。
在創(chuàng)立Mistral前，Arthur Mensch在DeepMind任職，并主導(dǎo)了LLM、RAG、多模態(tài)三個領(lǐng)域最重要的論文，十分全能。
對一線研究者而言，唯有自由地踐行自己的技術(shù)構(gòu)想，在初期不過多地被資本干涉與左右，才更有可能做出亮眼的成果。