界面新聞?dòng)浾?| 查沁君
面向數(shù)學(xué)領(lǐng)域的大模型也要來(lái)了。
5月5日，學(xué)而思表示正在進(jìn)行自研數(shù)學(xué)大模型的研發(fā)，命名為MathGPT，面向全球數(shù)學(xué)愛好者和科研機(jī)構(gòu)，以數(shù)學(xué)領(lǐng)域的解題和講題算法為核心，將于年內(nèi)推出基于該自研大模型的產(chǎn)品級(jí)應(yīng)用。
據(jù)學(xué)而思透露，MathGPT為公司核心項(xiàng)目，由CTO田密負(fù)責(zé)，今年春節(jié)前，已啟動(dòng)相應(yīng)的團(tuán)隊(duì)建設(shè)、數(shù)據(jù)、算力準(zhǔn)備和技術(shù)研發(fā)，目前已取得階段性成果。此外，該公司還啟動(dòng)了美國(guó)硅谷團(tuán)隊(duì)建設(shè)，將成立一支海外算法和工程團(tuán)隊(duì)，在全球范圍內(nèi)招募優(yōu)秀的人工智能專家加入。
自年初以來(lái)，美國(guó)OpenAI研發(fā)的大語(yǔ)言模型ChatGPT在全球引發(fā)熱潮，國(guó)內(nèi)百度、阿里也相繼發(fā)布了各自的大模型產(chǎn)品，MathGPT與這些大語(yǔ)言模型（Large Language Model簡(jiǎn)稱LLM）有何差異？
“通用語(yǔ)言模型更像一個(gè)‘文科生’，在語(yǔ)言翻譯、摘要、理解和生成等任務(wù)上有出色表現(xiàn)，但在數(shù)學(xué)問(wèn)題的解決、講解、問(wèn)答和推薦方面則存在明顯不足?！睂W(xué)而思解釋，比如解答數(shù)學(xué)問(wèn)題經(jīng)常出錯(cuò)，生成內(nèi)容冗余，有些數(shù)學(xué)問(wèn)題雖然能解決，但方法更偏成年人，無(wú)法針對(duì)適齡孩子的知識(shí)結(jié)構(gòu)和認(rèn)知水平做適配。
“這種不足是由LLM模型自身特點(diǎn)決定的。”學(xué)而思AI團(tuán)隊(duì)負(fù)責(zé)人介紹，LLM大模型來(lái)自對(duì)海量語(yǔ)言文本的訓(xùn)練，因此最擅長(zhǎng)語(yǔ)言處理。行業(yè)內(nèi)偏向基于LLM大模型做閱讀、寫作類應(yīng)用，但如果想要在數(shù)學(xué)能力上有突破，就需要研發(fā)新的大模型。
5月4日，好未來(lái)（NYSE：TAL）CTO田密在其個(gè)人抖音號(hào)上討論了關(guān)于大模型的一個(gè)本質(zhì)話題，也為MathGPT的推出埋下伏筆。即未來(lái)到底是一個(gè)通用大模型一統(tǒng)天下，還是各個(gè)領(lǐng)域的大模型百花齊放？
他提到，通用大模型的觀點(diǎn)是，LLM大型語(yǔ)言模型的參數(shù)還會(huì)不斷提升，參與訓(xùn)練的語(yǔ)料會(huì)越來(lái)越大，越來(lái)越多元，泛化能力和遷徙學(xué)習(xí)的能力會(huì)不斷增強(qiáng)。LLM也很快會(huì)從文本升級(jí)到多模態(tài)，如圖片、語(yǔ)音、視頻。領(lǐng)域大模型在一個(gè)超級(jí)強(qiáng)大的通用大模型前是守不住的，未來(lái)一定會(huì)到達(dá)AGI通用大模型一統(tǒng)天下。
而領(lǐng)域大模型派的觀點(diǎn)是，一個(gè)通用大模型再?gòu)?qiáng)大，也很難在每個(gè)領(lǐng)域都能拿到最佳效果。很多領(lǐng)域存在數(shù)據(jù)壁壘和行業(yè)know-how（企業(yè)內(nèi)部的技術(shù)訣竅、專業(yè)知識(shí)、獨(dú)家配方，屬于無(wú)形資產(chǎn)的商業(yè)秘密），大模型還是得和領(lǐng)域知識(shí)深度結(jié)合，加上足夠多的領(lǐng)域數(shù)據(jù)來(lái)訓(xùn)練。
“一個(gè)大模型搞定一切的思路也許并不是最經(jīng)濟(jì)的解法，模型參數(shù)過(guò)大，訓(xùn)練和推理的成本都會(huì)數(shù)量級(jí)的提升。”田密認(rèn)為，一個(gè)通用大模型作為交互接口，然后用Toolformer（可以自學(xué)使用工具的語(yǔ)言模型）的思路，根據(jù)具體的任務(wù)，自動(dòng)調(diào)用對(duì)應(yīng)的領(lǐng)域模型獲得結(jié)果，這種模型組合的方式性價(jià)比更高。
他還提到，美國(guó)支持通用大模型終局的人更多，而國(guó)內(nèi)支持領(lǐng)域大模型終局的人更多。
學(xué)而思AI團(tuán)隊(duì)負(fù)責(zé)人介紹，數(shù)學(xué)、醫(yī)學(xué)等垂直領(lǐng)域，對(duì)AI的需求是準(zhǔn)確、清晰、具備強(qiáng)大的邏輯推理能力，且容錯(cuò)率低，通用大模型目前的性能表現(xiàn)還無(wú)法在上述領(lǐng)域取得突破，未來(lái)是否可能取得突破尚不清晰。
以數(shù)學(xué)領(lǐng)域?yàn)槔?，目前市?chǎng)上有幾個(gè)主要流派。比如Google收購(gòu)的Photomath、微軟數(shù)學(xué)、Mathway、專注數(shù)學(xué)計(jì)算的WolframAlpha等產(chǎn)品，主要利用非LLM的傳統(tǒng)AI技術(shù)加上數(shù)據(jù)庫(kù)的方式解決數(shù)學(xué)問(wèn)題。
走AGI路線的公司則嘗試讓通用LLM“更懂?dāng)?shù)學(xué)”，比如GPT4在數(shù)學(xué)任務(wù)上比之前的3.5版本性能更好，谷歌旗下的Minerva模型也專門針對(duì)數(shù)學(xué)問(wèn)題進(jìn)行調(diào)優(yōu)。學(xué)而思選擇了另一條路，不基于現(xiàn)有LLM做微調(diào)和接口調(diào)用、不做通用LLM，而是自研基于專業(yè)領(lǐng)域的“數(shù)學(xué)大模型”。
如何利用大語(yǔ)言模型服務(wù)各行各業(yè)是當(dāng)下社會(huì)的焦點(diǎn)問(wèn)題。
比如在教育領(lǐng)域，Duolingo（NASDAQ：DUOL）、Quizlet、可汗學(xué)院等產(chǎn)品主要和OpenAI合作，在GPT大模型上做微調(diào)和接口調(diào)用，增強(qiáng)原有的產(chǎn)品體驗(yàn)。
今年3月，美國(guó)課外輔導(dǎo)在線教育平臺(tái)Chegg（NYSE:CHGG）宣布推出自己的人工智能聊天機(jī)器人CheggMate，該產(chǎn)品旨在使用新技術(shù)提供更多輔導(dǎo)、即時(shí)反饋和個(gè)性化學(xué)習(xí)，由OpenAI最新人工智能模型GPT-4支持。
但Chegg首席執(zhí)行官Dan Rosensweig日前在一季度財(cái)報(bào)電話會(huì)議上稱：“自3月以來(lái)，我們發(fā)現(xiàn)學(xué)生對(duì)ChatGPT的興趣大幅飆升。我們認(rèn)為它正在對(duì)我們的新客戶增長(zhǎng)率產(chǎn)生影響?！彪S后，該公司股價(jià)于本周二盤中一日暴跌48.41%，收盤價(jià)為9.08美元/股。
早在今年2月，網(wǎng)易有道（NYSE：DAO）曾被傳其AI技術(shù)團(tuán)隊(duì)已投入到ChatGPT同源技術(shù)AIGC（AI Generated Content人工智能自動(dòng)生成內(nèi)容）在教育場(chǎng)景的落地研發(fā)中。該公司后來(lái)向界面教育證實(shí)了這一消息，并表示去年底嘗試AIGC在教育場(chǎng)景中的落地應(yīng)用，包括但不限于AI口語(yǔ)老師、中文作文打分和評(píng)價(jià)等。
5月5日，就在學(xué)而思預(yù)告MathGPT的同一天，網(wǎng)易有道視頻號(hào)首次公開基于“子曰”大模型開發(fā)的AI口語(yǔ)老師介紹視頻，“子曰”為該公司自研的教育場(chǎng)景下的類ChatGPT模型。不同于以往AI單調(diào)的機(jī)械發(fā)音，AI口語(yǔ)老師更像是一位真實(shí)的“老師”在與學(xué)生對(duì)話。
另?yè)?jù)科大訊飛（002230.SZ）此前透露，5月6日將推出應(yīng)用于教育類智能硬件AI學(xué)習(xí)機(jī)，該公司近期已開啟星火認(rèn)知大模型內(nèi)測(cè)。
網(wǎng)易有道總裁金磊也曾提到，單純的AI技術(shù)并不能夠創(chuàng)造足夠的價(jià)值，只有與業(yè)務(wù)場(chǎng)景結(jié)合的技術(shù)才能真的解決用戶問(wèn)題，帶來(lái)價(jià)值。
“雖然我們?cè)谟懻撊斯ぶ悄芗夹g(shù)，但是僅人工智能技術(shù)本身是做不出一個(gè)產(chǎn)品的。”在金磊看來(lái)，傳統(tǒng)的CPU機(jī)器已經(jīng)無(wú)法承載深度學(xué)習(xí)時(shí)代的巨大計(jì)算量的需求，知識(shí)獲取（訓(xùn)練）和提供服務(wù)本身都依賴巨大的算力，大數(shù)據(jù)和大模型帶來(lái)了對(duì)算力的更高要求。
金磊提到，AI技術(shù)落地在以智能設(shè)備為代表的端側(cè)應(yīng)用時(shí)，又涉及模型壓縮、蒸餾、量化等多項(xiàng)相關(guān)技術(shù)的持續(xù)探索，結(jié)合針對(duì)硬件設(shè)備的深度優(yōu)化，也推動(dòng)著適合深度學(xué)習(xí)的AI芯片的快速發(fā)展，當(dāng)機(jī)器翻譯的質(zhì)量達(dá)到了應(yīng)用的門檻并且能夠產(chǎn)生商業(yè)價(jià)值以后，一大批垂直領(lǐng)域的優(yōu)化定制需求大量涌現(xiàn)，如何實(shí)現(xiàn)低成本的模型定制也成為算法和算力側(cè)都需要關(guān)注的重要問(wèn)題。
在大語(yǔ)言模型不斷進(jìn)化的浪潮下，不同的技術(shù)路線選擇孰優(yōu)孰劣，仍有待討論和驗(yàn)證。學(xué)而思自研獨(dú)立的MathGPT大模型是否成立，是否能夠超越通用模型在數(shù)學(xué)任務(wù)上的表現(xiàn)，是否更匹配不同人群的數(shù)學(xué)學(xué)習(xí)場(chǎng)景，還需要在實(shí)踐中尋找答案。