界面新聞記者 | 張熹瓏

5月22日，在2023大灣區(qū)科學(xué)論壇上，鵬城實驗室發(fā)布了鵬城·星云系統(tǒng)和星方數(shù)據(jù)——這是支撐國際大科學(xué)計劃和工程的需求、聚焦天文和遙感兩大學(xué)科的科研云平臺。

鵬城星云系統(tǒng)依托于“鵬城云腦Ⅱ”而構(gòu)建。鵬城云腦Ⅱ是國產(chǎn)自主的首個E級AI算力平臺，根據(jù)中國工程院院士、鵬城實驗室主任高文的介紹，是“10的18次方、每秒16位復(fù)點運算的機器平臺”。目前，云腦Ⅱ已經(jīng)連續(xù)五次在超算打榜獲得世界第一。

相比之下，鵬城實驗室的合作伙伴知名度或許更高——此前百度發(fā)布的全球首個知識增強千億大模型百度文心、華為發(fā)布的首個千億級生成和理解中文NLP大模型盤古大模型，均有鵬城實驗室的研發(fā)參與。

ChatGPT帶火了整個人工智能產(chǎn)業(yè)，也讓焦點集中在大模型上。高文指出，ChatGPT之所以能對整個技術(shù)發(fā)展帶來這么大沖擊，最關(guān)鍵的是它使用了大模型。

從人工智能行業(yè)出發(fā)，如何將訓(xùn)練好的模型從一個領(lǐng)域遷移到另外一個領(lǐng)域，始終是一個難題，因為不可能依賴于大量人力去標(biāo)注數(shù)據(jù)。

國際歐亞科學(xué)院院士李世鵬表示，大模型是解決這個瓶頸的方法，“采用一種預(yù)訓(xùn)練模式，對所有數(shù)據(jù)進行非監(jiān)督學(xué)習(xí)，形成大模型后再進行微調(diào)，落實到具體的應(yīng)用場景?！?/span>

“其實模型本身很簡單，就是生物學(xué)里面神經(jīng)元的一個連接。但是因為它規(guī)模大，就起到非常理想的結(jié)果。所以規(guī)模是大模型里最核心的東西?！备呶谋硎荆?guī)模需要靠三方面結(jié)合：巨大的算力、海量數(shù)據(jù)和足夠好的算法。例如ChatGPT就是微軟為其提供算力，提供了約1萬塊A100芯片的算力服務(wù)器支持。

高文提到，中國也有這樣的算力，在2020年推出的云腦Ⅱ，相當(dāng)于4000塊A100芯片組合出來的機器，既可以做理論研究，也可以做核心技術(shù)，或者一些比較大的應(yīng)用。

云腦Ⅱ的誕生讓鵬城實驗室的AI算力從100P上升到1000P。舉例來說，24小時內(nèi)能訓(xùn)練100億張圖像，或1億人的DNA、或1千萬小時語音、或1萬天的自動駕駛數(shù)據(jù)等，是52萬臺家用電腦算力之和。

“我們現(xiàn)在正在設(shè)計下一臺3.2萬塊卡的機器，這臺機器的能力會比微軟的機器還強，是后者能力的三倍，確保為人工智能訓(xùn)練持續(xù)提供強有力的算力支持?！备呶耐嘎?，這臺機器大約花費60億元，算力達到16000P。

“兩臺機器加在一起，可以解決到目前為止所有大模型的訓(xùn)練。”高文表示，而且以此為核心，現(xiàn)在正在啟動中國算力網(wǎng)的建設(shè)，將來的算力會像ChatGPT電力一樣即插即用。

為了實現(xiàn)這個目標(biāo)，鵬城實驗室現(xiàn)在正推動大模型的開源和底座訓(xùn)練工作。例如云腦Ⅱ，只有1/4是鵬城實驗室在用，3/4開放出去，作為大設(shè)施開放提供給國內(nèi)的合作伙伴、高校甚至企業(yè)使用，此前也幫助百度、華為訓(xùn)練了一系列大模型。

“鵬城會幫助相關(guān)單位訓(xùn)練出GPT的底座來，云腦Ⅱ、云腦Ⅲ會給人工智能大模型提供足夠算力，我們也希望合作伙伴提供一些數(shù)據(jù)?！备鶕?jù)設(shè)想，通過鵬城的算力、公開渠道的數(shù)據(jù)結(jié)合，訓(xùn)練出大模型底座向全社會開放。

算力、算法、數(shù)據(jù)，是人工智能的三大范疇。這也意味著，即使企業(yè)的算力不高，也能通過底座完成工作——畢竟ChatGPT一次訓(xùn)練要花費將近1000萬美元。而對于云腦Ⅱ等基礎(chǔ)設(shè)備而言，也有望降低開發(fā)工作量。

騰訊首席科學(xué)家張正友則指出，因為各種各樣的原因，包括隱私、行業(yè)數(shù)據(jù)之間的關(guān)系，是不可能做一個模型打遍所有事情的，“如何去解決數(shù)據(jù)之間的壁壘，將多個模型高效地整合起來，這可能又是一個值得研究和探討的方向。”