記者 | 崔鵬
近日，百度集團(tuán)副總裁吳甜與界面新聞等多家媒體分享了百度“文心大模型”的最新進(jìn)展。
吳甜表示，2022年是“文心大模型”產(chǎn)業(yè)落地關(guān)鍵年，目前“文心大模型”已大規(guī)模應(yīng)用于百度內(nèi)部的各類產(chǎn)品，包含搜索、信息流、小度智能屏、百度地圖等，而“文心大模型”的個(gè)人、企業(yè)開發(fā)者數(shù)量已超過6萬人。
隨著數(shù)據(jù)井噴、算法進(jìn)步和算力突破，泛化能力和通用性強(qiáng)的預(yù)訓(xùn)練大模型正在成為人工智能發(fā)展的關(guān)鍵方向，并成為人工智能產(chǎn)業(yè)應(yīng)用的重要推動(dòng)力。
人工智能技術(shù)要想在傳統(tǒng)產(chǎn)業(yè)升級(jí)轉(zhuǎn)型的過程中實(shí)現(xiàn)普及，需要與各行各業(yè)的差異化場(chǎng)景深度融合，而大模型能加速這種融合的進(jìn)展：它通過集中提供通用算法模型，打造技術(shù)底座，讓大多數(shù)企業(yè)的標(biāo)注數(shù)據(jù)更少、開發(fā)效率更高、應(yīng)用成本更低，從而大幅降低人工智能的應(yīng)用門檻。
2019年3月，百度發(fā)布中國首個(gè)正式開放的預(yù)訓(xùn)練模型ERNIE1.0；2021年12月，ERNIE 3.0升級(jí)為知識(shí)增強(qiáng)千億大模型“鵬程-百度文心”。
在吳甜看來，“文心大模型”作為產(chǎn)業(yè)級(jí)大模型，核心價(jià)值在于驅(qū)動(dòng)人工智能的規(guī)?；瘧?yīng)用，吸納更多開發(fā)者參與其中。
所以，為了進(jìn)一步降低人工智能的應(yīng)用難度，“文心大模型”還為開發(fā)者提供了工具平臺(tái)，配套易上手的大模型開發(fā)、輕量化、部署工具，讓各行各業(yè)的開發(fā)者都能低門檻實(shí)現(xiàn)人工智能的應(yīng)用。
吳甜介紹稱，通過大模型與國產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，百度已經(jīng)構(gòu)建出自主創(chuàng)新的AI基底，能驅(qū)動(dòng)人工智能的規(guī)?；瘧?yīng)用。
百度方面表示，支撐“文心大模型”高效分布式訓(xùn)練的關(guān)鍵技術(shù)，是百度飛槳平臺(tái)自主研發(fā)的端到端自適應(yīng)分布式訓(xùn)練框架與4D混合并行技術(shù)。
吳甜告訴界面新聞等媒體，基于百度飛槳平臺(tái)與百舸集群，“文心大模型”在算法、框架、算力層面實(shí)現(xiàn)了自主創(chuàng)新。
百度官方還稱，目前公司多個(gè)大模型已經(jīng)處于領(lǐng)先水平，包括全球首個(gè)百億參數(shù)中英文對(duì)話大模型PLATO-XL、聚焦中英文場(chǎng)景大規(guī)模OCR結(jié)構(gòu)化預(yù)訓(xùn)練模型VIMER– StrucText、中文跨模態(tài)生成模型ERNIE-ViLG等。