鈦媒體12月8日消息，鵬城實驗室與百度聯(lián)合召開發(fā)布會，正式發(fā)布雙方共同研發(fā)的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan）。同時，百度產(chǎn)業(yè)級知識增強大模型“文心”全景圖首次亮相。

鵬城-百度·文心大模型發(fā)布

鵬城-百度·文心的關(guān)鍵詞是“全球首個知識增強千億大模型”，該模型參數(shù)規(guī)模達到2600億，是目前全球最大中文單體模型，在機器閱讀理解、文本分類、語義相似度計算等60多項任務取得最好效果，并在30余項小樣本和零樣本任務上刷新基準。

據(jù)了解，百度文心已大規(guī)模應用于百度搜索、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品，同時通過百度智能云對外輸出，例如在金融領(lǐng)域，基于百度文心實現(xiàn)了合同智能解析，能夠在1分鐘內(nèi)完成對相關(guān)合同條款文本的解析識別，速度是之前的幾十倍，大大提升了工作效率。百度智能云的智能客服也基于百度文心提升了服務的精準性，目前已經(jīng)在中國聯(lián)通、浦發(fā)銀行等企業(yè)應用，拓展到全國各地。

在鵬城和百度的合作中，鵬城實驗室主要提供算力系統(tǒng)“鵬城云腦Ⅱ”，百度主要依托于飛槳深度學習平臺開展工作。“鵬城云腦Ⅱ”是國產(chǎn)自主的首個E級AI算力平臺，曾在多個國際性能測試上獲得冠軍；飛槳是我國首個自主研發(fā)的深度學習開源開放平臺，研制了端到端自適應分布式訓練框架，實現(xiàn)多硬件支持，并行效率高達90%，有效支持鵬城-百度·文心千億大模型高效、穩(wěn)定地訓練。

“文心”全景圖

雙方聯(lián)手解決了超大模型訓練的多個公認技術(shù)難題，使鵬城-百度·文心訓練效率大幅提升，模型效果更優(yōu)。

中國工程院院士、鵬城實驗室主任高文表示，“預訓練模型對整個科學的發(fā)展、社會的發(fā)展、創(chuàng)新的發(fā)展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領(lǐng)域，這對人工智能的發(fā)展都是一個福音。”

百度首席技術(shù)官王海峰介紹，百度知識增強大模型從大規(guī)模知識和海量數(shù)據(jù)中融合學習，效率更高，效果更好，具有良好的可解釋性。從2019年3月發(fā)布文心ERNIE 1.0，到最新的產(chǎn)業(yè)級知識增強大模型文心全景圖，既包含基礎通用的大模型，也包含面向重點領(lǐng)域、重點任務的大模型，以及豐富的工具與平臺，有助于促進技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。

此外，為解決大模型應用落地難題，百度團隊首創(chuàng)大模型在線蒸餾技術(shù)，模型參數(shù)壓縮率可達99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當，有助于加速產(chǎn)業(yè)大規(guī)模的應用。

會上鵬城實驗室與百度還成立了鵬城-百度自然語言處理聯(lián)合實驗室，在自然語言處理前沿研究和創(chuàng)新應用方面協(xié)同攻關(guān)。鵬城-百度·文心有望進一步解決 AI 技術(shù)在產(chǎn)業(yè)應用中缺乏領(lǐng)域和場景化數(shù)據(jù)等關(guān)鍵難題，該模型代碼近期會在OpenI啟智社區(qū)開源，依托鵬城云腦Ⅱ?qū)ν忾_放。百度文心也會通過百度飛槳平臺陸續(xù)對外開源開放。

關(guān)鍵詞： 模型 百度 文心 鵬城-百度 鵬城實驗室 鵬城 參數(shù) 鈦媒體