每日熱議!鄔賀銓：建議開放國家算力平臺支持各類大模型訓(xùn)練

2023-07-06 09:39:53來源：人民郵電報

【資料圖】

我國在算力總規(guī)模上雖可與美國相比，但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機(jī)制的挑戰(zhàn)，不少智算中心算力利用率和效率不高。不少單位各自獨(dú)立研究大模型，難免低水平重復(fù)。ChatGPT的上線使我們看到了在AIGC上中美的差距，現(xiàn)在需要清楚認(rèn)識和重視我們面對的挑戰(zhàn)，進(jìn)行實(shí)實(shí)在在的創(chuàng)新，將挑戰(zhàn)化為機(jī)遇。

近日，中國工程院院士鄔賀銓在接受媒體采訪時表示，我國在大模型開發(fā)方面起步相對較晚，ChatGPT出來后，國內(nèi)不少單位紛紛表示在研發(fā)生成式大模型，但研究主體數(shù)量多并不意味著中國在大模型上研發(fā)水平高。因此，他建議在國家科技與產(chǎn)業(yè)計(jì)劃的協(xié)調(diào)下合理分工形成合力，開放國家實(shí)驗(yàn)室的算力平臺支持各類大模型訓(xùn)練，同時建議組建算力聯(lián)盟，集中已有高檔GPU的算力資源，提供大模型數(shù)據(jù)訓(xùn)練所需算力。

鄔賀銓表示，雖然已有中國公司聲稱可推出類似ChatGPT的聊天機(jī)器人，但就支持多語種能力方面目前不如ChatGPT，就中文對話能力方面及響應(yīng)速度而言也還有差距。中國企業(yè)在獲得中文語料和對中國文化的理解方面比外國企業(yè)有天然的優(yōu)勢，中國制造業(yè)門類最全，具有面向?qū)嶓w產(chǎn)業(yè)訓(xùn)練產(chǎn)業(yè)AIGC的有利條件。

鄔賀銓認(rèn)為，在算力方面，中國已具有較好的基礎(chǔ)。據(jù)OpenAI報告，訓(xùn)練GPT-3模型所需的算力高達(dá)3.64EFlops／天，相當(dāng)于3～4個鵬城云腦Ⅱ。按2022年年底的數(shù)據(jù)，美國占全球算力的36％，中國占31％，現(xiàn)有算力總規(guī)模與美國相比有差距但不大，而在以GPU和NPU為主的智能算力規(guī)模中，中國明顯高于美國，我國不僅是大型互聯(lián)網(wǎng)企業(yè)具有相當(dāng)規(guī)模的算力，國家實(shí)驗(yàn)室和一些城市政府支持的實(shí)驗(yàn)室也有大規(guī)模的算力資源，可以說在訓(xùn)練大模型所需算力支持方面中國也能做到。據(jù)了解，鵬城實(shí)驗(yàn)室正在設(shè)計(jì)鵬城云腦Ⅲ，算力達(dá)到16EFlops，比GPT-3所用算力高3倍，預(yù)計(jì)耗資60億元，將為人工智能訓(xùn)練持續(xù)提供強(qiáng)有力的算力支持。

僅有算力還是不夠的。鄔賀銓表示，我國大模型在一些方面還面臨不小挑戰(zhàn)：一是大模型的基礎(chǔ)是深度學(xué)習(xí)框架，雖然國內(nèi)企業(yè)也自主開發(fā)了深度學(xué)習(xí)框架，但市場考驗(yàn)還不夠，生態(tài)還有待打造。二是將AIGC擴(kuò)展到產(chǎn)業(yè)應(yīng)用可能需要不止一個大模型，如何將多個大模型高效地整合，有標(biāo)準(zhǔn)化和數(shù)據(jù)融合的挑戰(zhàn)。三是大模型需要海量數(shù)據(jù)訓(xùn)練，中國有數(shù)千年的文明，但豐富的文化沉淀絕大多數(shù)并未數(shù)字化，中文在ChatGPT訓(xùn)練所用到的語料中還不到0.1％。雖然我國互聯(lián)網(wǎng)企業(yè)擁有大量電商、社交、搜索等網(wǎng)絡(luò)數(shù)據(jù)，但各自的數(shù)據(jù)類型不夠全面，網(wǎng)上知識的可信性又缺乏嚴(yán)格保證，中文可供訓(xùn)練的語料還需要做大量的挖掘工作。四是模型訓(xùn)練所依賴的GPU芯片以英偉達(dá)公司的A100芯片為代表，但該芯片已被美國限制向中國出口，國產(chǎn)GPU的性能還有待進(jìn)一步考驗(yàn)，目前在算力的利用效率上還有差距。五是在中國從事AI研究的技術(shù)人員不算少，但具有架構(gòu)設(shè)計(jì)能力和AIGC數(shù)據(jù)訓(xùn)練提示師水平的人才仍然短缺。

鄔賀銓認(rèn)為，ChatGPT的上線使我們看到了在AIGC上中美的差距，現(xiàn)在需要清楚認(rèn)識和重視我們面對的挑戰(zhàn)，進(jìn)行實(shí)實(shí)在在的創(chuàng)新，將挑戰(zhàn)化為機(jī)遇，在新一輪的AI賽道上做出中國的貢獻(xiàn)。

鄔賀銓進(jìn)一步表示，我國在算力總規(guī)模上雖可與美國相比，但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機(jī)制的挑戰(zhàn)，不少智算中心算力利用率和效率不高。不少單位各自獨(dú)立研究大模型，難免低水平重復(fù)，建議在國家科技與產(chǎn)業(yè)計(jì)劃的協(xié)調(diào)下合理分工形成合力。建議開放國家實(shí)驗(yàn)室的算力平臺支持各類大模型訓(xùn)練，同時建議組建算力聯(lián)盟，集中已有高檔GPU的算力資源，提供大模型數(shù)據(jù)訓(xùn)練所需算力。此外，需要基于大模型開發(fā)出各類面向行業(yè)應(yīng)用的模型，盡快使大模型在產(chǎn)業(yè)上落地見效，在面向各行各業(yè)的應(yīng)用中培養(yǎng)更多的人才。

標(biāo)簽：