【消費(fèi)電子實(shí)驗(yàn)室-2023/6/6】在近日舉行的世界智能科技創(chuàng)新合作峰會(huì)上，國(guó)家超算天津中心發(fā)布了天河百億億級(jí)智能計(jì)算開(kāi)放創(chuàng)新平臺(tái)和國(guó)產(chǎn)中文大模型——天河天元。國(guó)家超級(jí)計(jì)算天津中心黨組書(shū)記、應(yīng)用研發(fā)首席科學(xué)家孟祥飛說(shuō)，國(guó)家超算天河團(tuán)隊(duì)與信創(chuàng)海河實(shí)驗(yàn)室、天津大學(xué)、國(guó)防科大團(tuán)隊(duì)，共同致力于打造國(guó)產(chǎn)超級(jí)算力和智能算力底座，構(gòu)建高標(biāo)準(zhǔn)大規(guī)模的中文數(shù)據(jù)集，通過(guò)國(guó)產(chǎn)中文大模型的研發(fā)和設(shè)計(jì)來(lái)支撐智能科技的創(chuàng)新。

眾所周知，中文大語(yǔ)言模型的數(shù)據(jù)集非常稀缺。國(guó)家超算天津中心搜集整理了網(wǎng)頁(yè)數(shù)據(jù)、各種開(kāi)源訓(xùn)練數(shù)據(jù)、中文小說(shuō)數(shù)據(jù)、古文數(shù)據(jù)、百科數(shù)據(jù)、新聞數(shù)據(jù)，以及專業(yè)領(lǐng)域的中醫(yī)、醫(yī)藥、問(wèn)診、法律等多種數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集總token數(shù)達(dá)到350B，訓(xùn)練打造了自己的中文語(yǔ)言大模型——天河天元大模型。

在算力中，超級(jí)算力應(yīng)該是算力當(dāng)中的“戰(zhàn)斗機(jī)”，是最強(qiáng)大的算力存在。事實(shí)上，每一次超級(jí)計(jì)算機(jī)的升級(jí)換代，都經(jīng)歷了從底層的高性能計(jì)算芯片升級(jí)、高速互聯(lián)網(wǎng)絡(luò)升級(jí)，再到基礎(chǔ)操作軟件的整體性升級(jí)換代，才能帶來(lái)一代新的超級(jí)計(jì)算機(jī)，而這也代表著在信息技術(shù)的創(chuàng)新能力和創(chuàng)新水平的新革命。

超級(jí)計(jì)算也被譽(yù)為大國(guó)重器，在這個(gè)體系當(dāng)中天河應(yīng)該成為中國(guó)超級(jí)計(jì)算發(fā)展的一個(gè)代表。孟祥飛說(shuō)，過(guò)去10年中，團(tuán)隊(duì)不斷挑戰(zhàn)著世界算力速度的極限，從千萬(wàn)億次到億億次，再到今天的百億億次的突破，正是這樣一個(gè)強(qiáng)大的算力，也使得天津成為全國(guó)乃至世界超級(jí)算力的重鎮(zhèn)，天津?yàn)槿珖?guó)貢獻(xiàn)了超過(guò)20%以上的超級(jí)算力。來(lái)自全國(guó)8000多個(gè)科研機(jī)構(gòu)、企業(yè)、政府部門的研發(fā)、設(shè)計(jì)依托天河超算進(jìn)行技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。

“天河百億億級(jí)的智能計(jì)算開(kāi)放創(chuàng)新平臺(tái)”正是依托了天河超級(jí)計(jì)算系統(tǒng)。超級(jí)計(jì)算的傳統(tǒng)強(qiáng)項(xiàng)是高精度的科學(xué)工程計(jì)算，比如預(yù)報(bào)天氣，需經(jīng)過(guò)成千上萬(wàn)次的精確迭代計(jì)算以后，得出一個(gè)正確的結(jié)果，“預(yù)報(bào)的結(jié)果要可信，要有嚴(yán)格的誤差控制，因此必須保持高精度計(jì)算”。

而眼下正在快速興起的智能計(jì)算，特別是大模型帶來(lái)的智能計(jì)算需求，對(duì)高精度計(jì)算的要求并不強(qiáng)烈。比如文本生成等，主要做的是特征提取、邏輯判斷，就帶來(lái)了一個(gè)新的計(jì)算范式的需求，即“低精度智能計(jì)算”。

于是在新一代超級(jí)計(jì)算機(jī)中，天河團(tuán)隊(duì)首次提出了柔性體系結(jié)構(gòu)，就是在支持高性能計(jì)算、超級(jí)計(jì)算、科學(xué)工程計(jì)算的同時(shí)，也適配智能計(jì)算，支持世界領(lǐng)先的雙精度、單精度、半精度融合計(jì)算輸出能力。天河E級(jí)智能計(jì)算開(kāi)放創(chuàng)新平臺(tái)將帶來(lái)突破百億億次的跨模態(tài)的超級(jí)計(jì)算算力，支撐傳統(tǒng)的科學(xué)工程計(jì)算，并服務(wù)智能混合計(jì)算，打造全方位的算力賦能創(chuàng)新和數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展載體。

行業(yè)大模型就是在基礎(chǔ)大模型上，進(jìn)一步融合行業(yè)數(shù)據(jù)、知識(shí)以及專家經(jīng)驗(yàn)，提升大模型對(duì)行業(yè)應(yīng)用的適配性。大模型“預(yù)訓(xùn)練+精調(diào)”等模式帶來(lái)了新的標(biāo)準(zhǔn)化AI研發(fā)范式，實(shí)現(xiàn)AI模型在更統(tǒng)一、簡(jiǎn)單的方式下規(guī)模化生產(chǎn)。這將會(huì)帶來(lái)一場(chǎng)通用人工智能為驅(qū)動(dòng)力的“AI革命”。

用大模型作為產(chǎn)業(yè)智能化升級(jí)基座，加之專業(yè)數(shù)據(jù)集，將打造出更貼合行業(yè)領(lǐng)域的智能化高水平“專家”，為行業(yè)賦能，推動(dòng)行業(yè)升級(jí)，提升領(lǐng)域創(chuàng)新效率、行業(yè)生產(chǎn)效率，成為人工智能驅(qū)動(dòng)新一輪科技革命和產(chǎn)業(yè)變革的巨大力量。孟祥飛期待，讓國(guó)產(chǎn)創(chuàng)新基礎(chǔ)上的“天河E級(jí)超智算力開(kāi)放平臺(tái)”“天河天元大模型”賦能百業(yè)、賦能天津、賦能中國(guó)高質(zhì)量發(fā)展。