【網(wǎng)易科技2月21日報(bào)道】淮海智算中心與浪潮信息進(jìn)行了超大規(guī)模參數(shù)AI大模型訓(xùn)練性能測試，數(shù)據(jù)表明，千億參數(shù)規(guī)模的自然語言AI單體大模型在淮海智算中心計(jì)算平臺上的訓(xùn)練算力效率為53.5%。

具體來說，針對AI大模型訓(xùn)練的計(jì)算特點(diǎn)，浪潮信息AI團(tuán)隊(duì)對淮海智算中心算力系統(tǒng)進(jìn)行了優(yōu)化，系統(tǒng)架構(gòu)上，采用單節(jié)點(diǎn)集成8顆加速器的AI服務(wù)器，節(jié)點(diǎn)內(nèi)加速器間實(shí)現(xiàn)超高速P2P通信，節(jié)點(diǎn)間建立低延遲高帶寬的Infiniband通信網(wǎng)絡(luò)。

在大模型訓(xùn)練技術(shù)層面，運(yùn)用了中文巨量AI模型“源1.0”的訓(xùn)練優(yōu)化經(jīng)驗(yàn)，對分布式訓(xùn)練策略進(jìn)行了優(yōu)化，通過合理設(shè)計(jì)張量并行、流水并行和數(shù)據(jù)并行，精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過程的超參數(shù)，最終千億參數(shù)規(guī)模AI大模型的訓(xùn)練算力效率達(dá)到53.5%。

據(jù)悉，這意味著淮海智算中心將可為國內(nèi)生成式AI創(chuàng)新團(tuán)隊(duì)提供高性能高效率的AI大模型訓(xùn)練算力服務(wù)。(定西)

總結(jié)

以上是生活随笔為你收集整理的淮海智算中心宣布AI大模型训练算力效率超50%的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。