感謝網(wǎng)友 航空先生、肖戰(zhàn)割割 的線索投遞！

4 月 14 日消息，從騰訊官方獲悉，騰訊云發(fā)布了新一代 HCC 高性能計(jì)算集群，采用最新一代星星海自研服務(wù)器，搭載英偉達(dá) H800 Tensor Core GPU。

騰訊官方稱(chēng)，該集群基于自研網(wǎng)絡(luò)、存儲(chǔ)架構(gòu)，帶來(lái) 3.2T 超高互聯(lián)帶寬、TB 級(jí)吞吐能力和千萬(wàn)級(jí) IOPS。實(shí)測(cè)結(jié)果顯示，新一代集群算力性能較前代提升 3 倍。

去年 10 月，騰訊完成首個(gè)萬(wàn)億參數(shù)的 AI 大模型 —— 混元 NLP 大模型訓(xùn)練。在同等數(shù)據(jù)集下，將訓(xùn)練時(shí)間由 50 天縮短到 11 天。如果基于新一代集群，訓(xùn)練時(shí)間將進(jìn)一步縮短至 4 天。

計(jì)算層面，服務(wù)器單機(jī)性能是集群算力的基礎(chǔ)，騰訊云新一代集群的單 GPU 卡在不同精度下，支持輸出最高 1979 TFlops 的算力。

針對(duì)大模型場(chǎng)景，星星海自研服務(wù)器采用 6U 超高密度設(shè)計(jì)，相較行業(yè)可支持的上架密度提高 30%；利用并行計(jì)算理念，通過(guò) CPU 和 GPU 節(jié)點(diǎn)的一體化設(shè)計(jì)，將單點(diǎn)算力性能提升至更高。

網(wǎng)絡(luò)層面，計(jì)算節(jié)點(diǎn)間，存在著海量的數(shù)據(jù)交互需求。隨著集群規(guī)模擴(kuò)大，通信性能會(huì)直接影響訓(xùn)練效率，需要實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算節(jié)點(diǎn)的最大協(xié)同。

騰訊自研的星脈高性能計(jì)算網(wǎng)絡(luò)，號(hào)稱(chēng)具備業(yè)界最高的 3.2T RDMA 通信帶寬。實(shí)測(cè)結(jié)果顯示，搭載同等數(shù)量的 GPU，3.2T 星脈網(wǎng)絡(luò)相較 1.6T 網(wǎng)絡(luò)，集群整體算力提升 20%。

同時(shí)，騰訊自研的高性能集合通信庫(kù) TCCL，融入定制設(shè)計(jì)的解決方案。相對(duì)業(yè)界開(kāi)源集合通信庫(kù)，為大模型訓(xùn)練優(yōu)化 40% 負(fù)載性能，消除多個(gè)網(wǎng)絡(luò)原因?qū)е碌挠?xùn)練中斷問(wèn)題。

存儲(chǔ)層面，大模型訓(xùn)練中，大量計(jì)算節(jié)點(diǎn)會(huì)同時(shí)讀取一批數(shù)據(jù)集，需要盡可能縮短數(shù)據(jù)加載時(shí)長(zhǎng)，避免計(jì)算節(jié)點(diǎn)產(chǎn)生等待。

騰訊云自研的存儲(chǔ)架構(gòu)，具備 TB 級(jí)吞吐能力和千萬(wàn)級(jí) IOPS，支持不同場(chǎng)景下對(duì)存儲(chǔ)的需求。COS+GooseFS 對(duì)象存儲(chǔ)方案和 CFS Turbo 高性能文件存儲(chǔ)方案，充分滿(mǎn)足大模型場(chǎng)景下高性能、大吞吐和海量存儲(chǔ)要求。

此外，新一代集群集成了騰訊云自研的 TACO 訓(xùn)練加速引擎，對(duì)網(wǎng)絡(luò)協(xié)議、通信策略、AI 框架、模型編譯進(jìn)行大量系統(tǒng)級(jí)優(yōu)化，大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。

騰訊混元大模型背后的訓(xùn)練框架 AngelPTM，也已通過(guò)騰訊云 TACO 提供服務(wù)，幫助企業(yè)加速大模型落地。

通過(guò)騰訊云 TI 平臺(tái)的大模型能力和工具箱，企業(yè)可結(jié)合產(chǎn)業(yè)場(chǎng)景數(shù)據(jù)進(jìn)行精調(diào)訓(xùn)練，提升生產(chǎn)效率、快速創(chuàng)建和部署 AI 應(yīng)用。

依托分布式云原生的治理能力，騰訊云智算平臺(tái)提供 16 EFLOPS 的浮點(diǎn)算力。

總結(jié)

以上是生活随笔為你收集整理的腾讯发布新一代超强算力集群：面向大模型训练，性能提升 3 倍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。