感謝網(wǎng)友 軟媒新友1933769、OC_Formula 的線索投遞！

11 月 15 日消息，高通發(fā)布了 Cloud AI 100 Ultra，屬于云 AI 推理加速卡，專為生成式 AI 和大型語言模型而設(shè)計(jì)。

這款產(chǎn)品可提供相當(dāng)于上一代產(chǎn)品四倍的性能，可以在單張 150W 的卡上部署 100B 參數(shù)模型，在兩張卡上部署 175B 參數(shù)，甚至還可以通過高通 AI 堆棧和云 AI SDK 的多 個(gè) Cloud  AI 100 Ultra 支持更大的模型。

據(jù)介紹，高通 Cloud AI 100 Ultra 是一個(gè)可編程的 AI 加速器，可以支持最新的 AI 技術(shù)和數(shù)據(jù)格式。

它利用高通 AI 堆棧，可以使客戶能夠“在任何地方訓(xùn)練并在高通 Cloud  AI 100 Ultra 上進(jìn)行推理”，從而支持模型的移植和優(yōu)化。

正如其名，這是一款云加速卡，它背后依賴的是慧與科技專為加速器優(yōu)化的生成式 AI 工作負(fù)載（注：包括自然語言處理 NLP）設(shè)計(jì)的 HPE ProLiant DL380a Gen 11 服務(wù)器。

根據(jù)高通官方的說法，Cloud AI 100 平臺(tái)在最新基準(zhǔn)測(cè)試結(jié)果的所有加速卡中均處于領(lǐng)先地位，但不清楚最新 Cloud AI 100 Ultra 的具體結(jié)果。

高通表示，在云和企業(yè)用例中，與競(jìng)爭(zhēng)對(duì)手相比，高通 Cloud AI 100 Ultra 在生成式 AI（包括 LLMs、NLP 和計(jì)算機(jī)視覺工作負(fù)載）方面每 TCO 美元提供兩到五倍的性能。

他們認(rèn)為，這種性能、定價(jià)、功率、效率、可擴(kuò)展性和安全性的結(jié)合，使其成為希望采用尖端 AI 并轉(zhuǎn)變其運(yùn)營(yíng)的組織的理想選擇，同時(shí)支持可持續(xù)發(fā)展目標(biāo)。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，所有文章均包含本聲明。

總結(jié)

以上是生活随笔為你收集整理的高通发布 Cloud AI 100 Ultra 云推理卡，150W 单卡可运行千亿参数大模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。