NVIDIA拿出世界第一GPU ：大厂们的自研梦 碎了
老黃又來掀桌了啦！
在今天凌晨的 2023 年全球超算大會(huì)（ SC2023 ）上，英偉達(dá)推出了全新GPU H200 。
作為前代 H100 的升級(jí)款，老黃直接不裝了，在官網(wǎng)上單方面將 H200 稱為 “ 當(dāng)世最強(qiáng) ” 。
但更秀的是，沒人會(huì)因此質(zhì)疑他們違反廣告法，因?yàn)樵?AI 時(shí)代，對(duì)手們真只能眼巴巴地看著英偉達(dá)的車尾燈。
從英偉達(dá)官方透露的數(shù)據(jù)來看， H200 最強(qiáng)的就是在大模型推理表現(xiàn)上。
以 700 億參數(shù)的 LLama2 大模型為例， H200 推理速度幾乎比前代的 H100 快了一倍，而且能耗還降低了一半。
能取得這么強(qiáng)的成績，自然是 H200 的硬件給力。
從參數(shù)方面看， H200 的主要提升就是把上一代 “ G 皇 ”H100 的顯存，從 80GB 拉到了 141GB ，帶寬從 3.35TB/s 增加到了 4.8 TB/s 。
這些進(jìn)步則主要要?dú)w功于HBM3e 內(nèi)存技術(shù)。
今年 8 月的時(shí)候， SK 海力士推出 HBM3e 之后，據(jù)宣稱單顆帶寬可以達(dá)到 1.15TB/s ，相當(dāng)于在 1 秒鐘內(nèi)傳輸了 230 部 FHD 高清電影（每部容量 5G ）。
在 SK 海力士官宣 HBM3e 之后不久，包括三星、美光在內(nèi)的內(nèi)存廠商們，都陸續(xù)跟進(jìn)了這一技術(shù)。
這個(gè) HBM3e ，其實(shí)就是之前大家都在用的 HBM3 的升級(jí)版。
說白了就是有更高的性能、更高的帶寬，好處就是芯片能用更快的速度傳輸數(shù)據(jù)，同時(shí)還降低功耗。
非常適合眼下的AI 和大數(shù)據(jù)運(yùn)用。
于是英偉達(dá)第一時(shí)間就找到 SK 海力士進(jìn)行了合作。
所以我們能看到這才沒多久， H200 就已經(jīng)用上了這一新技術(shù)。
比起技術(shù)升級(jí)更方便的是， H200 和 H100 都是基于英偉達(dá) Hopper 架構(gòu)打造的。
所以兩款芯片可以互相兼容，那些裝滿了 H100 的企業(yè)不需要調(diào)整，可以直接更換。
不過，乍一看好像是王炸，但實(shí)際上H200 可能只是 H100 的一個(gè) “ 中期改款 ” 。
因?yàn)槲覀儼l(fā)現(xiàn)， H100 和 H200 單論峰值算力的話，其實(shí)是一模一樣的。
真正提升的參數(shù)只有顯存、帶寬。
在此前，大家常用來評(píng)判 AI 芯片性能的重要參數(shù)：訓(xùn)練能力。
H200 相較 H100 的提升也并不明顯。
從英偉達(dá)給出的數(shù)據(jù)來看，在 GPT-3 175B 大模型的訓(xùn)練中， H200 只比 H100 強(qiáng)了 10% 。
這種操作大概率是有意為之。
之前各個(gè)大廠忙著打造自家的大模型，對(duì) GPU 最大的需求毫無疑問就是訓(xùn)練，所以當(dāng)時(shí)大家的需求是提升訓(xùn)練能力。
如今，隨著 AI 大語言模型不斷落地應(yīng)用，訓(xùn)練模型在廠商眼中可能已經(jīng)是牛夫人了，大家反而全去卷推理速度。
所以這次 H200 很可能是故意忽略 “ 算力 ” 升級(jí)，轉(zhuǎn)而進(jìn)行推理方面的發(fā)力。
不得不說，老黃的刀法依舊精準(zhǔn)。
當(dāng)然了，這也是英偉達(dá)工程師們給老黃擠牙膏的本事，誰讓人家顯卡真就遙遙領(lǐng)先呢。
哪怕只是做了個(gè)小提升， H200 還真就能當(dāng)?shù)闷?nbsp;“ 當(dāng)世最強(qiáng) ” 的名號(hào)。
而且根據(jù)瑞杰金融集團(tuán)估計(jì)， H100 芯片售價(jià)在 2 萬 5 - 4 萬美金之間，那加量后的 H200 只會(huì)比這高。
如今像亞馬遜、谷歌、微軟和甲骨文等大廠的云部門，已經(jīng)付完錢排排站，就等著明年 H200 交貨了。
畢竟，哪家大模型隨便升個(gè)級(jí)不要幾千個(gè) GPU ？
只能說這波老黃又又又賺麻了。
但問題就是，加價(jià)對(duì)于 AI 芯片永遠(yuǎn)不是問題。
今年初創(chuàng)公司、大廠、政府機(jī)構(gòu)等等為了搶一張 H100 擠破腦袋的樣子還在上演，所以明年H200 的銷量根本不用愁。
“ 是人是狗都在買顯卡 ” ，去年說完這句話的馬斯克也不得不轉(zhuǎn)頭就加入 “ 搶卡大軍 ” 。
更夸張的是，英偉達(dá)方面還說了，推出 H200 不會(huì)影響 H100 的擴(kuò)產(chǎn)計(jì)劃。
也就是明年英偉達(dá)還是打算賣 200 萬顆 H100 芯片，也能側(cè)面看出， AI 芯片是多么不愁賣。
但面對(duì)全球嗷嗷待哺的市場，英偉達(dá)其實(shí)也有點(diǎn)力不從心。
像 OpenAI 作為打響 AI 革命第一槍的人，結(jié)果因?yàn)闆]有足夠的 GPU 痛苦得不行。
比如因?yàn)樗懔Σ粔蛴茫约?GPT 們被各種吐槽 API 又卡又慢；
因?yàn)樗懔Σ粔蛴茫?GPT 更強(qiáng)的上下文能力始終沒法全員推廣；
因?yàn)樗懔Σ粔蛴茫?GPT 們沒法賣給客戶更多專有定制模型。
光連 OpenAI 創(chuàng)始人奧特曼，就已經(jīng)出來好幾次炮轟過算力短缺。
而為了解決這個(gè)問題， OpenAI 也想了不少辦法。
比如自研 AI 芯片、與英偉達(dá)等制造商展開更緊密合作、實(shí)現(xiàn)供應(yīng)商多元化等等。
上個(gè)月初就有消息說 OpenAI 已經(jīng)在找收購目標(biāo)了。
更進(jìn)一步的是特斯拉，他們就在 7 月推出了由定制 AI 芯片 D1 打造的 Dojo 超級(jí)計(jì)算機(jī)，用來訓(xùn)練自動(dòng)駕駛系統(tǒng)。
當(dāng)時(shí)摩根士丹利直接吹了一篇研報(bào)說：特斯拉這波下來，比用英偉達(dá)的 A100 足足省下了 65 億美元。
當(dāng)然，這也不是說馬斯克的這個(gè)自研的 AI 芯片就比 A100 強(qiáng)了。
而只是因?yàn)樽匝行酒恍枰勺约业幕睿献约盒枰⒁矝]有算力浪費(fèi)。
就好比英偉達(dá)的芯片是一鍋大雜燴，誰來了吃都能吃飽飽；而自研芯片雖然只是小碗菜，但它可以按照個(gè)人口味做，雖然做得少、但更合胃口。
其他大廠也沒閑著，比如微軟要自研 “ 雅典娜 ” 、谷歌在年初就在自研芯片上取得突破進(jìn)展。
但就像我們前面說的，這次 H200 其實(shí)只是一個(gè) “ 中期改款 ” ，還不足以打消其他廠商們的小心思。
按照英偉達(dá)自己放出的消息，大的還是明年會(huì)來的 B100 ，從圖里看它至少是有指數(shù)級(jí)的提升。
所以，大家伙忙活半天，在硬實(shí)力面前，黃老爺?shù)奈恢每峙逻€是會(huì)越來越穩(wěn)。
你看像是即使強(qiáng)如 Meta 早在 2021 年就意識(shí)到，自己怎么干都比不上英偉達(dá)的GPU 性能，轉(zhuǎn)頭就從老黃那下了幾十億訂單（ Meta 最近好像又有點(diǎn)自研的心思了 ）。
還記得老黃剛宣布英偉達(dá)是 “ AI 時(shí)代的臺(tái)積電 ” 的時(shí)候，有不少人冷嘲熱諷。
結(jié)果現(xiàn)在才發(fā)現(xiàn)，這句話居然是老黃的謙辭。
畢竟 2022 年臺(tái)積電 “ 只 ” 占了全球晶圓代工產(chǎn)能的 60% ，而英偉達(dá)如今已經(jīng)占據(jù)了可用于機(jī)器學(xué)習(xí)的圖形處理器市場 80% 以上的份額。
總感覺，等老黃的大招真來了，這些大廠們的芯片自研項(xiàng)目恐怕又得死一片吧。
總結(jié)
以上是生活随笔為你收集整理的NVIDIA拿出世界第一GPU ：大厂们的自研梦 碎了的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 新疆陆军和青海武警哪个兵种好？
- 下一篇： 注意！家里有这种虫子窝 千万不要轻易捣碎