隨著 NVIDIA GPU 計(jì)算性能的不斷提升，如何提升 GPU 利用率是開(kāi)發(fā)者普遍關(guān)心的問(wèn)題之一。從 Kepler 架構(gòu)開(kāi)始，NVIDIA GPU 支持多個(gè) CUDA kernels 函數(shù)的并發(fā)執(zhí)行，稱(chēng)為 Hyper-Q 技術(shù)。Hyper-Q 技術(shù)支持多個(gè) CUDA streams、多個(gè) CPU threads 或者多個(gè) CPU processes 同時(shí)發(fā)射 CUDA kernels 函數(shù)到 GPU 上，在硬件資源允許的情況下，實(shí)現(xiàn)多個(gè) kernels 的并發(fā)執(zhí)行。對(duì)于多個(gè) CPU processes 發(fā)射 kernels 的情況，要想實(shí)現(xiàn)真正的 kernels 并發(fā)，就需要借助 CUDA 中的工具：MPS (Multi-Process Service)。為此，NVIDIA 中國(guó)區(qū) GPU 計(jì)算專(zhuān)家團(tuán)隊(duì)高級(jí)工程師吳磊將帶來(lái)一場(chǎng)線(xiàn)上直播分享，從介紹 CUDA context / Hyper-Q 等背景知識(shí)入手，深入淺出的向大家展示 MPS 技術(shù)的最佳實(shí)踐方法，并以實(shí)際案例向大家說(shuō)明 MPS 能夠帶來(lái)的 GPU 性能提升，同時(shí)讓大家了解一些 MPS 使用過(guò)程中的注意事項(xiàng)。本次直播的預(yù)備知識(shí)為對(duì) GPU 和 CUDA 的基本概念有所了解，例如什么是 GPU 利用率 (Utilization) 和占用率 (Occupancy)，什么是 CUDA kernel 函數(shù)和 stream 異步并發(fā)執(zhí)行等，難度較低，希望能給 GPU 開(kāi)發(fā)者帶來(lái)幫助。本次線(xiàn)上分享詳情如下：

主題：CUDA多進(jìn)程服務(wù)工具：MPS

日期：2019 年 10 月 31 日，星期四

時(shí)間：20:00-21:30?

演講嘉賓

吳磊

NVIDIA中國(guó)區(qū)GPU計(jì)算專(zhuān)家團(tuán)隊(duì)高級(jí)工程師

吳磊先后從事HPC領(lǐng)域基于CUDA的代碼移植和優(yōu)化，人工智能領(lǐng)域深度學(xué)習(xí)模型的訓(xùn)練和推理優(yōu)化。對(duì)GPU體系架構(gòu)，CUDA編程和優(yōu)化，深度學(xué)習(xí)推理加速等技術(shù)有深刻的理解和豐富的工程經(jīng)驗(yàn)。點(diǎn)擊，立即報(bào)名。

Accelerating your future

NVIDIA GPU計(jì)算專(zhuān)家團(tuán)隊(duì)致力于為中國(guó)客戶(hù)提供基于GPU系統(tǒng)的最快解決方案，工作內(nèi)容涉及視頻圖像處理、語(yǔ)音識(shí)別和合成、自然語(yǔ)言處理、推薦系統(tǒng)等各個(gè)方面，通過(guò)代碼優(yōu)化、模型優(yōu)化和Pipeline優(yōu)化，提供端到端的解決方案。本團(tuán)隊(duì)開(kāi)源了若干原型項(xiàng)目，幫助用戶(hù)評(píng)估GPU可以帶來(lái)的業(yè)務(wù)收益，并通過(guò)進(jìn)一步開(kāi)發(fā)集成，利用GPU為用戶(hù)降低成本，提高效率。

總結(jié)

以上是生活随笔為你收集整理的多个cuda 被单进程沾满_报名 | 提高GPU利用率，听英伟达专家分享这个CUDA工具的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。