了解Infiniband和RDMA技術

InfiniBand涉及兩個不同的事物。 第一個是用于InfiniBand網(wǎng)絡的物理鏈路層協(xié)議。 第二個是稱為InfiniBand Verbs API的高級編程API。 InfiniBand動詞API是遠程直接內存訪問（RDMA）技術的實現(xiàn)。

RDMA可以從一臺計算機的內存直接訪問另一臺計算機的內存，而無需涉及任何一臺計算機的操作系統(tǒng)。 該技術可實現(xiàn)高吞吐量，低延遲的網(wǎng)絡，并具有較低的CPU使用率，這在大規(guī)模并行計算機群集中特別有用。

在典型的IP數(shù)據(jù)傳輸中，機器A上的應用程序X向機器B上的應用程序Y發(fā)送一些數(shù)據(jù)。作為傳輸?shù)囊徊糠?#xff0c;機器B上的內核必須首先接收數(shù)據(jù)，對數(shù)據(jù)包頭進行解碼，確定數(shù)據(jù)屬于應用程序Y，喚醒應用程序Y，等待應用程序Y對內核執(zhí)行讀syscall，然后它必須將數(shù)據(jù)從內核自己的內部內存空間手動復制到應用程序Y提供的緩沖區(qū)中。此過程意味著大多數(shù)網(wǎng)絡流量必須至少兩次跨系統(tǒng)主內存總線復制一次（一次是在主機適配器使用DMA將數(shù)據(jù)放入內核提供的內存緩沖區(qū)中，一次是在內核將數(shù)據(jù)移至應用程序的內存緩沖區(qū)中時），這也意味著計算機必須執(zhí)行許多上下文切換，才能在內核上下文和應用程序Y上下文之間進行切換。當網(wǎng)絡流量以很高的速率流動時，這兩種情況都會給系統(tǒng)帶來非常高的CPU負載，并且可能會使其他任務變慢。

RDMA通信與常規(guī)IP通信不同，因為RDMA通信繞過了內核在通信過程中的干預，并且在該過程中大大減少了處理網(wǎng)絡通信通常所需的CPU開銷。 RDMA協(xié)議允許計算機中的主機適配器知道何時有數(shù)據(jù)包從網(wǎng)絡傳入，哪個應用程序應接收該數(shù)據(jù)包，以及它應位于應用程序的內存空間中。 無需將數(shù)據(jù)包發(fā)送到內核進行處理，然后再復制到用戶應用程序的內存中，而是將數(shù)據(jù)包的內容直接放置在應用程序的緩沖區(qū)中，而無需任何進一步的干預。 但是，使用大多數(shù)IP網(wǎng)絡應用程序所基于的標準Berkeley Sockets API無法完成此任務，因此它必須提供自己的API（InfiniBand Verbs API），并且必須先將應用程序移植到此API，然后才能直接使用RDMA技術。

紅帽企業(yè)版Linux 7支持InfiniBand硬件和InfiniBand Verbs API。 此外，還有兩種支持的其他技術，這些技術允許在非InfiniBand硬件上使用InfiniBand Verbs API。

• The Internet Wide Area RDMA Protocol (iWARP)

iWARP是一種計算機網(wǎng)絡協(xié)議，可實現(xiàn)遠程直接內存訪問（RDMA），以通過Internet協(xié)議（IP）網(wǎng)絡進行有效的數(shù)據(jù)傳輸。

• The RDMA over Converged Ethernet (RoCE) protocol, which later renamed to InfiniBand over Ethernet (IBoE).

RoCE是一種網(wǎng)絡協(xié)議，允許通過以太網(wǎng)進行遠程直接內存訪問（RDMA）。

Prerequisites

iWARP和RoCE技術都具有普通IP網(wǎng)絡鏈路層作為其基礎技術，因此，第3章“配置IP網(wǎng)絡”實際上涵蓋了它們的大部分配置。 在大多數(shù)情況下，只要正確配置了它們的IP網(wǎng)絡功能，它們的RDMA功能就會全部自動完成，并且只要安裝了正確的硬件驅動程序，它們就會顯示出來。 Red Hat提供的每個內核始終包含內核驅動程序，但是，如果在計算機安裝時未選擇InfiniBand軟件包組，則必須手動安裝用戶空間驅動程序。

從Red Hat Enterprise Linux 7.4開始，所有RDMA用戶空間驅動程序都合并到rdma-core軟件包中。 要安裝所有受支持的iWARP，RoCE或InfiniBand用戶空間驅動程序，請以root用戶身份輸入：

~]# yum install libibverbs

如果使用優(yōu)先級流控制（PFC）和基于mlx4的卡，則編輯/etc/modprobe.d/mlx4.conf以指示驅動程序為以太網(wǎng)交換機上的“無丟包”服務配置了哪個數(shù)據(jù)包優(yōu)先級。 卡被插入并重建initramfs以包括修改后的文件。 較新的基于mlx5的卡可通過交換機自動協(xié)商PFC設置，不需要任何模塊選項即可將其告知“無掉線”優(yōu)先級。

要將Mellanox卡設置為在以太網(wǎng)模式下使用一個或兩個端口，請參見第13.5.4節(jié)“配置Mellanox卡以進行以太網(wǎng)操作”。

安裝了這些驅動程序包（除了通常為所有InfiniBand安裝安裝的普通RDMA包之外），用戶應該能夠使用大多數(shù)普通RDMA應用程序來測試并查看適配器上發(fā)生的RDMA協(xié)議通信。 但是，并非Red Hat Enterprise Linux 7中包含的所有程序都正確支持iWARP或RoCE / IBoE設備。 這是因為，特別是在iWARP上的連接建立協(xié)議不同于在實際InfiniBand鏈路層連接上的連接建立協(xié)議。 如果有問題的程序使用librdmacm連接管理庫，則它將以靜默方式處理iWARP和InfiniBand之間的差異，并且該程序應該可以運行。 如果應用程序嘗試執(zhí)行自己的連接管理，則它必須專門支持iWARP，否則它將無法正常工作。

總結

以上是生活随笔為你收集整理的了解Infiniband和RDMA技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。