今年2月，由光環新網運營的 AWS 中國（北京）區域和由西云數據運營的 AWS 中國（寧夏）區域發布新的實例類型，新的實例類型包括 C5、C5d、R5、R5d。除了這四種之外，在AWS國外部分區域還上線了最新的C5n。


這些新實例類型個個都具有鮮明的特征，我簡單整理歸納如下：

C5實例：性價比顯著提升（與 C4 實例相比，C5 實例提供了更高的內存與 vCPU 比率，并且性價比提高了 25%，某些應用程序提高了 50% 以上），更大的實例大小（C5 實例新的更大的實例 c5.18xlarge提供了 72 個 vCPU 和 144 GiB 內存并提供了 25 Gbps 的網絡帶寬）。
C5d實例：基于本地 NVMe 的 SSD 磁盤將被物理連接到主機服務器，提供與C5實例的生命周期相耦合的塊級存儲。c5d.18xlarge 規格的實例支持2塊900GB的NVMe SSD作為本地存儲。
C5n實例：這是C5 系列的最新成員，其c5n.18xlarge規格可提供高達 100Gbps 的網絡吞吐量。
R5實例：其最大實例規格支持96 vCPU、768 GiB內存和25 Gbps 網絡帶寬。
R5d實例：R5d 實例與 R5 實例規格相同，它還包括高達 3.6 TB 的本地 NVMe 存儲。

這些實例類型之所以如此實力超群，我認為主要歸功于兩點：

處理器升級

C5 實例配備 Intel Xeon Platinum 8000 系列 (Skylake-SP) 處理器，它發布于2017/Q3，具有高達 3.4GHz 的穩定全核 Turbo CPU 時鐘速度，并使用 Intel Turbo Boost Technology 來允許單個核心睿頻高達3.5GHz。C5 實例為新的 Intel 高級矢量擴展 512 (AVX-512) 指令集提供了支持，與上一代 C4 實例相比，矢量和浮點計算性能提高最高可達2倍。
而發布于2015年的C4 實例類型，配備Intel Xeon E5-2666 v3 (Haswell)處理器。其時鐘頻率為2.9 GHz，配合Intel®Turbo Boost后最高可達3.5 GHz。

采用了AWS Nitro 虛擬化平臺

AWS Nitro 將是這篇文章的主角。本文會從它的發展歷程、架構、所創造的價值等方面進行分析和介紹，試圖總結出AWS上虛擬化基礎平臺發展的脈絡。

AWS EC2虛擬化發展歷程

下表總結了AWS曾經采用的虛擬化技術，以及這些技術之間的性能對比：

#1是全模擬技術。這種虛擬化方式能支持未修改的客戶機操作系統，但速度會嚴重下降。典型產品是VMware 在1986年發布的虛擬化產品。AWS 并沒有采用這種虛擬化技術，放在表格中只是為了做對比用。
#2 是基于Xen的半虛擬化技術（Paravirtualization，PV）。PV 要求修改客戶機內核和驅動。EC2第一個采用半虛擬化的實例類型是 m1.small。
#3 到 #6 是基于Xen和CPU硬件的全虛擬化技術（Hardware-assisted virtualization，HVM）。采用Xen HVM 技術的虛擬機運行在具有CPU和內存（VT-x）硬件虛擬化能力的處理器上，并使用半虛擬化驅動程序用于網絡和存儲設備。HVM 3.0 中尚未實現中斷和定時器半虛擬化，但在4.0中已有改善。
#7 和 #8 則是AWS Nitro技術，這是AWS 研發的一種新虛擬化平臺。后面會有詳細介紹。

過去幾年中，Xen是AWS上虛擬化技術的主體，業已成為業界標準之一，已經非常成熟。那么，為什么AWS要從Xen 向 Nitro 發展呢？這得從Xen 的架構說起。

從上圖可以看出，Xen 實現了虛擬機的CPU 和內存虛擬化，但是虛擬機的I/O 訪問，包括網絡和存儲等，都是通過虛擬機中的前端模塊和 dom0 中的后端模塊通信，然后由dom0 中的后端模塊通過設備驅動實現的。這I/O路徑太長，這降低了I/O性能，而且dom0還會和業務虛擬機搶占宿主機資源，很難實現管理虛機和業務虛機之間的平衡，以及避免抖動。

2013年，AWS 采用 Xen PV虛擬化技術的cr1.8xlarge 實例的架構如下圖所示：

這是嚴格意義上未采用Nitro技術的最后一個EC2型號。簡要說明：

圖中的硬件（Hardware），是運行虛擬機的物理服務器，采用了當時很強大的標準的10Gbps網卡，以及管理一些本地磁盤的存儲HBA卡。Hardware上既運行用戶的業務虛擬機，還運行Xen的dom0虛擬機。
VMM采用Xen項目的PV模式。
圖中 Amzon Linux 代表Xen dom0，它負責訪問硬件，向虛擬機提供I/O 能力。

圖中 cr1.8xlarge 代表一個這種規格的虛擬機，它的本地存儲、EBS卷和VPC網絡訪問都是通過Xen管理的dom0 虛擬機實現的。

Nitro起源和發展

針對傳統虛擬化架構存在的問題，從2012年開始，AWS EC2虛擬化團隊就開始思考以下問題：

能做出比純軟件架構更好的hypervisor嗎？
設備模型本身很復雜，而且它會和業務虛擬機競爭CPU和系統資源，同時技術上它很難避免抖動發生
hypervisor太重了，能將hypervisor 和它周邊的組件解耦嗎？

從成立之日起，AWS就善于聽取客戶的呼聲和建議，并不斷進行迭代式改進，而不是大刀闊斧地從頭設計一個新架構。根據該原則，AWS團隊首先從最難的網絡部分著手，其位置就是上圖中的金黃色虛線框所示位置。從2013年開始，一些EC2實例類型開始支持網絡接口的硬件虛擬化：單根I/O虛擬化（SR-IOV），而第一個是2013年1月發布的C3，它首次采用了AWS增強型網絡（enhanced networking）。這最初是通過ixgbe驅動程序實現的，速度高達10 Gbps。

c3.8xlarge的架構如下圖所示：

c3.8xlarge的架構與cr1.8xlarge相比，在宿主機上增加了一塊新網卡，這塊網卡和原有的標準網絡通過一個回環線（loopback cable）連接起來。虛機VPC網絡功能不再通過Xen 的dom0 實現，而是直接訪問宿主機上的這塊硬件網卡。C3 是AWS EC2 歷史上增長最快的幾個實例類型之一，它尤其以控制性能抖動和持續的網絡性能著稱。這可以看做Nitro思想的發源，那就是將軟件功能卸載到專有硬件上。

下一個改進方向是EBS存儲訪問性能提升。

2015年，AWS推出了C4實例類型，它針對EBS卷使用了硬件虛擬化技術。c4.8xlarge的架構如下圖所示。仔細對比能發現，這個新架構與C3中的網絡架構改進有些不同。在虛擬機中，還保留了“前端-后端”這種Xen傳統架構，這是當時為了兼容性和穩妥新考慮，因為NVMe在當時來說還是一種非常新的技術。在宿主機上，采用了新收購的Annapurna Labs公司開發一種卡(下圖中黃色虛線框內)，它能將遠端存儲以NMVe形式呈現給虛擬機。

這個改進的結果是，宿主機上的CPU被Xen占用得少了，能更多地被虛機使用了。

2016年5月發布的X1 是第一個支持ENA的實例類型。ENA是增強型網絡的最新實現，速度高達25 Gbps。ENA，全稱是Elastic Network Adapter，它正是Nitro項目的一部分，它是由Annapurna Labs公司開發的。

現在的ENA，能用于虛擬機和物理機，它以開源項目形式發布在github上。ENA 是AWS網絡虛擬化一關鍵技術，它使得虛擬機能夠繞過內核和用戶空間網絡處理程序，直接操作網卡硬件，這顯著提升了網絡效率。

從用戶使用角度，也許只是用了一個新網卡驅動。但是其底層采用了Annapurna Labs公司開發的定制網絡ASIC硬件卡。這是Nitro第一款真正的專用硬件卡。它不僅卸載了VPC網絡功能，還卸載了EBS 存儲網絡功能。因此這是一種完全的網絡負載卸載硬件。

下一步的優化方向在實例存儲上。2017年，AWS發布了存儲優化實例類型i3，它使用了SR-IOV和NVMe存儲驅動。這是AWS首次采用Annapurna Labs研發的Nitro存儲卡40202所管理的SSD磁盤，這些磁盤被直接映射給虛擬機，虛擬機通過NVME驅動來使用宿主機上的SSD磁盤。這能實現磁盤300萬以上的IOPS性能。Nitro 芯片負責包括磁盤監控、加密、QoS等職責。

顯然，到這時候為止，仍然剩下的問題只能是Xen 自身，以及它的管理功能部分了。Xen過于笨重，因為作為傳統 Hypervisor，它必須做很多事情 - 它必須保護物理硬件和 BIOS，它必須虛擬化 CPU，虛擬化存儲，虛擬化網絡，并提供豐富的管理功能。其管理性dom0虛擬機會搶占業務虛機的系統資源。那到底能不能把Xen徹底替換掉呢？答案是肯定的，因為AWS在技術上從來沒讓人失望過。

2017年11月，AWS發布了C5 實例類型。它使用基于KVM的Nitro hypervisor 替換了Xen，hypervisor 軟件大大被簡化，Xen 所用的 dom0 也不需要了。其架構示意圖如下：

AWS Nitro 則重新構建了EC2虛擬化基礎架構。Nitro 系統將存儲、網絡和安全功能卸載（offload）到專用的硬件（Nitro卡）上，帶來的好處是虛擬化實例幾乎可以為客戶機操作系統提供主機的所有 CPU 和內存，同時Hypervisor 的功能也因此大大減弱。

Nitro 還被用到2017年發布的AWS 首個物理機實例類型 i3.metal中。下圖是i3.metal架構示意圖：

在i3.metal 中，Nitro 發揮了基礎性作用。它的安全芯片通過提供硬件保護和固件驗證功能為I3實例提供安全保障；它的各種卡，使得I3實例具備基于非易失性存儲器標準 (NVMe) SSD 的實例存儲，通過ENA支持高達 25Gbps 的聚合網絡帶寬。

Nitro 架構

AWS Nitro 系統是模塊化組件的集合，可以使用廣泛的計算、存儲、內存和網絡選項來設計 EC2 實例，為新一代EC2實例提供動力。它包括三大部分：

Nitro 卡

這些Nitro 卡是硬件，插入到宿主機的PCIe卡槽中，采用SR-IOV 直通（passthrough）技術將這些卡呈現給實例。包括：

VPC Data Plane（用于VPC訪問的Nitro卡）：本質上是一塊通過PCIe附加到宿主機上的一塊定制網卡，支持網絡封包和解包、安全組、限速器和路由等功能。實例通過ENA驅動和它通信。同時，該卡還帶有一些網絡加速功能。以限速器為例，每個Nitro支持的實例，不管它在哪個區域哪個數據中心哪個宿主機上，都會有一致的性能，這對分布式應用非常重要。
EBS Data Plane（用于EBS卷訪問的Nitro卡）：本質上是一塊通過PCIe附加到宿主機上的一塊定制卡。通過該卡，遠端存儲被以NVMe設備形式展現給實例，實例通過標準NVMe驅動程序訪問該卡。它首次被用在C4中。支持卷加密、存儲加速；支持I3裸機實例。
Instance Storage Data Plane（用于實例存儲訪問的Nitro卡）：通過該卡，本地磁盤被以NVMe設備形式展現給實例，實例通過標準NVMe驅動程序訪問這些磁盤。支持加密、限速器和本地磁盤監控。

除了卡之外，Nitro 還提供卡控制器（Card Controller）。它提供API端點，負責協調所有Nitro卡、Nitro Hypervisor和Nitro安全芯片。它還利用Nitro安全芯片實現了Hardware Root Of Trust（硬件信任根），支持實例監控、計量和認證。它還為Nitro EBS卡實現了NVMe控制器。

Nitro 安全芯片

Nitro安全芯片整合到宿主機主板中，控制對所有非易失性存儲的訪問，持續監控和保護硬件資源，并在每次系統啟動時獨立驗證固件。

Nitro hypervisor

Nitro hypervisor位于極簡化的定制的Linux 內核中，基于KVM，帶有定制的VMM和小用戶空間應用。它只負責管理內存和CPU分配，將Nitro卡虛擬功能分配給實例，監控和計量硬件等，不再需要提供任何網絡功能。因此它只需執行虛擬機所需指令，快速而且簡單，在大多數工作負載中能提供接近裸機的性能。

Nitro 各組件之間的關系如下圖所示:

Nitro 帶來的豐富價值

更高網絡訪問性能

利用Nitro提供的新一代 Elastic Network Adapter (ENA) 和 NVM Express (NVMe) 技術，C5 實例提供了高達 25 Gbps 的網絡帶寬和更低延遲及抖動。2018年發布的更強大變體 C5n 實例，支持網絡帶寬高達 100 Gbps，用戶的仿真、內存緩存、數據湖以及其他通訊密集型應用運行得將比以往更好。

采用Nitro增強網絡功能后的網絡延遲對比：

（Series 1：cc2.8xlarge，2：c3.8xlarge，3：c4.8xlarge，4：c5.18xlarge，5：c5.18xlarge（采用ENAv2））

網絡和存儲帶寬對比:

(1:c3.8xlarge,2:c4.8xlarge,3:c5.18xlarge,4:c5n.18xlarge. Series1:網絡，Series2：存儲)

更高EBS和本地存儲訪問性能

Nitro 使得實例可通過物理方式連接到主機服務器的基于 NVMe 的本地 SSD 塊級存儲，以及將遠端存儲以NVMe設備的形式呈現給實例。

2019年3月，由Nitro支撐的新計算密集型 C5 和 C5d 實例已經在AWS 北京和寧夏區域推出。C5實例支持高達9Gbps 的專用 Amazon EBS 帶寬。而 C5d 最大實例規格則可使用兩塊900G的NVMe SSD。這些實例非常適合需要訪問高速、低延遲的本地存儲的應用程序。

更大實例大小和CPU內存比率

由Nitro支撐的C5實例，其實例的CPU和內存比率，由C4的1：1.875上升到1：2；實例的最大規格，從C4的36vCPU/60Gib內存，上升到72vCPU/144Gib內存。

更低虛擬化花銷

Nitro Hypervisor 是一款輕薄的靜態的虛擬機管理程序，可管理虛擬機的內存和CPU分配，并提供與大多數工作負載無法區分的性能。據Netflix公司Brendan Gregg 觀察，Nitro Hypervisor的性能損耗非常小，通常不到1％，他的結論是 Nitro提供的虛擬化性能接近裸設備。

更低Hypervisor抖動

有了Nitro后，就不再需要為存儲和網絡I/O再預留CPU和內存資源了。這不僅使得可以向EC2實例分配更多資源，為更大的實例規格提供了可能，還為實現一個簡單的輕量的hypervisor提供了可能，而這就為實現更低hypervisor抖動創造了條件。

下圖是一AWS 客戶在三種EC2實例上采用對延遲要求極低的一實時應用做的對比測試。藍色是C5，紅色是i3.metal，黃色是C4。SLA 是用于測試的實時應用所能忍受的最高延遲。

從上圖中的測試結果看，C5 相對裸機只有一點極小的附加開銷，而且性能非常平穩，幾乎沒有波動，能完全滿足應用的SLA需求。而C4則有相對較大的波動，只能大概滿足70的SLA。

更多實例類型

AWS發布了基于Nitro的實例存儲實例類型 C5d，M5d 和 R5d，提供低延遲高吞吐的基于NVMe的實例存儲。

AWS在2017 re：Invent上宣布了基于Nitro的AWS EC2 Bare Metal實例 I3.metal。它沒有性能開銷，能夠運行你喜歡的任何東西，比如Xen，KVM，容器，ESXi，FireCracker微虛機等；支持非虛擬化環境，支持容器環境，同時還能繼續使用比如EBS、ELB和VPC等基礎服務；支持比如SAP HANA和其它內存型應用。

AWS還基于Nitro發布了采用AMD EPYC處理器的系列實例R5，M5和T3，最高可降低10%成本。
AWS發布了基于Nitro的具有100Gbps網絡帶寬的實例類型C5n，這是運行HPC和分布式機器學習負載的理想類型。
AWS發布了基于Nitro的采用AWS Graviton（基于ARM）處理器的實例類型A1，最高可降低45%成本。

更低價格、更高性價比

下表顯示了AWS 北京（BJS）和中衛（ZHY）區域的4代和5代EC2實例的價格比較，你可以看到實實在在的價格下降：

目前，Nitro支撐的C5 實例提供了 EC2 產品系列中最佳的價格/計算性能比。與C4實例相比，其性價比提高了49% 。

與R4實例相比，由Nitro支撐的R5實例為每個vCPU提供額外5%的內存，且每 GiB 價格低50%。R5實例非常適用于高性能數據庫、分布式內存緩存、內存數據庫和大數據分析等應用程序。

為更多性能優化提供了可能

對于需要深度定制化EC2 的用戶而言，Nitro 還帶了了另外的好處：對于EC2 更深入的監控和優化。在由Nitro支撐的C5實例中，你可以得到數百個PMC 計數器（Performance Monitoring Counters ，性能監控計數器）。作為對比，以前的實例類型中，你只能看到區區7個PMCs。更多的PMC計數器，為性能優化提供了更多可能。

小結

亞馬遜 AWS CTO 沃納·威格爾（Werner Vogels）曾經說過，“在亞馬遜 AWS，我們90%到95%的新項目都是基于客戶給我們的反饋，剩下5%也是從客戶角度出發所做得創新嘗試。”而Nitro 正是這種項目之一，它誕生于2013年，成年于2017年，現在還在不斷成長中。Nitro 正在作為AWS核心虛擬化架構平臺，推動著AWS最核心的EC2產品家族不斷往更大（單實例的vCPU和內存更大）、更快（I/O速度更快）、更安全（采用Nitro安全芯片）、更穩定（Hypervisor抖動更低）、更多類型、更高性價比方向演進，支撐越來越多用戶越來越多的業務場景，創造著越來越大的業務價值。

主要參考文檔：

AWS re:Invent 2018: Powering Next-Gen EC2 Instances: Deep Dive into the Nitro System (CMP303-R1)
AWS re:Invent 2017: C5 Instances and the Evolution of Amazon EC2 Virtualization (CMP332)
AWS re:Invent 2018: Deep Dive on Amazon EC2 Instances & Performance Optimization Best Practices （CMP307）
AWS re:Invent 2018:Optimizing Network Performance for Amazon EC2 Instances (CMP308-R1)

感謝您的閱讀，歡迎關注我的微信公眾號：

總結

以上是生活随笔為你收集整理的Amzaon EC2虚拟化技术演进：从 Xen 到 Nitro的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。