【CSDN 編者按】逍遙子曾說(shuō)，對(duì)阿里人來(lái)說(shuō)「打仗是最好的團(tuán)建，參加過(guò)雙 11 的叫戰(zhàn)友」，同樣，參加過(guò)多次雙 11 考驗(yàn)的系統(tǒng)技術(shù)都會(huì)成為真正意義上的基礎(chǔ)設(shè)施，阿里云飛天系統(tǒng)的云網(wǎng)絡(luò)平臺(tái)洛神就是如此。

本文作者 —— 阿里云智能事業(yè)群研究員、網(wǎng)絡(luò)產(chǎn)品線負(fù)責(zé)人祝順民（花名江鶴）老師就是洛神背后的核心鑄造者。在「CSDN 在線峰會(huì) —— 阿里云核心技術(shù)競(jìng)爭(zhēng)力」上，江鶴老師為我們?cè)敿?xì)分享洛神網(wǎng)絡(luò)的 10 年演進(jìn)之路。

復(fù)制鏈接或點(diǎn)擊「閱讀原文」可免費(fèi)觀看江鶴老師分享視頻：

https://edu.csdn.net/course/play/28249/388353

作者 | 祝順民（江鶴），阿里云研究員

責(zé)編 | 唐小引

頭圖 | CSDN 下載自東方 IC

出品 | CSDN（ID：CSDNnews）

今天的主題是《云網(wǎng)絡(luò)技術(shù)架構(gòu)的演進(jìn)之路》，主要介紹阿里云網(wǎng)絡(luò)產(chǎn)品從無(wú)到規(guī)模應(yīng)用的 10 年過(guò)程中，云網(wǎng)絡(luò)技術(shù)平臺(tái)洛神是怎么發(fā)展的。?

阿里云飛天洛神云網(wǎng)絡(luò)平臺(tái)

阿里云系統(tǒng)叫飛天，云網(wǎng)絡(luò)平臺(tái)稱為洛神，洛神和飛天系統(tǒng)的關(guān)系如下圖所示，洛神云網(wǎng)絡(luò)平臺(tái)是阿里云飛天操作系統(tǒng)內(nèi)核的核心組件和系統(tǒng)服務(wù)，伴隨著飛天系統(tǒng)一起誕生、成長(zhǎng)。

圖 1 阿里云網(wǎng)絡(luò)洛神平臺(tái)與飛天操作系統(tǒng)

整個(gè)飛天系統(tǒng)架構(gòu)分為幾個(gè)層次，底層數(shù)據(jù)中心基礎(chǔ)設(shè)施，包含物理資源、機(jī)房、服務(wù)器，還有多地域和可用區(qū)（AZ）、物理網(wǎng)絡(luò)等；其上是飛天操作系統(tǒng)的核心，支撐了整個(gè)云計(jì)算的虛擬化，包括計(jì)算平臺(tái)神龍，存儲(chǔ)平臺(tái)盤古，以及網(wǎng)絡(luò)平臺(tái)洛神；基于系統(tǒng)核心組件，構(gòu)建了面向用戶的系統(tǒng)服務(wù)以及原生服務(wù)，支撐不同行業(yè)客戶在阿里云上構(gòu)建自己的應(yīng)用系統(tǒng)。

飛天洛神平臺(tái)的誕生

洛神伴隨飛天系統(tǒng)誕生，是云計(jì)算產(chǎn)業(yè)發(fā)展的結(jié)果，云計(jì)算首先是計(jì)算虛擬化，并提供給不同的用戶使用，當(dāng)用戶在云上使用計(jì)算資源時(shí)，網(wǎng)絡(luò)地址獨(dú)立規(guī)劃，不同用戶地址可以相同，且虛擬機(jī)可以在不同機(jī)房之間遷移，地址保持不變，同時(shí)云計(jì)算是一個(gè)基礎(chǔ)設(shè)施，支持海量用戶同時(shí)使用，這些關(guān)鍵需求要求提供一個(gè)超大規(guī)模的虛擬化大二層的網(wǎng)絡(luò)。

圖 2 云計(jì)算租戶網(wǎng)絡(luò)應(yīng)用需求

這些需求，使用傳統(tǒng)商用物理交換機(jī)和路由器構(gòu)建的網(wǎng)絡(luò)，無(wú)法滿足云計(jì)算的需求，也滿足不了阿里云運(yùn)營(yíng)這張網(wǎng)絡(luò)的需求，主要原因在于：

1）在百萬(wàn)級(jí)別的租戶之下，如果每個(gè)租戶都給到一張獨(dú)立的地址空間，地址空間的數(shù)量非常龐大，傳統(tǒng)交換機(jī)里面使用 VRF 來(lái)隔離租戶之間的空間，意味著交換機(jī)要支持海量的 VRF 資源，這是目前硬件能力無(wú)法支持的。

2）服務(wù)器和虛擬機(jī)的數(shù)量增長(zhǎng)，網(wǎng)絡(luò)節(jié)點(diǎn)以及路由表的規(guī)模快速增大，虛擬機(jī)通訊和遷移要求路由表能快速同步。

3）當(dāng)用戶對(duì)云上網(wǎng)絡(luò)層面的功能需求越來(lái)越多的時(shí)候，比如說(shuō)用戶在云上不僅希望有個(gè)虛擬機(jī)，還可以有個(gè)公網(wǎng) IP；比如說(shuō)用戶可以自行定義這張網(wǎng)絡(luò) IP、路由和安全組。另外隨著 NFV 技術(shù)發(fā)展，用戶希望在云上運(yùn)行虛擬化業(yè)務(wù)網(wǎng)元，例如負(fù)載均衡、NAT 網(wǎng)關(guān)、VPN 網(wǎng)絡(luò)，要求對(duì)應(yīng)的底層網(wǎng)絡(luò)能快速進(jìn)行功能迭代，以滿足新需求和新技術(shù)的快速應(yīng)用。

4）更關(guān)鍵的是，傳統(tǒng)物理交換機(jī)是一個(gè)黑盒，各個(gè)廠商實(shí)現(xiàn)各異，接口各不一樣，同時(shí)不支持設(shè)備內(nèi)功能定制開發(fā)，讓設(shè)備的運(yùn)維成為一個(gè)難題。

圖 3 傳統(tǒng)網(wǎng)絡(luò)設(shè)備應(yīng)對(duì)云計(jì)算的約束

所以阿里云網(wǎng)絡(luò)選擇了一條自研的路，使用三大技術(shù)滿足云計(jì)算的需求：

1）虛擬化網(wǎng)絡(luò)；?

2）SDN 技術(shù)，軟件來(lái)定義網(wǎng)絡(luò)；

3）整個(gè)技術(shù)棧自研。

阿里云網(wǎng)絡(luò)洛神平臺(tái)就此誕生。

圖 4 洛神網(wǎng)絡(luò) 10 年演進(jìn)

洛神云網(wǎng)絡(luò)平臺(tái)隨著阿里云飛天系統(tǒng)一起，已經(jīng)經(jīng)歷了 10 年演進(jìn)，分為兩個(gè)階段，洛神 1.0 時(shí)代，主要定位為支撐超大規(guī)模和多租戶的網(wǎng)絡(luò)。

隨著阿里云的業(yè)務(wù)快速發(fā)展，尤其近幾年規(guī)模增長(zhǎng)特別快，2018 年開始推出洛神 2.0，洛神 2.0 的特點(diǎn)主要在高性能、彈性開放能力。

現(xiàn)在阿里云上運(yùn)行著很多超級(jí)規(guī)模的用戶，比如阿里巴巴集團(tuán)的淘寶業(yè)務(wù)，這些超大規(guī)模用戶對(duì)網(wǎng)絡(luò)的性能提出了很高的要求，特別是在例如雙 11 這種大型活動(dòng)期間，網(wǎng)絡(luò)流量的峰值是十分巨大的，這對(duì)網(wǎng)絡(luò)的性能提出了非常高的要求。

同時(shí)阿里云提供了豐富的基礎(chǔ) IaaS、 PaaS 產(chǎn)品與服務(wù)，第三方的生態(tài)伙伴可以在阿里云上提供眾多的 SaaS 服務(wù)，包括網(wǎng)絡(luò)類的 SaaS 服務(wù)，例如網(wǎng)絡(luò)管理類、網(wǎng)絡(luò)數(shù)據(jù)分析類、網(wǎng)絡(luò)日志管理類、網(wǎng)絡(luò)轉(zhuǎn)發(fā)類的軟件。這些軟件在阿里云上很好的運(yùn)行，需要網(wǎng)絡(luò)提供彈性，開放的能力，就是洛神 2.0 的定位。?

飛天洛神 1.0：超大規(guī)模、多租戶網(wǎng)絡(luò)

洛神 1.0 平臺(tái)由很多網(wǎng)絡(luò)組件組成，架構(gòu)上主要分成兩類：AVS（Apsara vSwitch）和各種網(wǎng)關(guān)網(wǎng)元。AVS 是部署在每個(gè)物理服務(wù)器上的軟件網(wǎng)元。最早基于 XEN 的 Kernel 架構(gòu)實(shí)現(xiàn)，轉(zhuǎn)發(fā)性能不高，單機(jī)只有 15 萬(wàn) PPS。隨后演進(jìn)到了 KVM 的架構(gòu)，在這個(gè)架構(gòu)下，vSwitch 還是在 Kernel 的，但已能提供單機(jī) 120 萬(wàn) PPS 性能。然后在 Intel 推出 DPDK 版本后，AVS 進(jìn)行了架構(gòu)升級(jí)，使用用戶態(tài) DPDK，轉(zhuǎn)發(fā)性能提升至 600 萬(wàn) PPS。

AVS 的演進(jìn)，是為了追求網(wǎng)絡(luò)性能大幅提升的過(guò)程，是阿里云網(wǎng)絡(luò)持續(xù)迭代和改造網(wǎng)絡(luò)軟件架構(gòu)的原動(dòng)力。

關(guān)于業(yè)務(wù)網(wǎng)關(guān)，最早也是基于 Kernel 網(wǎng)絡(luò)協(xié)議開發(fā)。例如 Load Balance 設(shè)備，第一代也是基于 Kernel 開發(fā)，當(dāng)時(shí)整臺(tái)物理機(jī)性能大約只有 300 萬(wàn) PPS。為了追求更高的性能，這些網(wǎng)元基于 DPDK 進(jìn)行了重新構(gòu)建，既包括公網(wǎng)網(wǎng)關(guān)、私網(wǎng)網(wǎng)關(guān)，還有 SLB、NAT 網(wǎng)關(guān)、VPN 網(wǎng)關(guān)等等，轉(zhuǎn)發(fā)性能提升了 20 倍。

洛神 1.0，基于 DPDK 的 AVS 和各種網(wǎng)關(guān)，最終搭建出一張支持超大規(guī)模租戶、超大規(guī)模虛擬機(jī)的網(wǎng)絡(luò)。?

圖 5 洛神 1.0 支持超大規(guī)模租戶網(wǎng)絡(luò)

如圖所示，在這張超大規(guī)模的租戶網(wǎng)絡(luò)里面，我們達(dá)到的核心能力包含：

1）多租戶隔離，每個(gè)區(qū)域可以支持百萬(wàn)規(guī)模的 VPC。如果說(shuō)一個(gè)租戶對(duì)應(yīng)一個(gè) VPC，一個(gè)區(qū)域就可以支持百萬(wàn)規(guī)模的租戶；

2）單個(gè) VPC 支持超大規(guī)模虛擬實(shí)例，目前有一些超大規(guī)模的 VPC 中實(shí)際部署并運(yùn)行了超過(guò) 30 萬(wàn)的 ECS，也就意味著此租戶的這張網(wǎng)絡(luò)里面有 30 萬(wàn)個(gè)以上的 IP， ECS 之間的通訊，包括東西和南北向的流量，都能很好的在虛擬網(wǎng)絡(luò)里面運(yùn)行。

3）最后就是基于 AVS 能力，單個(gè) ECS 能夠提供百萬(wàn)級(jí) PPS 能力的轉(zhuǎn)發(fā)性能。

飛天洛神 2.0：連接全球，高性能，彈性開放網(wǎng)絡(luò)

洛神 1.0 支撐了阿里云網(wǎng)絡(luò)從無(wú)到有，至規(guī)模應(yīng)用，隨著阿里云的業(yè)務(wù)不斷增長(zhǎng)，租戶越來(lái)越多，也帶來(lái)了越來(lái)越多的 VPC。租戶購(gòu)買的虛擬機(jī)越來(lái)越多，也代表著網(wǎng)絡(luò)里的節(jié)點(diǎn)越來(lái)越多，轉(zhuǎn)發(fā)性能要求越來(lái)越高。此外，也有越來(lái)越多的租戶在云上不但僅僅滿足簡(jiǎn)單的連通性要求，提出了豐富的業(yè)務(wù)網(wǎng)元處理訴求。例如用戶原來(lái)在自己的數(shù)據(jù)中心里面構(gòu)建了防火墻和 NAT，或者自己買了一些 Load balancer 的設(shè)備，現(xiàn)在業(yè)務(wù)系統(tǒng)搬到阿里云上之后，希望原來(lái)的網(wǎng)絡(luò)功能繼續(xù)在阿里云使用。

在此背景下，洛神平臺(tái)升級(jí)到 2.0。如圖所示，洛神 2.0 提供了更加豐富的轉(zhuǎn)發(fā)網(wǎng)元，既有神龍 MOC 卡，還有專用可編程芯片以及通用 ECS；同時(shí)洛神 2.0 新構(gòu)建了一個(gè) NFV 平臺(tái)，支持業(yè)務(wù)網(wǎng)元不再依賴傳統(tǒng) X86 服務(wù)器，直接基于 NFV 平臺(tái)構(gòu)建，例如 NAT、SLB、VPN 產(chǎn)品，同時(shí) NFV 平臺(tái)支持開放能力，第三方的網(wǎng)元也可以基于 NFV 平臺(tái)部署，通過(guò) VPC 內(nèi)和 VPC 間的訪問。?

圖 6 洛神 2.0 架構(gòu)圖

洛神 2.0 的基礎(chǔ)是阿里云遍布全球的網(wǎng)絡(luò)基礎(chǔ)設(shè)施和 Region 數(shù)據(jù)中心的基礎(chǔ)設(shè)施。目前在全球有 20 個(gè) Region、61 個(gè)可用區(qū)，100 多個(gè) POP 節(jié)點(diǎn)。當(dāng)國(guó)內(nèi)用戶需要出海或者國(guó)外的用戶需要進(jìn)中國(guó)的時(shí)候，不再需要自己購(gòu)買很多物理形態(tài)的設(shè)備和網(wǎng)絡(luò)連接，并花很長(zhǎng)的時(shí)間搭建出網(wǎng)絡(luò)基礎(chǔ)設(shè)施。基于洛神 2.0，阿里云的網(wǎng)絡(luò)產(chǎn)品就可以分鐘內(nèi)快速構(gòu)建出運(yùn)營(yíng)網(wǎng)絡(luò)、基礎(chǔ)設(shè)施。

洛神 2.0 的 AVS 和業(yè)務(wù)網(wǎng)關(guān)都進(jìn)行了架構(gòu)跨越式升級(jí)，AVS 基于軟硬件一體化方式，使用神龍 MOC 卡實(shí)現(xiàn)快速轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)性能提升數(shù)倍，達(dá)到千萬(wàn) PPS。

圖 7 軟硬件一體的新一代 AVS

洛神 2.0 另一個(gè)跨越式架構(gòu)升級(jí)是提供新一代的 NFV 平臺(tái)，通過(guò)網(wǎng)元邏輯部署在通用 ECS 上，提供彈性和開放能力。當(dāng)?shù)谌綇S商將其應(yīng)用移植到阿里云之后，就可以在阿里云市場(chǎng)里對(duì)阿里云的租戶進(jìn)行售賣和提供能力，形成了一個(gè)非常好的生態(tài)：

1）網(wǎng)元可以給大量租戶使用；

2）客戶的白天流量很大，半夜的流量很少時(shí)，阿里云會(huì)自動(dòng)幫你縮容。

如果說(shuō)在某個(gè)時(shí)刻點(diǎn)突然碰到高峰，阿里云會(huì)自動(dòng)協(xié)助擴(kuò)容，也就意味著第三方的網(wǎng)元利用洛神 NFV 平臺(tái)，不僅可以開放部署，還可以享受到自動(dòng)的彈性。

圖 8?洛神 2.0 NFV 開放平臺(tái)架構(gòu)

飛天洛神的未來(lái)

洛神 2.0 中，還有一個(gè)齊天智能網(wǎng)絡(luò)平臺(tái)，是未來(lái)演進(jìn)的重要能力，未來(lái)的網(wǎng)絡(luò)將是一個(gè)智能化的網(wǎng)絡(luò)。當(dāng)客戶業(yè)務(wù)部署在阿里云的時(shí)候，如果網(wǎng)絡(luò)發(fā)生波動(dòng)或故障，需要非常快速的排查問題，因?yàn)榫W(wǎng)絡(luò)是屬于最底層的服務(wù)，當(dāng)業(yè)務(wù)不能對(duì)外提供服務(wù)的時(shí)候，首先會(huì)想到網(wǎng)絡(luò)問題。這個(gè)時(shí)候網(wǎng)絡(luò)可能是正常的，有可能是上層業(yè)務(wù)的問題。如何讓上層業(yè)務(wù)團(tuán)隊(duì)快速定界問題所在，如何讓網(wǎng)絡(luò)的管理員能快速自證清白，提升未來(lái)生產(chǎn)運(yùn)營(yíng)服務(wù)的效率，就這是未來(lái)智能化網(wǎng)絡(luò)需要解決的問題。

圖 9 洛神的未來(lái)演進(jìn)

未來(lái)阿里云洛神平臺(tái)的發(fā)展方向就是智能化，未來(lái)會(huì)通過(guò)自研網(wǎng)元，采集網(wǎng)絡(luò)中數(shù)據(jù)，并且用大數(shù)據(jù)的方式去做產(chǎn)品問題分析和資源規(guī)劃，目前洛神齊天系統(tǒng)已經(jīng)構(gòu)建在一部分能力，在內(nèi)部使用，未來(lái)會(huì)提供給阿里云的客戶，讓客戶可以智能化的運(yùn)營(yíng)自己的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，這就是阿里云洛神平臺(tái)未來(lái)演進(jìn)的方向。

作者簡(jiǎn)介：祝順民（花名江鶴），阿里云智能事業(yè)群研究員，網(wǎng)絡(luò)產(chǎn)品線負(fù)責(zé)人，在軟件定義網(wǎng)絡(luò)（SDN）和網(wǎng)絡(luò)功能虛擬化（NFV）領(lǐng)域有多年技術(shù)研發(fā)和管理經(jīng)驗(yàn)。他帶領(lǐng)團(tuán)隊(duì)歷時(shí)多年，從無(wú)到有，打造了業(yè)內(nèi)最豐富的云網(wǎng)絡(luò)產(chǎn)品線，并鑄造了阿里云飛天系統(tǒng)的云網(wǎng)絡(luò)平臺(tái)-洛神，服務(wù)了百萬(wàn)用戶，并歷經(jīng) 8 次天貓雙十一考驗(yàn)，已經(jīng)成為真正意義上的基礎(chǔ)設(shè)施。

同時(shí)，歡迎所有開發(fā)者掃描下方二維碼填寫《開發(fā)者與AI大調(diào)研》，只需2分鐘，便可收獲價(jià)值299元的「AI開發(fā)者萬(wàn)人大會(huì)」在線直播門票!

推薦閱讀：在容器上構(gòu)建持續(xù)部署及最佳實(shí)踐初探在Kubernetes上部署一個(gè)簡(jiǎn)單的、類PaaS的平臺(tái)，原來(lái)這么容易！全球呼吸機(jī)告急！醫(yī)療科技巨頭美敦力“開源”設(shè)計(jì)圖和源代碼互聯(lián)網(wǎng)之父確診新冠，一代傳奇：任谷歌副總裁、NASA 訪問科學(xué)家微軟為一人收購(gòu)一公司？破解索尼程序、寫黑客小說(shuō)，看他彪悍的程序人生！2020年，這20個(gè)大家都認(rèn)識(shí)的加密交易所過(guò)得怎么樣？真香，朕在看了

總結(jié)

以上是生活随笔為你收集整理的一群阿里人如何用 10 年自研洛神云网络平台？技术架构演进全揭秘！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。