2018年，100G數(shù)據(jù)中心以太網(wǎng)市場(chǎng)如火如荼，是各大光模塊廠商爭(zhēng)奪的主戰(zhàn)場(chǎng)。隨著各大廠商100G系列產(chǎn)品的日益成熟，出貨量節(jié)節(jié)攀升。這些產(chǎn)品里既有基于III-V族傳統(tǒng)的解決方案，也有基于硅光技術(shù)的生力軍。

100G的技術(shù)門檻已經(jīng)被跨越，成為數(shù)據(jù)中心旺盛需求的主流和首選，已不再是高端光模塊的代名詞。技術(shù)的進(jìn)步日新月異，為了滿足超大規(guī)模數(shù)據(jù)中心不斷增長(zhǎng)的帶寬需求，大家已經(jīng)把希望放在了400G光模塊上。400G光模塊被業(yè)界普遍認(rèn)為是一種可以有效降低帶寬成本的解決方案。

前不久，CAICT中國(guó)信通院發(fā)布《2018年數(shù)據(jù)中心白皮書》，其中預(yù)計(jì) 2019 年?400G?光模塊將規(guī)模化部署。

一、光模塊市場(chǎng)需求旺盛

據(jù) ODCC 統(tǒng)計(jì)，截止 2017 年底，微模塊數(shù)據(jù)中心的部署量已從 2013 年的 300 套增長(zhǎng)到 4500 套，相當(dāng)于 5 萬(wàn)多個(gè) 20A機(jī)架規(guī)模，預(yù)模塊數(shù)據(jù)中心完成 9100 個(gè) 40A 整機(jī)柜的部署，相當(dāng)于1.8 萬(wàn)個(gè) 20A 標(biāo)準(zhǔn)機(jī)柜，模塊化數(shù)據(jù)中心累計(jì)完成約 7 萬(wàn)個(gè)標(biāo)準(zhǔn)機(jī)架的部署，容納服務(wù)器能力超過(guò) 100 萬(wàn)臺(tái)。運(yùn)行 6 年來(lái)安全穩(wěn)定，平均PUE 下降 0.2-0.4，運(yùn)行成本降低 20%-40%，節(jié)能降支效果非常明顯，對(duì)數(shù)據(jù)中心產(chǎn)業(yè)模塊化、綠色化具有很強(qiáng)的帶動(dòng)和引領(lǐng)作用。

持續(xù)的新建與改造數(shù)據(jù)中心，刺激了光模塊市場(chǎng)需求，光模塊市場(chǎng)規(guī)模不斷擴(kuò)大。40G 和 100G 正逐漸廣泛應(yīng)用，400G?研發(fā)量產(chǎn)提速。作為數(shù)據(jù)中心交換機(jī)互聯(lián)技術(shù)，光模塊經(jīng)歷了 10G->40G->100G 的變遷，目前新建或改造數(shù)據(jù)中心較多的應(yīng)用 40G 和 100G?光模塊。同時(shí)，為搶占市場(chǎng)先機(jī)，各廠商加快?400G?光模塊的研發(fā)速度。

（圖為Finisar展示400G光模塊）

在 2018 年美國(guó) OFC 光纖通訊展覽會(huì)上，包括海信寬帶、光迅科技、Finisar、Mellanox、旭創(chuàng)科技等在內(nèi)，超過(guò)10 家公司對(duì)?400G?光模塊進(jìn)行了現(xiàn)場(chǎng)的展示。目前，部分公司已經(jīng)將400G?光模塊送樣測(cè)試，且具備量產(chǎn)能力。預(yù)計(jì) 2019 年?400G?光模塊將規(guī)模化部署。

二、400G光模塊市場(chǎng)前景

作為數(shù)據(jù)中心400G光模塊的解決方案，目前兩大主流的封裝形式是OSFP和QSFP-DD。OSFP和QSFP-DD同樣在電接口上提供了8個(gè)傳輸通道，支持25GBaud波特率的PAM4信號(hào)（50Gb/s），因此可以實(shí)現(xiàn)8x50Gb/s=400Gb/s的信號(hào)傳輸。

OSFP的尺寸比QSFP-DD稍微寬一些，也更長(zhǎng)一些，因此占用了交換機(jī)更多的PCB表面面積。在交換機(jī)每1U面板上OSFP可布置32個(gè)端口，而QSFP-DD的則可以布置36個(gè)端口。因此從交換機(jī)帶寬能力上講，選用QSFP-DD可以多出4個(gè)端口。而且QSFP-DD還有與QSFP和QSFP28的向后兼容性。

從這兩點(diǎn)上來(lái)看，QSFP-DD的未來(lái)似乎更加光明。然而更小尺寸的QSFP-DD封裝形式，對(duì)于模塊的設(shè)計(jì)要求更高，這就對(duì)模塊內(nèi)部的器件封裝，模塊的性能，功耗，良率都提出了更高的要求，從而可能會(huì)導(dǎo)致模塊成本的升高。目前不同的客戶群體對(duì)兩種封裝的模塊均有需求，還難以看出哪種封裝更具有絕對(duì)性的優(yōu)勢(shì)。

（圖為萬(wàn)兆通400G QSFP28 CWDM4光模塊）

在未來(lái)的400G光模塊市場(chǎng)，誰(shuí)能率先“搶灘登陸”，誰(shuí)就能把握先機(jī)，先入為主。為了滿足不同客戶的需求，400G?QSFP-DD和OSFP模塊系列產(chǎn)品的開發(fā)工作已在進(jìn)行。相信不久的將來(lái)，400G?光模塊將會(huì)迎來(lái)溫暖的“春天”。

近日，思科公司為其Nexus系列以太網(wǎng)交換機(jī)增加四款400GbE型號(hào)，并宣布將在年內(nèi)進(jìn)行現(xiàn)場(chǎng)測(cè)試，預(yù)計(jì)明年上半年正式發(fā)售。博通也發(fā)布了400G PAM-4?PHY芯片BCM87400。看來(lái)，400G的時(shí)代即將來(lái)臨。

一、思科最新Nexus400G交換機(jī)

思科公司數(shù)據(jù)中心業(yè)務(wù)總經(jīng)理，高級(jí)VP Roland Acra表示，思科的400G交換機(jī)不僅僅為客戶提供了更高的速率，還為客戶帶來(lái)了強(qiáng)大功能。包括超快策略，分段和白名單，數(shù)據(jù)包的實(shí)時(shí)可視，數(shù)據(jù)流和事件，面向大數(shù)據(jù)和機(jī)器學(xué)習(xí)工作負(fù)載的智能緩沖，以及能夠按需優(yōu)先調(diào)度關(guān)鍵流量等功能，以滿足現(xiàn)代數(shù)據(jù)驅(qū)動(dòng)型工作負(fù)載和云環(huán)境的需要。這些400G型號(hào)也延續(xù)了Nexus交換機(jī)的超快策略，分隔化，實(shí)時(shí)數(shù)據(jù)包可視性等諸多特性。

思科的400GbE交換機(jī)包括：

1. Nexus 9316D-GX，1RU，16端口交換機(jī)，可以很好適合應(yīng)用中心架構(gòu)ACI的脊型應(yīng)用；

2. Nexus 93600CD-GX，1RU，28端口100GbE和8端口400GbE，支持脊葉架構(gòu)的葉形應(yīng)用；

3. Nexus 3408-S，4RU,8插槽，支持128個(gè)端口100GbE或者32端口400GbE；

4. Nexus 3432D-S，1RU，32端口 10/40/100/400GbE，和扇出的2x200GbE和4x50/100GbE；

思科新推出的 Nexus 交換機(jī)為客戶使用 400G 提供了最全面且可定制的方法。其具備的優(yōu)勢(shì)包括：

專為要求最苛刻的環(huán)境而構(gòu)建：全新的 400G 交換機(jī)用于提供 Nexus 交換機(jī)產(chǎn)品組合賴以成名的強(qiáng)大功能，并以全線速運(yùn)行。該功能包括用于提供更深入的應(yīng)用可視化、實(shí)時(shí)分析和故障排除能力的高級(jí)遙測(cè)功能，以及專門針對(duì)橫向擴(kuò)展應(yīng)用流量進(jìn)行調(diào)整的智能緩存功能。

此外，客戶還可以將交換機(jī)與思科領(lǐng)先的以應(yīng)用為中心的基礎(chǔ)設(shè)施（ACI）、Tetration 和網(wǎng)絡(luò)保障引擎（Cisco Network Assurance Engine）相集成。這將幫助他們進(jìn)一步提高應(yīng)用敏捷性，提高數(shù)據(jù)中心安全性和自動(dòng)化能力，將 400G 功能帶入基于意圖的網(wǎng)絡(luò)。?

專為提供客戶選擇和出色靈活性而設(shè)計(jì)：靈活的部署選項(xiàng)能夠支持各種規(guī)模的公司輕松滿足其特定需求和工作負(fù)載。無(wú)論是互聯(lián)網(wǎng)公司，高密度運(yùn)行或基于意圖的網(wǎng)絡(luò)，亦或是專門使用的應(yīng)用，客戶都可以選擇最適合的選項(xiàng)以滿足他們的需求。

持久耐用：?思科與合作伙伴及第三方機(jī)構(gòu)積極合作，推動(dòng) 400G 實(shí)現(xiàn)標(biāo)準(zhǔn)化和可互操作性。思科在最近的 400G 行業(yè)互操作性測(cè)試中，與互聯(lián)和測(cè)試解決方案合作伙伴合作，針對(duì) 400G 展示了經(jīng)濟(jì)高效的 100G lambda 光學(xué)模塊。

思科將在 2018 年 12 月開始與客戶進(jìn)行早期現(xiàn)場(chǎng)試驗(yàn)（EFT），并為 IT 機(jī)構(gòu)提供規(guī)劃時(shí)間以盡快啟動(dòng)試驗(yàn)。全新的思科 Nexus 交換機(jī)將于 2019 年上半年全面上市。

二、博通400G PAM-4?PHY芯片

同時(shí)，繼之前宣布其12.8Tbps TomaHawk 3 400GbE交換芯片進(jìn)入全面量產(chǎn)后，博通又于11月8日推出了其針對(duì)數(shù)據(jù)中心和云架構(gòu)的7nm工藝400G PAM4PHY芯片BCM87400。該芯片基于博通最新的7nm Centenario 112G PAM-4 DSP平臺(tái)，提供第一流的400G 8:4 gearbox和低功耗性能，確保超級(jí)數(shù)據(jù)中心和云網(wǎng)絡(luò)的400GbE 鏈路部署。

BCM87400系列器件具有業(yè)界最高性能和最低功耗的單芯片400GbE?PAM4?PHY收發(fā)器平臺(tái)能力，在DR4/FR4/LR4光學(xué)鏈路中可驅(qū)動(dòng)基于56Gbaud的112 Gb/s?PAM4四通道。在400GbE模式中，BCM87400可將系統(tǒng)端的53 Gb/s (基于26-Gbaud?PAM4)八通道轉(zhuǎn)化為106 Gb/s（基于53Gbaud?PAM4）四通道。BCM87400的出現(xiàn)充實(shí)了市場(chǎng)領(lǐng)先的PAM4?PHY技術(shù)平臺(tái)，并率先向業(yè)界演示基于7nm CMOS工藝運(yùn)作的400G?PAM-4?PHY收發(fā)器有效案例。

BCM87400型號(hào)更多特征包括：

1、“業(yè)界領(lǐng)先”的DSP性能和功率，使得DR4/FR4光模塊滿足IEEE標(biāo)準(zhǔn)和MSA規(guī)范。

2、支持傳統(tǒng)交換機(jī)應(yīng)用的DR/FR光模塊

3、客戶側(cè)接口符合CEI-28G / 56G LR規(guī)范，可支持長(zhǎng)距離（LR）通道

4、符合IEEE 802.3bs標(biāo)準(zhǔn)KP4和端到端FEC旁路運(yùn)作

5、一種可支持多個(gè)光學(xué)前端，例如EMLDML和硅光子的PAM4架構(gòu)

6、采用28-Gbaud?PAM4?和NRZ SerDes架構(gòu)，可優(yōu)化博通交換機(jī)ASICs和ASSPs的互操作性。

?應(yīng)用領(lǐng)域：

1、超大云數(shù)據(jù)中心網(wǎng)絡(luò)

2、有線基礎(chǔ)設(shè)施

3、400Gb/s QSFP-DD/PSFP光模塊

---

網(wǎng)絡(luò)作為HPC系統(tǒng)主要組成部分，其組網(wǎng)方式、時(shí)延和帶寬都決定著系統(tǒng)性能，針對(duì)HPC方案，筆者總結(jié)梳理了“高性能計(jì)算(HPC)技術(shù)、方案和行業(yè)全面解析”電子書，目錄如下：

《高性能計(jì)算(HPC)技術(shù)、方案和行業(yè)全面解析》

• 第1章 HPC行業(yè)和市場(chǎng)概述 7

• 1.1 HPC主要場(chǎng)景和分類 9

• 1.2 HPC系統(tǒng)主要組成 11

• 1.3 HPC IO業(yè)務(wù)模型 12

• 1.4 HPC系統(tǒng)架構(gòu)演變 13

• 1.5 HPC市場(chǎng)的主流玩家 14

• 1.5.1 HPC存儲(chǔ)廠商分類 15

• 1.5.2 Burst Buffer介紹 15

• 1.5.3 Panasas和Seagate介紹 17

• 1.5.4 主流并行文件系統(tǒng) 17

• 1.6 HPC對(duì)存儲(chǔ)的主要訴求 19

• 1.7 HPC系統(tǒng)的衡量標(biāo)準(zhǔn) 20

• 1.8 HPC未來(lái)的技術(shù)趨勢(shì) 22

• 第2章 HPC場(chǎng)景的存儲(chǔ)形態(tài) 23

• 2.1 HPC為何是NAS存儲(chǔ) 23

• 2.2 本地存儲(chǔ)引入的問(wèn)題 23

• 2.3 HPC主要的存儲(chǔ)形態(tài) 25

• 第3章 Lustre文件系統(tǒng)解析 26

• 3.1 Lustre文件系統(tǒng)概述 26

• 3.2 Intel Lustre企業(yè)版開源策略 26

• 3.3 Lustre文件系統(tǒng)架構(gòu) 27

• 3.4 Lustre Stripe切片技術(shù) 30

• 3.5 Lustre 的IO性能特征 34

• 3.5.1 寫性能優(yōu)于讀性能 34

• 3.5.2 大文件性能表現(xiàn)好 35

• 3.5.3 小文件性能表現(xiàn)差 35

• 3.6 Lustre小文件優(yōu)化 36

• 3.7 Lustre性能優(yōu)化最佳實(shí)踐 38

• 第4章 GPFS文件系統(tǒng)解析 39

• 4.1 GPFS文件系統(tǒng)概述 39

• 4.1.1 GPFS文件系統(tǒng)架構(gòu) 40

• 4.1.2 GPFS文件系統(tǒng)邏輯架構(gòu) 41

• 4.2 GPFS文件系統(tǒng)對(duì)象 42

• 4.2.1 網(wǎng)絡(luò)共享磁盤NSD 42

• 4.2.2 集群節(jié)點(diǎn)及客戶端節(jié)點(diǎn) 43

• 4.2.3 仲裁Node和Tiebreaker磁盤 43

• 4.3 GPFS集群仲裁機(jī)制 43

• 4.3.1 仲裁節(jié)點(diǎn)機(jī)制 44

• 4.3.2 仲裁磁盤機(jī)制 44

• 4.4 GPFS Failure Group失效組 44

• 4.5 GPFS文件系統(tǒng)伸縮性 45

• 4.6 GPFS文件系統(tǒng)負(fù)載均衡 45

• 第5章 Spectrum Scale架構(gòu)詳解 46

• 5.1 Spectrum Scale云集成 48

• 5.2 Spectrum Scale存儲(chǔ)服務(wù) 49

• 5.3 Spectrum Scale交付模型 50

• 5.4 Spectrum Scale架構(gòu)分類 51

• 5.5 Spectrum Scale企業(yè)存儲(chǔ)特性 52

• 5.5.1 Spectrum Scale數(shù)據(jù)分級(jí)至云 52

• 5.5.2 Spectrum Scale RAID技術(shù) 53

• 5.5.3 Spectrum Scale Active文件管理 53

• 5.5.4 Spectrum Scale快照技術(shù) 53

• 5.5.5 Spectrum Scale Cache加速 54

• 5.5.6 Spectrum Scale分級(jí)存儲(chǔ)管理 55

• 5.5.7 Spectrum Scale文件和對(duì)象訪問(wèn) 56

• 5.5.8 Spectrum Scale加密和銷毀 57

• 5.6 Spectrum Scale虛擬化部署 57

• 5.7 Spectrum Scale LTFS帶庫(kù)技術(shù) 58

• 5.8 Elastic Storage Server 61

• 第6章 BeeGFS文件系統(tǒng)解析 62

• 6.1 ThinkParQ介紹 62

• 6.2 BeeGFS操作系統(tǒng)兼容性 63

• 6.3 BeeGFS系統(tǒng)架構(gòu) 63

• 6.3.1 管理服務(wù)器介紹 64

• 6.3.2 元數(shù)據(jù)服務(wù)器介紹 65

• 6.3.3 對(duì)象存儲(chǔ)服務(wù)介紹 66

• 6.3.4 文件系統(tǒng)客戶端 67

• 6.4 BeeGFS安裝和設(shè)置 68

• 6.5 BeeGFS調(diào)優(yōu)和配置 69

• 6.6 BeeOND Burst Buffer 69

• 6.7 BeeGFS配額特性 72

• 6.8 BeeGFS的Buddy鏡像 73

• 6.9 BeeGFS支持API概述 75

• 6.10 BeeGFS系統(tǒng)配置要求 75

• 6.10.1 存儲(chǔ)服務(wù)器配置 76

• 6.10.2 元數(shù)據(jù)服務(wù)器配置 77

• 6.10.3 客戶端服務(wù)器配置 77

• 6.10.4 管理守護(hù)進(jìn)程配置 78

• 6.11 BeeGFS支持的網(wǎng)絡(luò)類型 78

• 6.12 通過(guò)NAS導(dǎo)出BeeGFS 78

• 6.13 BeeGFS生態(tài)和合作 79

• 第7章 主流HPC產(chǎn)品和解決方案 82

• 7.1 DDN存儲(chǔ)解決方案和產(chǎn)品 82

• 7.1.1 DDN S2A平臺(tái)和產(chǎn)品 83

• 7.1.2 DDN SFA平臺(tái)和產(chǎn)品 85

• 7.1.3 DDN WOS平臺(tái)和產(chǎn)品 86

• 7.1.4 DDN Scaler系列網(wǎng)關(guān)產(chǎn)品 87

• 7.1.5 Burst Buffer加速產(chǎn)品 91

• 7.1.6 FlashScale全閃存產(chǎn)品 93

• 7.2 希捷存儲(chǔ)解決方案和產(chǎn)品 96

• 7.2.1 ClusterStor產(chǎn)品架構(gòu) 99

• 7.2.2 ClusterStor Manager介紹 100

• 7.2.3 ClusterStor配置擴(kuò)展方式 101

• 7.2.4 ClusterStor存儲(chǔ)軟件集成架構(gòu) 104

• 第8章 Burst Buffer技術(shù)和產(chǎn)品分析 107

• 8.1 Cray DataWarp技術(shù)和產(chǎn)品 107

• 8.1.1 Burst Buffer場(chǎng)景匹配 109

• 8.1.2 Burst Buffer技術(shù)架構(gòu) 110

• 8.1.3 Cray技術(shù)演進(jìn)藍(lán)圖 113

• 8.1.4 Cray HPC方案和產(chǎn)品 114

• 8.2 DDN Burst Buffer產(chǎn)品 117

• 8.2.1 IME產(chǎn)品架構(gòu) 117

• 8.2.2 IME14KX產(chǎn)品介紹 120

• 8.2.3 IME240產(chǎn)品介紹 121

• 8.3 EMC Burst Buffer產(chǎn)品 122

• 8.3.1 aBBa產(chǎn)品架構(gòu) 123

• 8.3.2 aBBa軟件堆棧 124

• 第9章 HPC主流網(wǎng)絡(luò)和技術(shù)分析 126

• 9.1 InfiniBand技術(shù)和基礎(chǔ)知識(shí) 126

• 9.1.1 IB技術(shù)的發(fā)展 126

• 9.1.2 IB技術(shù)的優(yōu)勢(shì) 127

• 9.1.3 IB網(wǎng)絡(luò)重要概念 129

• 9.1.4 IB協(xié)議堆棧分析 130

• 9.1.5 IB應(yīng)用場(chǎng)景分析 134

• 9.2 InfiniBand技術(shù)和架構(gòu) 135

• 9.2.1 IB 網(wǎng)絡(luò)和拓?fù)浣M成 135

• 9.2.2 軟件協(xié)議棧OFED 139

• 9.2.3 InfiniBand網(wǎng)絡(luò)管理 140

• 9.2.4 并行計(jì)算集群能力 141

• 9.2.5 基于socket網(wǎng)絡(luò)應(yīng)用 142

• 9.2.6 IB對(duì)存儲(chǔ)協(xié)議支持 142

• 9.2.7 RDMA技術(shù)介紹 143

• 9.3 Mellanox產(chǎn)品分析 143

• 9.3.1 Infiniband交換機(jī) 145

• 9.3.2 InfiniBand適配器 148

• 9.3.3 Infiniband路由器和網(wǎng)關(guān)設(shè)備 149

• 9.3.4 Infiniband線纜和收發(fā)器 150

• 9.4 InfiniBand和Omni-Path之爭(zhēng) 151

• 9.4.1 Intel True Scale Fabric 軟件架構(gòu) 152

• 9.4.2 Intel InfiniBand產(chǎn)品家族 154

• 9.4.3 Intel Omni-Path產(chǎn)品介紹 155

• 9.4.4 Omni-Path和InfiniBand對(duì)比 156

• 第10章 HPC超算系統(tǒng)排名和評(píng)估 160

• 10.1 TOP500基準(zhǔn)介紹和排名規(guī)則 162

• 10.2 Green500基準(zhǔn)介紹和排名規(guī)則 165

• 10.3 HPC超算系統(tǒng)其他評(píng)估基準(zhǔn) 167

• 10.3.1 GTC-P應(yīng)用基準(zhǔn) 173

• 10.3.2 Meraculous測(cè)試基準(zhǔn) 173

• 10.3.3 MILC測(cè)試基準(zhǔn) 174

• 10.3.4 MiniDFT測(cè)試基準(zhǔn) 174

• 10.3.5 MiniPIC測(cè)試基準(zhǔn) 174

• 10.3.6 PENNANT測(cè)試基準(zhǔn) 175

• 10.3.7 SNAP測(cè)試基準(zhǔn) 175

• 10.3.8 UMT測(cè)試基準(zhǔn) 175

• 10.3.9 Crossroads/N9 DGEMM基準(zhǔn) 175

• 10.3.10 IOR BenchMark基準(zhǔn) 176

• 10.3.11 Mdtest測(cè)試基準(zhǔn) 176

• 10.3.12 STREAM測(cè)試基準(zhǔn) 176

---

更多架構(gòu)師技術(shù)關(guān)知識(shí)請(qǐng)參考“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書(32本技術(shù)資料打包匯總、詳解目錄和內(nèi)容請(qǐng)通過(guò)“閱讀原文”獲取)。

溫馨提示：

請(qǐng)識(shí)別二維碼關(guān)注公眾號(hào)，點(diǎn)擊原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。

總結(jié)

以上是生活随笔為你收集整理的400G交换机技术前景和主流产品的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。