两本赠书和投票 | 服务器里面一定要有硬盘吗？ - SAS与SDS
【編者按】
一不留心就到4月1日了，不過我保證文末的贈(zèng)書活動(dòng)是真實(shí)的，SDS新書有8位作者的簽名。另外一本贈(zèng)書是VMware VDI的書籍。
在《SDS新書的來龍去脈 & SDS序言 - 倪光南：眾籌出書也是一種創(chuàng)新》里，我曾說到：“我相信這本書里面有些篇章，具有較遠(yuǎn)的技術(shù)前瞻性，即使是三、四年過后，仍然有其借鑒或者啟發(fā)的意義”。原因就在于這本書里有好幾篇前瞻性的文章，而Peter Cui（崔勇）撰寫的第24章《SAS與SDS》是其中的一篇。
我曾一度猶豫是否要把SAS與SDS這篇文章放到書中。這篇文章起源于2015年12月18日在微信公眾號(hào)“樂生活與愛IT”上的一篇閱讀量非常高的《別再說存儲(chǔ)了，我真的煩了》，文章本身令人腦洞大開，看完也頗有啟發(fā)，而且這篇文章還引來了一則趣事，也許十年后可以請故事的主角親自來回顧這段軼事。
坦率說，這篇文章總體上行文不是十分嚴(yán)謹(jǐn)，而且不是現(xiàn)有技術(shù)的分析，是對未來技術(shù)的探討。彼時(shí)其實(shí)現(xiàn)在也是如此，SAS交換技術(shù)尚未成為業(yè)界的主流標(biāo)準(zhǔn)，未來是否能普及開來不得而知。后來考慮到SDS生態(tài)的完整性（代表著SDS后端的數(shù)據(jù)傳輸技術(shù)），而且個(gè)人覺得確實(shí)很有道理，另外也希望讀者不僅能看到現(xiàn)在，還能激發(fā)對未來的思考，就收錄進(jìn)來了。
另外，Peter Cui提出的一個(gè)觀點(diǎn)也頗為新穎：“云計(jì)算就是數(shù)據(jù)更靈活的和計(jì)算單元（物理CPU或虛擬CPU）建立耦合關(guān)系”。其實(shí)數(shù)據(jù)和計(jì)算的解耦是否采用SAS交換來落地不重要，但是這種往解耦的方向發(fā)展，從而更靈活地適用于多種業(yè)務(wù)場景，以滿足各自對計(jì)算和存儲(chǔ)的配比關(guān)系，或許是一個(gè)值得思考的方向。
時(shí)至今日，采用SAS交換機(jī)將服務(wù)器的計(jì)算和存儲(chǔ)分離的廠商和用戶，在全球范圍內(nèi)仍不多見，很高興看到做為IT廠商的浪潮、英業(yè)達(dá)、書生云；做為用戶的阿里、騰訊、百度等中國互聯(lián)網(wǎng)廠商，以及以BAT為首的天蝎3.0計(jì)劃已經(jīng)有SAS交換的落地了。順便恭喜一下書生云基于SAS交換的超融合產(chǎn)品簽約鳳凰創(chuàng)新園，據(jù)書生云CEO王東臨說，該數(shù)據(jù)中心投資超過10億元，設(shè)計(jì)存儲(chǔ)容量超過1Eb（編者按：應(yīng)該是1EB）。
如果SAS交換技術(shù)能夠在未來形成生態(tài)乃至標(biāo)準(zhǔn)，這或許是華人在存儲(chǔ)領(lǐng)域這個(gè)細(xì)小分支的突破！
好，下面我們就開始腦洞大開之旅。
---Begin---
第24章? ?SAS與SDS
重復(fù)一下本書主編的話：軟件定義的存儲(chǔ)（SDS）是一個(gè)不斷進(jìn)化的概念，在現(xiàn)階段看來，SDS是指存儲(chǔ)資源由軟件自動(dòng)控制，通過抽象、池化和自動(dòng)化，將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、直連存儲(chǔ)、外置存儲(chǔ)或云存儲(chǔ)等存儲(chǔ)資源整合起來，實(shí)現(xiàn)應(yīng)用感知，或者基于策略驅(qū)動(dòng)的部署、變更和管理，最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。
筆者認(rèn)為軟件定義存儲(chǔ)和傳統(tǒng)存儲(chǔ)并不是黑與白的關(guān)系，而是彼此學(xué)習(xí)、互相兼容而且不斷發(fā)展的過程；由于市場格局或產(chǎn)品定位等非技術(shù)原因，往往最新的、定制化的技術(shù)會(huì)被首先用在所謂的傳統(tǒng)存儲(chǔ)設(shè)備上，比如PCIe的網(wǎng)絡(luò)，RapidIO網(wǎng)絡(luò)等，這些技術(shù)最先被用在傳統(tǒng)存儲(chǔ)的控制器之間互聯(lián)。這些在當(dāng)時(shí)并不是最通用的技術(shù)，但是可以提供高速、低延時(shí)的數(shù)據(jù)通信。而今天隨著技術(shù)飛速發(fā)展，越來越多的快速、廉價(jià)的網(wǎng)絡(luò)技術(shù)被普及，越來越快的存儲(chǔ)介質(zhì)遠(yuǎn)遠(yuǎn)突破傳統(tǒng)存儲(chǔ)控制器的IO設(shè)計(jì)能力，與此同時(shí)CPU的計(jì)算能力有極大的剩余，軟件定義存儲(chǔ)（基于X86服務(wù)器和以太網(wǎng)）也就自然而然的產(chǎn)生了。
剛剛提到的快速而且廉價(jià)的網(wǎng)絡(luò)是指以太網(wǎng)，今天的標(biāo)準(zhǔn)有10Gb、40Gb、100Gb、25Gb，同時(shí)像RoCE這樣的技術(shù)也越來越普及，高速和低延時(shí)的網(wǎng)絡(luò)越來越容易獲得。但是以太網(wǎng)是唯一的選擇么？后面會(huì)給大家介紹各種協(xié)議的選擇和妥協(xié)。
本章內(nèi)容主要介紹通過SAS（串行連接SCSI接口）網(wǎng)絡(luò)來實(shí)現(xiàn)存儲(chǔ)池化的方法。由于本章所展望的通過SAS實(shí)現(xiàn)SDS和以往的方法不太一樣，所以需要有一些鋪墊內(nèi)容來介紹一些基礎(chǔ)概念。本章涉及到的一些概念和現(xiàn)在的硬件和SDS不太一樣，所以我們先在本章開始之前提出一個(gè)問題：服務(wù)器里面一定要有硬盤么？
本章分為以下幾個(gè)部分：
1）什么是SAS協(xié)議，SAS協(xié)議的現(xiàn)狀；
2）服務(wù)器存儲(chǔ)和計(jì)算硬件解耦和；
3）用SAS協(xié)議來傳輸數(shù)據(jù)；
4）數(shù)據(jù)IO從軟件到硬件；
5）云計(jì)算和軟件定義存儲(chǔ)；
6）其它的一些補(bǔ)充。
24.1 ?SAS協(xié)議和SAS協(xié)議的現(xiàn)狀
SAS全稱是串行連接SCSI接口，也是目前服務(wù)器和存儲(chǔ)設(shè)備中的最常見的存儲(chǔ)協(xié)議，通常用來連接硬盤的協(xié)議，SAS協(xié)議兼容SATA協(xié)議。在服務(wù)器中通常由IOC（也叫SAS卡或者HBA卡）或Raid卡來實(shí)現(xiàn)PCIe協(xié)議到SAS 協(xié)議的轉(zhuǎn)換，HBA卡或RAID卡一般有8個(gè)SAS接口（少數(shù)卡支持16個(gè)或者24個(gè)接口），其中每4個(gè)SAS接口可以組合組合成一個(gè)寬端口，因?yàn)榉?wù)器內(nèi)的SAS HBA或RAID卡是必備配件，為了減少服務(wù)器的內(nèi)部PCIe插槽占用，這張卡片也有很多不同的外形。Server SAN里的都是采用HBA卡連接本地硬盤。如下圖
?
內(nèi)置RAID控制器，定制接口，多采用插座形式，不占用PCIe插槽
標(biāo)準(zhǔn)PCIe 插槽RAID卡外置MiniSAS端口
標(biāo)準(zhǔn)PCIe SAS HBA卡內(nèi)置Mini SAS端口
?
SAS協(xié)議目前最新的版本是SAS 3.0，單端口的帶寬是12Gb。一張8端口的HBA，可以提供理論上96Gb的SAS帶寬,而HBA卡的PCIe 3.0 x8接口帶寬是64Gb。所以HBA卡的SAS接口理論上沒有瓶頸，可以充分發(fā)揮PCIe的帶寬。每4個(gè)SAS端口組成一個(gè)寬端口，每個(gè)寬端口的帶寬是48Gb。目前使用的寬端口的名稱叫做Mini SAS HD，包括外部端口和內(nèi)部端口。如下圖
外置Mini SAS 接口和內(nèi)置Mini SAS HD接口
外置Mini SAS HD接口
SAS協(xié)議可以說是無處不在，無論是服務(wù)器或存儲(chǔ)設(shè)備中，只要有硬盤的地方就有SAS協(xié)議使用，除了我們前面提到的控制卡使用SAS協(xié)議，在服務(wù)器或存儲(chǔ)設(shè)備上還有一個(gè)SAS端口擴(kuò)展器，可以讓一個(gè)8端口的控制卡連接幾十塊硬盤。由于這些器件通常都是放在機(jī)箱內(nèi)部，大多數(shù)人對它們不是非常熟悉。
24.2 ?服務(wù)器存儲(chǔ)和計(jì)算物理解耦和
作為目前X86唯一的CPU供應(yīng)商，Intel每隔一年半到兩年左右就會(huì)發(fā)布新一代的CPU，而每個(gè)服務(wù)器廠家就會(huì)按照Intel的節(jié)奏發(fā)布新款服務(wù)器，我們以雙路服務(wù)器為例，每個(gè)廠家都會(huì)基于最新一代的IntelCPU發(fā)布十幾個(gè)型號(hào)服務(wù)器，這些服務(wù)器最大的不同在于機(jī)箱的機(jī)械尺寸和存儲(chǔ)的擴(kuò)展性。所以我們提出希望統(tǒng)一計(jì)算部件，將服務(wù)器的計(jì)算部分和存儲(chǔ)部分分離，實(shí)現(xiàn)數(shù)據(jù)中心的計(jì)算節(jié)點(diǎn)統(tǒng)一，在選擇計(jì)算節(jié)點(diǎn)時(shí)候不需要考慮服務(wù)器支持多少個(gè)硬盤或者多少種類硬盤。服務(wù)器僅需要包括CPU、內(nèi)存、網(wǎng)卡、HBA卡等基礎(chǔ)部件即可。存儲(chǔ)部分都在服務(wù)器外部。那么就需要一個(gè)設(shè)備可以把若干臺(tái)服務(wù)器和大量的硬盤連接在一起。同時(shí)這個(gè)方案需要能被互聯(lián)網(wǎng)行業(yè)使用，必須要滿足高速交換、不改變現(xiàn)有操作系統(tǒng)、不改變應(yīng)用習(xí)慣、不增加成本、擴(kuò)展容易等特點(diǎn)。無論是2個(gè)至強(qiáng)CPU配置2個(gè)硬盤還是配置120塊硬盤，都可以采用相同的服務(wù)器和相同的JBOD硬盤柜。如下圖
CPU和硬盤分離示意圖
?
上圖上半部分是僅包含CPU、內(nèi)存、網(wǎng)卡、SAS卡的計(jì)算節(jié)點(diǎn)，通過某一種網(wǎng)絡(luò)和大量的硬盤或SSD連接在一起。硬盤可以按照需求任意分配給Fabric連接的服務(wù)器。這個(gè)Fabric需要滿足高速、無阻塞、低延遲、低成本、低開銷、技術(shù)成熟、較高的擴(kuò)展性。可是這個(gè)Fabric究竟應(yīng)該是什么樣的協(xié)議呢？
可以選擇的互聯(lián)協(xié)議比較有限，目前看來，協(xié)議無非就是PCIe、Ethernet、SAS、FC等幾種協(xié)議。為什么選擇SAS協(xié)議來實(shí)現(xiàn)存儲(chǔ)和計(jì)算物理解耦和呢？我們簡單來看一下各種協(xié)議的現(xiàn)狀，目前該方案采用了SAS網(wǎng)絡(luò)，國內(nèi)已經(jīng)有2家公司量產(chǎn)了這種交換機(jī)，而且有超過2家的互聯(lián)網(wǎng)企業(yè)采用了這種CPU和硬盤解耦和方案。下面我們通過協(xié)議的對比，看看為什么最終選擇了SAS協(xié)議。
PCIe協(xié)議，一提到PCIe協(xié)議，大家就會(huì)覺得高帶寬、低延時(shí)、直連CPU等等。反正就是快，采用PCIe協(xié)議再配合上NVMe 來實(shí)現(xiàn)存儲(chǔ)更符合技術(shù)發(fā)展的方向，但是我們現(xiàn)在需要的是一個(gè)Fabric而不是點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸，在這個(gè)Fabric上要有多個(gè)節(jié)點(diǎn)和多個(gè)存儲(chǔ)配件。
但是我們不能忽視PCIe協(xié)議目前的幾個(gè)缺點(diǎn)，NVMeSSD的每GB成本還是遠(yuǎn)高于機(jī)械硬盤，PCIe交換機(jī)目前成本還比較高。PCIe交換機(jī)的擴(kuò)展規(guī)模有限，以目前最大96 lanes（通路）的單PCIe switch芯片為例，如果每個(gè)服務(wù)器需要x8的帶寬，那么最大只能實(shí)現(xiàn) 12個(gè)主機(jī)互聯(lián)而且還沒有考慮到PCIe 存儲(chǔ)設(shè)備連接到Switch芯片上，如果要多個(gè)交換芯片組成一個(gè)大的交換矩陣，PCIe端口擴(kuò)展比較復(fù)雜。
PCIe交換機(jī)成本較高，目前PCIe交換機(jī)主要供應(yīng)商是PLX和IDT，PCIe 3.0協(xié)議不支持多主機(jī)互聯(lián)（需要使用非透明橋NTB來橋接主機(jī)和PCIe交換機(jī)）。用PCIe交換機(jī)來計(jì)算存儲(chǔ)解耦和或者統(tǒng)一IO（存儲(chǔ)、網(wǎng)絡(luò)等），目前來看只是一個(gè)美好的愿望，但是還有很多路要走。
戴爾的服務(wù)器產(chǎn)品較早使用PCIe交換機(jī)，從最初的GPU擴(kuò)展，到多服務(wù)器節(jié)點(diǎn)共享存儲(chǔ)資源，而且根據(jù)使用場景有不同的存儲(chǔ)資源分配方案，目前配置了PCIe交換機(jī)的服務(wù)器主要有VRTX和FX2，這2款產(chǎn)品充分利用了PCIe交換的特點(diǎn)，并且這2款產(chǎn)品完全面向不同的業(yè)務(wù)環(huán)境，所以在存儲(chǔ)擴(kuò)展上采用了不同的實(shí)現(xiàn)方式。下圖是IDT和PLX PCIe交換機(jī)芯片。
?
如果用PCIe Switch組成的解耦和環(huán)境如下圖所示：考慮到HDD每GB成本比較低，實(shí)際使用中還需要HDD和NVMeSSD 同時(shí)存在，那么必須要有PCIe到SAS的協(xié)議轉(zhuǎn)換，而且Fabric里面有2中協(xié)議混合存在。如果要把接在SAS HBA下面的HDD 要分配給不同的主機(jī)，有很大的難度，也有很多的挑戰(zhàn)，這里不進(jìn)一步詳述。其實(shí)DELL的VRTX就是這么做的，把一張RAID卡虛擬成4張RAID卡，但是目前僅僅支持4個(gè)節(jié)點(diǎn)，主要面向中小企業(yè)和分支機(jī)構(gòu)。
?
?
?
Ethernet協(xié)議，如果要通過Ethernet連接今天的硬盤和CPU，需要通過幾種協(xié)議的轉(zhuǎn)換，在Initiator端，先要把PCIe轉(zhuǎn)到Ethernet，在Target端，把Ethernet轉(zhuǎn)到SAS或者NVMe協(xié)議。第一次協(xié)議轉(zhuǎn)換相對比較容易，和現(xiàn)有的網(wǎng)卡一樣的功能，這個(gè)特殊的網(wǎng)卡需要虛擬出一個(gè)塊存儲(chǔ)設(shè)備給CPU.但是在Target端協(xié)議轉(zhuǎn)換卻需要重新設(shè)計(jì)，硬盤或SSD需要有以太網(wǎng)接口，通常會(huì)采用RJ45接口，接口速率10G或更高的速率，硬盤需要把Ethernet協(xié)議轉(zhuǎn)換成SAS協(xié)議或NVMe協(xié)議，目前沒有任何類似的產(chǎn)品可以參考，FCOE協(xié)議和SASOE如下圖。
參考FC協(xié)議到FCOE，SAS和NVMe協(xié)議也可以采用類似的邏輯，但是在Mapping的部分可以有不同的實(shí)現(xiàn)方式，比如在SAS（64位）地址和MAC（48位）地址的處理方式，可以采用變長地址，也可以2種地址完全無關(guān)直接packing，但是無論哪種方式，都需要網(wǎng)卡中有直接Offloadengine。
基于Ethernet協(xié)議解耦后的結(jié)構(gòu)圖
?
采用了這種SASOE后的結(jié)構(gòu)如上圖，從上圖中可以看出，存儲(chǔ)介質(zhì)的接口需要改成Ethernet，通常采用RJ45接口，供電部分也可以直接使用POE，目前這只是我的一個(gè)假設(shè)，RJ45接口的缺點(diǎn)就是機(jī)械尺寸比較大，但是這個(gè)問題不大，畢竟8個(gè)觸點(diǎn)還是比較好處理的。
?
圖 24-8 網(wǎng)卡虛擬存儲(chǔ)設(shè)備
?
改成這種結(jié)構(gòu)以后，對OS和應(yīng)用有什么需求么？如圖24-8所示，這時(shí)候NIC就需要有較多的功能，在MAC層以上需要支持SASOE和NVMeOE的協(xié)議，通過NIC可以虛擬出存儲(chǔ)設(shè)備，對于CPU和操作系統(tǒng)，這就是一個(gè)連接在PCIe總線上的存儲(chǔ)設(shè)備，該虛擬存儲(chǔ)設(shè)備由多個(gè)SASOE存儲(chǔ)設(shè)備的存儲(chǔ)空間組合而成，組合方式見后面的SAS DHBA卡工作原理。
可能有人會(huì)說為什么不用ISCSI協(xié)議呢？其實(shí)ISCSI協(xié)議和Ethernet轉(zhuǎn)存儲(chǔ)方式是類似的，只是Ethernet轉(zhuǎn)存儲(chǔ)時(shí)候沒有IP層和傳輸層，轉(zhuǎn)發(fā)效率上和封包速度上會(huì)快不少。IP轉(zhuǎn)存儲(chǔ)相關(guān)協(xié)議比如ISCSI協(xié)議，沒有獨(dú)立器件實(shí)現(xiàn)IP到SAS協(xié)議之間的轉(zhuǎn)換，目前多用ISCSI網(wǎng)關(guān)（IPSAN存儲(chǔ)設(shè)備等）來實(shí)現(xiàn)轉(zhuǎn)換。下圖對比ISCSI和SASOE的區(qū)別。
?
FC協(xié)議，雖然FC協(xié)議已經(jīng)發(fā)展了十幾年了，但是到今天為止FC協(xié)議的成本仍然不低，其次從CPU到硬盤或者SSD，如果采用FC互聯(lián)，必須要經(jīng)過PCIe轉(zhuǎn)FC，FC轉(zhuǎn)SAS 兩次轉(zhuǎn)換。FC協(xié)議基本上不在考慮范圍之內(nèi)。
SAS協(xié)議，最后我們說說這個(gè)無處不在的SAS協(xié)議，目前從CPU到硬盤，僅僅是PCIe協(xié)議轉(zhuǎn)SAS協(xié)議僅僅一次轉(zhuǎn)換就可以了。通常是SAS HBA或RAID卡來實(shí)現(xiàn)轉(zhuǎn)換。最大的缺點(diǎn)就是不支持NVMe協(xié)議。如下圖。
?
最終可以實(shí)現(xiàn)的服務(wù)器計(jì)算部分和存儲(chǔ)部分完全分離，CPU到每一個(gè)硬盤都可以實(shí)現(xiàn)無阻塞的交換，實(shí)現(xiàn)后的效果圖和邏輯結(jié)構(gòu)圖如下
?
SAS交換機(jī)現(xiàn)狀，最早的SAS交換機(jī)是LSI6160 SAS交換機(jī)，基于SAS2.0協(xié)議。最大16個(gè)端口。每個(gè)端口的帶寬支持4*6Gb=24Gbps。浪潮在2015年推出了一個(gè)17口交換機(jī)，基于SAS3.0協(xié)議，每個(gè)端口的帶寬是4*12Gb=48Gbps。理論上，現(xiàn)有的技術(shù)單交換機(jī)可以支持68個(gè)48Gbps端口。LSI 的SAS交換機(jī)價(jià)格非常高，但是浪潮和英業(yè)達(dá)的SAS交換機(jī)已經(jīng)把成本降到非常非常低。
LSISAS6160 SAS交換機(jī)
某公司設(shè)計(jì)的SAS 交換機(jī)
?
肯定有人會(huì)擔(dān)心SAS交換機(jī)的成本是不是很高，大家都知道一個(gè)最基本的道理，被大量廣泛使用的技術(shù)，成本下降的最快，相比以太網(wǎng)和FC網(wǎng)絡(luò)，大家對SAS網(wǎng)絡(luò)不是很熟悉。其實(shí)SAS網(wǎng)絡(luò)比以太網(wǎng)和FC網(wǎng)絡(luò)更加普及，在通用服務(wù)器中，通常會(huì)有一個(gè)SASExpander和一個(gè)SAS RAID卡或HBA卡。按照端口數(shù)量來估算，每10-20臺(tái)服務(wù)器有1個(gè)FC接口，每臺(tái)服務(wù)器有2個(gè)以太網(wǎng)口，但是每臺(tái)服務(wù)器有20-40個(gè)SAS接口（每張SAS RAID卡或HBA卡有8個(gè)接口，服務(wù)器硬盤熱抽換背板上有24到36個(gè)SAS端口）。所以SAS的普及程度要遠(yuǎn)遠(yuǎn)高于其它的網(wǎng)絡(luò)。而SAS交換機(jī)就是基于SAS Expander 設(shè)計(jì)出來的。基于SAS協(xié)議的解耦和架構(gòu)就是把每一個(gè)服務(wù)器的SAS Expander拿到機(jī)箱外部，并不會(huì)增加什么器件成本。
某互聯(lián)網(wǎng)公司采用這種方案，可以實(shí)現(xiàn)高性能計(jì)算、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)存儲(chǔ)采用統(tǒng)一的服務(wù)器。為什么這么說呢？各種應(yīng)用類型的服務(wù)器最大的特點(diǎn)是CPU計(jì)算能力和數(shù)據(jù)量之間的比例，舉例來說：高性能計(jì)算通常只需要2個(gè)硬盤RAID1配置，熱數(shù)據(jù)采用若干塊SSD，溫?cái)?shù)據(jù)采用12-16塊7200轉(zhuǎn)機(jī)械硬盤，冷數(shù)據(jù)可以配置到60塊機(jī)械硬盤。今天上線的計(jì)算服務(wù)器，幾年后新的CPU上市，原來的計(jì)算服務(wù)器需要被汰換，改為存儲(chǔ)型服務(wù)器，假如原來的計(jì)算服務(wù)器最大僅支持2塊硬盤，擴(kuò)展硬盤容量是件很復(fù)雜的事情。但是如果采用SAS網(wǎng)絡(luò)來更改CPU和硬盤的比例，就是件很容易的事情，不再收到機(jī)箱規(guī)格的限制。如下圖。
?
24.3 ?Server SAN的數(shù)據(jù)讀寫通過SAS網(wǎng)絡(luò)傳輸
上一節(jié)我們提出了低成本實(shí)現(xiàn)CPU和存儲(chǔ)的解耦和，可以得到一個(gè)靈活配置的機(jī)架，可以減少服務(wù)器的種類，優(yōu)化了BOM成本。在實(shí)際案例中評估上圖方案的成本和一個(gè)機(jī)柜配置傳統(tǒng)服務(wù)器成本略有優(yōu)勢。同時(shí)我們得到了一個(gè)連接所有CPU和硬盤的網(wǎng)絡(luò)。
在實(shí)現(xiàn)了計(jì)算和存儲(chǔ)的物理分離后，我們可以發(fā)現(xiàn)，其實(shí)任何一個(gè)CPU到任何一個(gè)存儲(chǔ)介質(zhì)（硬盤或SSD）都可以聯(lián)通。我們在回去看看Server SAN的架構(gòu)原理，如下圖，大家不難發(fā)現(xiàn)在Server SAN的方案中，當(dāng)數(shù)據(jù)在寫入磁盤的時(shí)候需要保持多副本的一致性，必須要在其它的主機(jī)上同步寫入數(shù)據(jù)，而副本的寫入是是通過IP網(wǎng)絡(luò)寫入到其它的主機(jī)的硬盤上。
在現(xiàn)有硬件條件下，這是最好的方式，而且通過合理配置SSD、提高以太網(wǎng)絡(luò)帶寬以及降低網(wǎng)絡(luò)延時(shí)，可以實(shí)現(xiàn)不錯(cuò)的性能。但是其缺點(diǎn)也是顯而易見的，首先副本數(shù)據(jù)在寫入其它主機(jī)的時(shí)候，需要經(jīng)過的協(xié)議轉(zhuǎn)換次數(shù)是很多的，而且這些協(xié)議的轉(zhuǎn)換需要通過CPU來實(shí)現(xiàn)，數(shù)據(jù)傳輸?shù)奶鴶?shù)比較多，主機(jī)開銷也比較大。如圖24-14。
圖24-14?Nutanix基礎(chǔ)原理架構(gòu)
?
圖24-15 Nutanix的數(shù)據(jù)流示意圖
?
從上面的圖24-15可以看出，當(dāng)一個(gè)虛擬主機(jī)需要寫數(shù)據(jù)的時(shí)候，需要經(jīng)過若干次軟件處理，再通過必不可少的硬件設(shè)備，若干次的協(xié)議轉(zhuǎn)換，最終實(shí)現(xiàn)副本寫入到其它的主機(jī)的物理存儲(chǔ)空間。整個(gè)過程的時(shí)延和CPU開銷是非常大的。
?
但是，當(dāng)Server的計(jì)算部分和存儲(chǔ)部分分離之后，我們可以發(fā)現(xiàn)，其實(shí)當(dāng)CPU寫入到本機(jī)硬盤和其它主機(jī)的硬盤實(shí)際的物理路徑是一樣的，甚至中間的跳數(shù)和協(xié)議的轉(zhuǎn)換也是完全一樣的，也就是說，有可能通過一步操作實(shí)現(xiàn)多個(gè)副本的寫入，理論上想寫幾個(gè)副本就寫幾個(gè)副本，任何一個(gè)副本的開銷和本地寫開銷完全一樣，而且可以不經(jīng)過任何軟件層處理。當(dāng)一個(gè)主機(jī)計(jì)劃內(nèi)或計(jì)劃外下線了，其實(shí)它的所有的數(shù)據(jù)都在SAS交換網(wǎng)絡(luò)上，甚至連主副本都在，只需要有某一個(gè)主機(jī)把這些數(shù)據(jù)再裝載起來，完全不用擔(dān)心，服務(wù)器離線后，服務(wù)器內(nèi)的硬盤內(nèi)的幾十TB數(shù)據(jù)也一起下線了。如下圖
?
只要文件系統(tǒng)可以很好的調(diào)度和管理主數(shù)據(jù)和副本，并且在CPU主機(jī)之間通過狀態(tài)監(jiān)控，就可以實(shí)現(xiàn)數(shù)據(jù)按照需要在不同的主機(jī)之間漂移，數(shù)據(jù)始終在那里，就想SAN存儲(chǔ)設(shè)備一樣，所有接在這個(gè)交換網(wǎng)絡(luò)內(nèi)的主機(jī)都有可能訪問這些數(shù)據(jù)。和SAN不同的地方在于，網(wǎng)絡(luò)內(nèi)全是硬盤，這些硬盤怎么組成一個(gè)簡單的高效快速存儲(chǔ)空間呢？需要主機(jī)內(nèi)的文件系統(tǒng)來管理邏輯存儲(chǔ)空間到物理磁盤之間的映射關(guān)系，比如100塊SSD，每塊SSD提供10GB的空間，組成一個(gè)邏輯1TB的邏輯塊設(shè)備。那么這個(gè)映射關(guān)系就需要文件系統(tǒng)來管理，而且需要對這個(gè)映射關(guān)系建立好副本。
在上圖可以看到，全局的硬盤的數(shù)量比較多，元數(shù)據(jù)的存儲(chǔ)、全局磁盤狀態(tài)、副本數(shù)據(jù)校驗(yàn)等工作還需要在本機(jī)CPU上執(zhí)行，同時(shí)一份數(shù)據(jù)需要3次寫入。但是最大的挑戰(zhàn)在于，必須要在OS的文件系統(tǒng)中支持這樣的存儲(chǔ)方式，所以需要對Server SAN或者云計(jì)算的文件系統(tǒng)層做出修改。如果想讓任何操作系統(tǒng)都能支持，就需要多廠家都支持這種工作方式，比如VMware、Windows、Linux、Openstack、Ceph等等，但是如果要在一個(gè)數(shù)據(jù)中心里面，同時(shí)有多種操作系統(tǒng)，該如何才能像FC SAN那樣來分配存儲(chǔ)空間呢？短時(shí)間內(nèi)要讓操作系統(tǒng)廠家來支持這個(gè)方案，需要對操作系統(tǒng)進(jìn)行比較大的改動(dòng)，但是目前北京有一家云計(jì)算公司簡稱SS公司，他們已經(jīng)讓OpenStack支持SAS交換網(wǎng)絡(luò)，從目前的情況來看，無論是IO能力還是CPU資源的占用都得到了極大的改善。
24.4 ?數(shù)據(jù)寫入硬盤從軟件到硬件
在上一節(jié)中文件系統(tǒng)必須是特殊定制的，雖然定制的復(fù)雜度很大，但是獲得的收益也是很顯而易見的，同時(shí)因?yàn)樗杏玫降呐浼际橇慨a(chǎn)成熟的硬件，SAS網(wǎng)絡(luò)來實(shí)現(xiàn)數(shù)據(jù)寫入硬盤的做法是目前比較理想和現(xiàn)實(shí)的。
前面提到的SS公司在開源的操作系統(tǒng)中先實(shí)現(xiàn)了基于SAS網(wǎng)絡(luò)的數(shù)據(jù)傳輸，修改Ceph，讓OpenStack來支持通過SAS網(wǎng)絡(luò)實(shí)現(xiàn)CPU到硬盤的數(shù)據(jù)讀寫。但是如果要修改windows或者修改VMware則難度很大，有沒有一種可能來實(shí)現(xiàn)不需要修改現(xiàn)有的操作系統(tǒng)就可以實(shí)現(xiàn)數(shù)據(jù)多副本寫入到硬盤？可以讓現(xiàn)有的操作系統(tǒng)或者任何單主機(jī)的操作系統(tǒng)，都能自由使用SAS網(wǎng)絡(luò)呢？甚至Windows7 也可以使用SAS網(wǎng)絡(luò)實(shí)現(xiàn)多副本呢？
方法總是有的，在上一節(jié)總我們提出了虛擬地址到物理地址的映射關(guān)系，這個(gè)映射關(guān)系就是存儲(chǔ)的核心，原來是交給文件系統(tǒng)來管理和動(dòng)態(tài)維護(hù)，如果把這個(gè)管理維護(hù)的工作交給一個(gè)獨(dú)立的硬件來完成呢？我們按照數(shù)據(jù)寫入的路徑從文件系統(tǒng)往下一級一級的看，文件系統(tǒng)到CPU，CPU到PCIe總線，PCIe總線到SAS HBA，SAS HBA到SAS 交換機(jī)，SAS交換機(jī)到硬盤，有機(jī)會(huì)承擔(dān)這個(gè)映射關(guān)系管理工作的只有HBA或者交換機(jī)了。如果讓SAS HBA 實(shí)現(xiàn)這些功能。那我們看一看新SAS HBA需要增加那些功能，我暫時(shí)給這種HBA卡起一個(gè)名字叫DHBA。
DHBA主要作用是抽象真實(shí)的物理的存儲(chǔ)空間（包括DHBA卡連接的SAS 交換機(jī)以及連接在交換機(jī)上的硬盤和其它計(jì)算設(shè)備），通過抽象底層的硬件和結(jié)構(gòu)，DHBA卡向上層CPU和操作系統(tǒng)提供一個(gè)邏輯的塊存儲(chǔ)設(shè)備，數(shù)據(jù)可靠性、一致性、讀寫優(yōu)化、部分的物理存儲(chǔ)資源的管理也是由DHBA卡來實(shí)現(xiàn)。如下圖
大家肯定會(huì)問，萬一這個(gè)DHBA卡壞了，數(shù)據(jù)是怎么保護(hù)的？業(yè)務(wù)會(huì)不會(huì)中斷？這里簡單介紹一下DHBA卡怎么實(shí)現(xiàn)的。
如上圖示例，DHBA卡虛擬出一個(gè)SAS設(shè)備，操作系系統(tǒng)會(huì)認(rèn)為這是一個(gè)20TB的硬盤，但是實(shí)際的存儲(chǔ)空間是由200塊磁盤各出100GB空間組成的，副本存儲(chǔ)在其它的空間，按照3副本要求實(shí)際占用空間60TB。虛擬SAS設(shè)備和物理SAS存儲(chǔ)之間采用地址映射的方式實(shí)現(xiàn)。如下表
從上面的表，大家可以看到，VirDev1是CPU和操作系統(tǒng)可以看到的本機(jī)的塊存儲(chǔ)設(shè)備，但是VirDev1實(shí)際上是不存在的，是由DHBA卡虛擬出來的卡片，而虛擬設(shè)備的存儲(chǔ)塊是由物理設(shè)備的存儲(chǔ)塊映射過來的。
三副本的映射方式
上表中大家也可以看出，也可以由一個(gè)虛擬塊映射到多個(gè)物理塊，這樣可以實(shí)現(xiàn)副本備份，也可以實(shí)現(xiàn)QOS調(diào)度等。通過合理的設(shè)計(jì)這個(gè)mapping表還可以實(shí)現(xiàn)災(zāi)難備份、精簡配置、動(dòng)態(tài)遷移等等，這個(gè)表是最小粒度的塊地址映射，當(dāng)然可以實(shí)現(xiàn)更大的粒度比如4M或者64M，或者采用連續(xù)塊地址映射來優(yōu)化映射算法。具體算法需要高手來實(shí)現(xiàn)。
通過上面的映射表可以實(shí)現(xiàn)很多高級的功能。比如精簡配置的功能，虛擬設(shè)備照樣提供20TB的空間，但是物理地址實(shí)際上僅提供2TB的空間。比如副本數(shù)量調(diào)整，一方面可以提高可靠性，另一方面可以實(shí)現(xiàn)某些應(yīng)用的讀取負(fù)載均衡，如下圖，數(shù)據(jù)一次寫入進(jìn)虛擬存儲(chǔ)空間，同時(shí)實(shí)現(xiàn)20份副本，每份副本提供給一個(gè)服務(wù)器。這樣可以極快速提供最大數(shù)據(jù)讀取IO能力。再比如寫3副本的時(shí)候，1份副本采用SSD，同時(shí)讀寫，另2份副本僅寫入，采用機(jī)械硬盤。這樣可以實(shí)現(xiàn)較好的性價(jià)比。還有其它的一些功能在后面描述，比如容災(zāi)，HA，雙活，高可用等。
整個(gè)存儲(chǔ)網(wǎng)絡(luò)由很多的硬盤組成，整個(gè)映射表也非常大。但是可以實(shí)現(xiàn)子表和總表分離，每個(gè)交換機(jī)存儲(chǔ)全局的總表，每個(gè)子表和SAS端口對應(yīng)，當(dāng)服務(wù)器連接上SAS交換機(jī)端口，DHBA卡從總表下載下載對應(yīng)端口的子表，然后DHBA卡建立虛擬SAS設(shè)備存儲(chǔ)和物理空間的映射，這樣服務(wù)器就可以從虛擬磁盤設(shè)備上直接啟動(dòng)和讀寫數(shù)據(jù)了。服務(wù)器完全不需要預(yù)裝操作系統(tǒng)，也不需要配置存儲(chǔ)和主機(jī)的映射。服務(wù)器和操作系統(tǒng)以及數(shù)據(jù)完全沒有關(guān)系了，比如原來的一臺(tái)服務(wù)器是雙路服務(wù)器，因?yàn)榉?wù)器需要升級到新的四路服務(wù)器，只需要把新的四路服務(wù)器連接到原來服務(wù)器對應(yīng)的SAS端口，那么新的四路服務(wù)器從SAS交換機(jī)下載對應(yīng)的端口的子表后，就可以從原來的操作系統(tǒng)啟動(dòng)并讀寫原來的數(shù)據(jù)了。如圖24-18。
圖24-18映射子表和全局映射表
?
有什么協(xié)議可以比SAS更合適未來的技術(shù)需求呢？比如NVMe+PCIe。或者NVMe over Fabric。假如是NVMe over Eth，那么上面的DHBA的映射技術(shù)還可以被用到新的協(xié)議上來么？以太網(wǎng)卡不僅可以把所有的IO統(tǒng)一，而且網(wǎng)絡(luò)技術(shù)也成熟，現(xiàn)在網(wǎng)絡(luò)速度很快，交換設(shè)備的交換容量也很大，而且現(xiàn)在的大二層的以太網(wǎng)方案也可以很好的支持各種OverEthernet存儲(chǔ)技術(shù)。
在前面第三節(jié)的協(xié)議的選擇的時(shí)候，提到過如何通過SAS over Ethernet 或者NVMe over Ethernet。就目前的協(xié)議發(fā)展速度和方向來看，Over Ethernet幾乎是一個(gè)很好的選擇，但是其實(shí)現(xiàn)的復(fù)雜度要遠(yuǎn)遠(yuǎn)高于SAS網(wǎng)絡(luò)。開發(fā)難度，相關(guān)硬件的成熟度等等。筆者認(rèn)為在5-10年內(nèi)SAS很有可能要繼續(xù)發(fā)揚(yáng)光大。
?
?
?24.5 ?云計(jì)算和軟件定義存儲(chǔ)?
?
在第四節(jié)我們已經(jīng)把數(shù)據(jù)和CPU徹底分開了，數(shù)據(jù)和CPU完全沒有任何依存關(guān)系。任何CPU都可以按照策略或者按照需求來獲得所需要的數(shù)據(jù)。把子表分配給某端口，某個(gè)端口連接的CPU就可以讀寫子表對應(yīng)的邏輯存儲(chǔ)空間，邏輯存儲(chǔ)空間上的數(shù)據(jù)就屬于該端口的CPU。
在說云計(jì)算之前稍微說一下虛擬化，因?yàn)榻裉斓脑朴?jì)算基本上都是基于昨天的虛擬化發(fā)展過來的。與此同時(shí)今天的云計(jì)算也離不開現(xiàn)在的軟件定義存儲(chǔ)。
最初，一個(gè)物理主機(jī)上建立虛擬層，并且在虛擬層上創(chuàng)建若干硬件資源，在每個(gè)虛擬硬件資源上運(yùn)行若干個(gè)操作系統(tǒng)，每個(gè)操作系統(tǒng)彼此獨(dú)立。這個(gè)時(shí)候的虛擬化最大的優(yōu)勢是充分利用剩余的計(jì)算資源，在歷史的發(fā)展過程中從開發(fā)環(huán)境、測試環(huán)境一步步的向生產(chǎn)系統(tǒng)遷移。
由于生產(chǎn)系統(tǒng)對可靠性要求比較高，而且隨著SAN技術(shù)越來越成熟，通過把SAN加入虛擬化環(huán)境，人們可以將避免單物理服務(wù)器的故障，可以共享數(shù)據(jù)來實(shí)現(xiàn)更高速的集群計(jì)算，數(shù)據(jù)統(tǒng)一管理等。虛擬化不可避免的用到SAN技術(shù)，原先2臺(tái)物理主機(jī)之間的HA并不能很好地解決數(shù)據(jù)一致性的問題，VMware推出了和上層操作系統(tǒng)和應(yīng)用無關(guān)的vMotion讓虛擬機(jī)和數(shù)據(jù)可以運(yùn)行在不同的物理機(jī)上，而且這個(gè)過程平滑、快速，其實(shí)歸根到底是數(shù)據(jù)所在的位置并沒有發(fā)生改變。
從單機(jī)虛擬化到基于共享存儲(chǔ)的虛擬化
?
2014年，VMware推出了VSAN，這個(gè)上市時(shí)間并不長的軟件，成為今天的VMware云計(jì)算的一個(gè)核心組件。為存儲(chǔ)的資源池化提供了技術(shù)保障。也可以說，VSAN是一個(gè)里程碑的產(chǎn)品。
?
筆者認(rèn)為，數(shù)據(jù)和CPU的關(guān)系決定了今天的云計(jì)算的結(jié)構(gòu)，我們通常考慮的事情是數(shù)據(jù)屬于那個(gè)計(jì)算節(jié)點(diǎn)（CPU），數(shù)據(jù)就在那個(gè)計(jì)算節(jié)點(diǎn)上運(yùn)行。原先通過SAN來實(shí)現(xiàn)數(shù)據(jù)耦合不同的物理主機(jī)，比如把LUN分配某一個(gè)主機(jī)，該LUN上的數(shù)據(jù)就可以被該主機(jī)讀寫。但是SAN的局限性有3點(diǎn)，不可能擴(kuò)大到云計(jì)算的規(guī)模（速度、主機(jī)數(shù)）；成本高；性能受限。但是VSAN可以在更大的網(wǎng)絡(luò)規(guī)模上可以實(shí)現(xiàn)數(shù)據(jù)耦合不同的物理主機(jī)，硬件成本要比SAN節(jié)約很多，幾十個(gè)主機(jī)合計(jì)的IO性能要高于傳統(tǒng)的SAN。由于VSAN的多副本，可以輕松的實(shí)現(xiàn)數(shù)據(jù)和其它主機(jī)的耦合。
數(shù)據(jù)通過SAN被投射給不同的物理主機(jī)，而且因?yàn)?/span>SAN可以靈活的按照各種策略將數(shù)據(jù)投射到不同的物理主機(jī)。VSAN由于正本和副本數(shù)據(jù)存儲(chǔ)在不同的物理主機(jī)上，可以按照需要來實(shí)現(xiàn)數(shù)據(jù)副本和其它物理主機(jī)的耦合，比如下圖紅色數(shù)據(jù)正本耦合在主機(jī)1，如果主機(jī)1宕機(jī)，紅色數(shù)據(jù)副本符合可以立即耦合到主機(jī)2。
?
SAN的數(shù)據(jù)和主機(jī)之間的耦合方式
圖24-21 SAN可以靈活的讓數(shù)據(jù)和主機(jī)建立耦合關(guān)系
?
從圖24-21可以看出，由于有虛擬層的存在，所以數(shù)據(jù)可以被輕松的耦合到任何一個(gè)物理主機(jī)，再分配給任何一臺(tái)虛擬機(jī)，我認(rèn)為云計(jì)算就是數(shù)據(jù)更靈活的和計(jì)算單元（物理CPU或虛擬CPU）建立耦合關(guān)系。如果用運(yùn)算能力較弱的物理CPU (ATOM 或ARM) 來替代虛擬CPU，只要數(shù)據(jù)可以靈活的和物理CPU耦合，那么也可以實(shí)現(xiàn)類似云計(jì)算的效果，如圖24-22.
?
圖 24-22異構(gòu)計(jì)算環(huán)境的云計(jì)算平臺(tái)
?
按照本章第四節(jié)所描述的方案，我們可以實(shí)現(xiàn)一個(gè)更靈活的云計(jì)算環(huán)境，計(jì)算資源和存儲(chǔ)資源完全分離，數(shù)據(jù)的IO不依賴虛擬化或操作系統(tǒng)或應(yīng)用軟件的處理，而且多種作業(yè)系統(tǒng)可以在同一個(gè)環(huán)境下并存，如下圖
?24.6 ?最后的一些話
12年前，筆者開始向企業(yè)級客戶推薦SAN產(chǎn)品的時(shí)候，我們常常與一個(gè)例子，每個(gè)人有一瓶水，但是可以把這些水存在一個(gè)大水桶中然后通過飲水機(jī)給用戶提供水，這樣可以節(jié)約水資源，更合理的分配，做到資源優(yōu)化配置。但是我們忽略了，如果大家都很渴，都想喝很多誰的時(shí)候，一個(gè)飲水機(jī)的出口是不能滿足大家一起喝水的，而且飲水機(jī)的容量越大，提供的喝水用戶越多，瓶頸越明顯。延伸一下，今天的軟件定義存儲(chǔ)是把許多瓶水用繩子捆在一起，每增加一瓶就增加一瓶水的容量，也增加一個(gè)出水口，容量和性能都很好的提高了，讀者可以想象一下那個(gè)畫面，還是有一些小小的不方便。或者有沒有可能做一個(gè)大盤子，把水倒在盤子里，每個(gè)人都可以在盤子里直接喝水，只要盤子大，幾百人也可以一起喝水，這個(gè)大盤子的容量和IO能力遠(yuǎn)超其他的容器。
最近（【編者按，指2015年的時(shí)候】）有一款具有革命意義的產(chǎn)品上市，它可以提供驚人的高速存儲(chǔ)IO能力，基于PCIe的網(wǎng)絡(luò)SSD存儲(chǔ)介質(zhì)，它就是DSSD。不知道各位是都注意到它的架構(gòu)其實(shí)是和本章縮描述的SAS交換網(wǎng)絡(luò)是非常類似的，在DSSD的材料中有一句話是“movethe system software out of IO path ” 首先要有一個(gè)扁平高速網(wǎng)絡(luò)，其次硬件要有一些的智能來執(zhí)行必須的指令，指令來自于軟件，但是軟件不轉(zhuǎn)發(fā)數(shù)據(jù)。就像許多人在一個(gè)大盤子里喝水。
?
在筆者寫下上述這些文字的時(shí)候，EMC的DSSDD5也發(fā)布了，大家關(guān)注在它的高性能上，10M的IO，100Gbps帶寬，100us的延時(shí)。估計(jì)少有人注意到剛才提到的那句話，這是一小段Q&A的對話，出現(xiàn)在發(fā)布會(huì)的PPT上：Move System Software Out Of I/O Path。全段如下：
The software layer was really,really different than the storage stacks we knew well.?ANSWER = don’t tryto design a software stack for traditional storage persistence (RAID or objectmirroring) and data services – this isn’t an array, it’s a new thing, designthe software stack in a different way – out of the IO path inentirety.?? While perhaps data services likereplicas/dedupe/compression (which are data-path in nature) may be possible inthe future, you can see the effects (both as strengths andweaknesses) in DSSD at GA – focus of the team was on extreme performance,extreme density, and targeting new use cases.
翻譯一下：“這個(gè)軟件和我們知道的存儲(chǔ)堆棧有非常非常大的不一樣。回答，不要試圖把它理解成為一個(gè)傳統(tǒng)存儲(chǔ)或數(shù)據(jù)服務(wù)的軟件堆棧，它不是一個(gè)陣列，它是一個(gè)新事物，用不同的方式設(shè)計(jì)軟件堆棧-完全在IO路徑之外。雖然有可能某些數(shù)據(jù)服務(wù)像副本、去重、壓縮本質(zhì)上還是屬于數(shù)據(jù)IO，也許在未來也是有可能從數(shù)據(jù)IO上去除。但是你可以看到這個(gè)新設(shè)計(jì)的DSSD帶來的影響（優(yōu)勢和劣勢），極高的性能、極高的密度、一些新的目標(biāo)市場”。
---end---
【編者按】
談及EMC DSSD，編者我忍不住嘮叨幾句。進(jìn)入2017年3月，意外的聽說Dell EMC Stops Production On DSSD
http://www.storagereview.com/dell_emc_stops_production_on_dssd ，不過按照官方的說法，將來會(huì)把DSSD的技術(shù)融入到其他產(chǎn)品線里。
在SDS新書《軟件定義存儲(chǔ)：原理、實(shí)踐與生態(tài)》，編者我撰寫了第25章，《內(nèi)存虛擬化與SDS及DELL Fluid Cache》，當(dāng)時(shí)比較看好具有深厚SDS基因的Fluid Cache(脫胎于DELL收購的RNA)，可惜不久也停產(chǎn)了，據(jù)說就是因?yàn)镋MC有DSSD。沒想到，時(shí)至今日，竟然聽到花了10億美元的DSSD將不再以原有面貌繼續(xù)銷售。
看來這種曲高和寡的超前技術(shù)，生存并壯大還是比較難的。不知道SAS交換技術(shù)在存儲(chǔ)和互聯(lián)網(wǎng)領(lǐng)域的發(fā)展會(huì)如何？ 歡迎大家投票或留言。
scrolling="no" frameborder="0" class="vote_iframe js_editor_vote_card" data-display-style="height: 225px;" data-display-src="/cgi-bin/readtemplate?t=vote/vote-new_tmpl&__biz=MzA5MzMwMTc2Ng==&supervoteid=459159988&token=24554944&lang=zh_CN" data-src="/mp/newappmsgvote?action=show&__biz=MzA5MzMwMTc2Ng==&supervoteid=459159988#wechat_redirect" data-supervoteid="459159988" allowfullscreen>
SDS新書是指《軟件定義存儲(chǔ)：原理、實(shí)踐與生態(tài)》
贈(zèng)書活動(dòng)
為感謝廣大讀者的支持以及慶祝《軟件定義存儲(chǔ)：原理、實(shí)踐與生態(tài)》一書第三次印刷，再次舉行簽名贈(zèng)書活動(dòng)。參與方法：
1.?在本文末留言，發(fā)表對本文內(nèi)容或?qū)浖x存儲(chǔ)看法；
2.?邀請朋友對您的留言點(diǎn)贊。
簽名包括如下8位作者：
1）第9章 飛康軟件 FreeStor作者 張瑾
2）第15章 Lenovo ThinkCloud AIO作者 要志文
3）第16章 華云網(wǎng)際FusionStor作者 王勁凱
4）序言3《軟件定義-存儲(chǔ)的規(guī)模效應(yīng)》的作者張廣彬（企事錄創(chuàng)始人）
? ? ? 序言3的詳情可打開：張廣彬《軟件定義——存儲(chǔ)的規(guī)模效應(yīng)》 ?& ?活動(dòng)介紹（2016軟件定義存儲(chǔ)技術(shù)沙龍，7月3日下午1點(diǎn)）
5）贊譽(yù)作者 陳緒博士 （Intel中國云計(jì)算戰(zhàn)略總監(jiān)，中國開源軟件推進(jìn)聯(lián)盟常務(wù)副秘書長）
6）本書主編Peter Ye（葉毓睿）；
7）第26章 容器與SDS 作者Henry Zhang（張海寧，他同時(shí)是《區(qū)塊鏈技術(shù)指南》的作者）；
8）第20章 Zadara云陣 作者鄒均（他同時(shí)是《區(qū)塊鏈技術(shù)指南》的第一作者）；
總結(jié)
以上是生活随笔為你收集整理的两本赠书和投票 | 服务器里面一定要有硬盘吗？ - SAS与SDS的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ios底部安全距离
- 下一篇： 2017云栖大会门票转让_云栖大会的门票