VSAN超融合笔记
VMware VSAN
- VMware vSAN是一款軟件定義的企業存儲解決方案,支持超融合基礎架構(Hyper-Converged Infrastructure,HCI)系統。VSAN使用軟件定義的方法為虛擬機創建共享存儲。可以虛擬化ESXI主機的本地物理存儲資源,并將這些資源轉化為存儲池。
- VSAN與VMware vSphere完全集成在一起,作為ESXI管理程序內的分布式軟件層。
相較于cisco的HyperFlex,他只能用在ESXI上。
標準VSAN集群 - 一個標準的VSAN集群至少包括三個主機,最多可擴展到64節點。通常情況下,標準vSAN集群中的所有主機都位于同一位置,VSAN網絡在相同的2層網絡上連接,推薦使用至少10Gb網絡進行數據同步。
常見VSAN組網架構
VSAN術語及定義 - VSAN使用磁盤組這一概念將閃存設備和磁盤作為管理單元
- 磁盤組至少包括1個閃存設備和1個磁盤
- 每臺主機最多5個磁盤組
- 每個磁盤組:1個SSD + 1至7個HDD/SSD - 閃存設備用于提供性能(讀緩存+寫緩沖區)70%讀、30%寫
- 磁盤用于提供存儲容量
- 不能在沒有閃存設備的情況下創建磁盤組
- 所有硬盤必須采用直通或RAID0模式連接。
- VSAN是一種以文件系統(VSAN FS)的形式呈現給vsphere的對象存儲解決方案。該對象存儲裝載著集群中主機的存儲資源,并將它們呈現為一整個共享數據存儲(vsandatastore)。僅限該集群的成員才能訪問vsan數據存儲,但并非所有主機都需要提供存儲。
在vsan數據存儲上,組成虛擬機的項目表示為對象。常見對象類型有虛擬機主目錄(包含虛擬配置文件和日志,如VMX文件)、虛擬磁盤(VMDK)、增量磁盤(快照)等。
- 每個對象由一組組件組成,基于虛擬機存儲配置文件中定義的性能和可用性要求劃分。必要時,VSAN也可以將大型對象分成多個組件。組建跨集群中的多臺主機分布,以便容許同時發生多個故障并滿足性能要求。
- VSAN利用分布式RAID體系結構將數據分發到整個集群中。組件分布主要采用兩種技術:鏡像(分布鏡像)(RAID1)、條帶化(磁盤陣列分割)(RAID0)
- VSAN默認存儲策略的條帶數為1,最大支持條帶數為12,建議使用默認值。
條帶化&RAID
條帶化技術,一種自動將I/O的負載均衡到多個物理磁盤上的技術,將一塊連續的數據分成很多小部分并把他們分別存儲到不同磁盤上去。當多個進程同時訪問數據的多個不同部分時不會造成磁盤沖突,而且在需要對這種數據進行順序訪問的時候可以獲得最大程度上的I/O并行能力,從而獲得非常好的性能。 - RAID通過硬盤的條帶化將硬盤空間分為一定大小的多個條帶,數據寫入時按條帶大小劃分數據模塊。RAID的數據保護方式有鏡像和奇偶校驗法兩種。
- 常見的RAID級別如下:
- RAID0:無校驗冗余,一組硬盤組成一個邏輯大硬盤(JBOD)
- RAID1:無校驗,數據鏡像,理論上最多同時損壞一半硬盤
- RAID5:有一塊盤空間大小的校驗信息,分布式存放在各個硬盤中,同時可以損壞1塊硬盤
- RAID6:有兩塊盤空間大小的校驗信息,分布式存放在各個硬盤中,同時可以損壞2塊硬盤
VSAN術語與定義
- 故障域,代表故障影響的服務器區域范圍,每個主機都是一個隱性故障域。
- FTT,Number of Failures to Tolerate(容許的故障數),代表能容許出現問題的故障域數量,最大值為3。
- 如果FTT=N,則所需副本數=N+1,見證數=N,故障域數=2*N+1
- 可以基于虛擬機選擇不同副本的存儲策略
不同容錯方法磁盤利用率對比
使用糾刪碼可以提高磁盤利用率,但是會少量犧牲一定的性能。
RAID5 (3+1配置)
每個條帶3個數據片段和1個奇偶校驗片段
RAID6 (4+2配置)
4個數據片段;1個奇偶校驗和每個條帶1個附加校驗
VSAN寫分析
1.虛擬機發出對象寫請求
2.虛擬機所在宿主機根據VSAN storage policy定義的FTT=1,合計克隆2份寫的I/O請求
3.esxi-01和esxi-02同步將對方寫入閃存(在各自的log上)
4.esxi-01和esxi-02向宿主機發出ACK-prepare operation
5.宿主機收到ACK,完成一次寫的IO操作
6.對象落盤到容量層(不一定同時發生,可能和其他寫IO合并)
VSAN讀分析
1.虛擬機發出對象讀請求
2.虛擬機所在宿主機選擇從一份副本中讀
所有副本的讀操作是負載均衡的,不一定要從本地副本讀
3.假設從esxi-02讀取對象,如果緩存中有,從緩存中讀取
4.如果緩存中沒有,從容量層讀取,并替換緩存中的“冷數據”(只針對混合模式)
5.將讀取的對象數據發送給宿主機
6.虛擬機收到讀取的對象數據
VMware VSAN部署實施
物理連線示意圖
實施前準備
- 信息規劃,包括設備連線表,服務器帶外管理地址,ESXI系統管理地址及VSAN地址、vcenter名稱地址信息表等。
- 軟件下載,VMware官網下載VCS&ESXI
- 確認DNS及NTP服務器狀態
- 完成網絡設備相關配置
部署實施
- 安裝ESXI
- 登錄服務器帶外管理平臺,掛載ISO安裝鏡像,通過虛擬軟盤啟動
根據指引界面完成安裝流程,過程中完成選擇系統安裝盤,設置root密碼等設置。
重啟完成后,配置ESXI管理地址
(vcenter安裝略)
登錄vcenter,新建集群,添加主機
在每臺主機上配置VSAN網絡
添加標準交換機,選擇VSAN流量的上聯網卡
添加vmk網絡,設置VSAN地址
默認的vmk0,管理網絡
配置VSAN
總結
- 上一篇: 从App Store的评分,再看钉钉、企
- 下一篇: 浅析 vSAN 磁盘组架构和缓存盘的“消