如何構建GFS分布式存儲平臺？理論+實操！

• 一、GlusterFS簡介
• • 1、GlusterFS的概念
  • 2、GlusterFS特點
  • 3、GlusterFS術語
  • 4、GlusterFS的工作流程
  • 5、GFS支持的七種卷
  • • 分布式卷（默認）
    • 條帶卷（默認）
    • 復制卷（Replica volume）
    • 分布式條帶卷（Distribute Stripe volume）
    • 分布式復制卷（Distribute Replica volume）
    • 條帶復制卷（Stripe Replca volume）
    • 分布式條帶復制卷（Distribute Stripe Replicavolume）
• 二、相關維護命令
• 三、模擬實驗——部署 GlusterFS 群集
• • 1、節點進行磁盤分區、掛載
  • 2、配置/etc/hosts文件
  • 3、安裝、啟動GlusterFS
  • 4、添加節點創建集群
  • 5、根據規劃創建卷
  • • （1）創建分布式卷
    • （2）創建條帶卷
    • （3）創建復制卷
    • （4）創建分布式條帶卷
    • （5）創建分布式復制卷
  • 6、部署gluster客戶端
  • 7、測試 Gluster 文件系統
  • 8、查看文件分布
  • • （1）查看分布式文件分布
    • （2）查看條帶卷文件分布
    • （3）查看復制卷文件分布
    • （4）查看分布式條帶卷分布
    • （5）查看分布式復制卷分布
• 四、冗余測試
• • 1、分布式卷
  • 2、條帶卷
  • 3、分布式條帶卷
  • 4、分布式復制卷
  • 5、復制卷
• 總結

一、GlusterFS簡介

1、GlusterFS的概念

GlusterFS：開源的分布式文件系統

• 組成：
  • 存儲服務器
  • 客戶端
  • NFS/Samba 存儲網關
• 無元數據服務器
  • 數據分散存儲
  • 可避免出現單點故障

2、GlusterFS特點

擴展性和高性能

• GlusterFS利用雙重特性來提供高容量存儲解決方案。
  Scale-Out架構允許通過簡單地增加存儲節點的方式來提高存儲容量和性能（磁盤、計算和I/O資源都可以獨立增加），支持10GbE和 InfiniBand等高速網絡互聯。
• Gluster彈性哈希（ElasticHash）解決了GlusterFS對元數據服務器的依賴，改善了單點故障和性能瓶頸，真正實現了并行化數據訪問。GlusterFS采用彈性哈希算法在存儲池中可以智能地定位任意數據分片（將數據分片存儲在不同節點上），不需要查看索引或者向元數據服務器查詢。

高可用性

• GlusterFS可以對文件進行自動復制，如鏡像或多次復制，從而確保數據總是可以訪問，甚至是在硬件故障的情況下也能正常訪問。
  當數據出現不一致時，自我修復功能能夠把數據恢復到正確的狀態，數據的修復是以增量的方式在后臺執行，幾乎不會產生性能負載。
  GlusterFS可以支持所有的存儲，因為它沒有設計自己的私有數據文件格式，而是采用操作系統中主流標準的磁盤文件系統（如EXT3、XFS等）來存儲文件，因此數據可以使用傳統訪問磁盤的方式被訪問。

全局統一命名空間

• 分布式存儲中，將所有節點的命名空間整合為統一命名空間，將整個系統的所有節點的存儲容量組成一個大的虛擬存儲池，供前端主機訪問這些節點完成數據讀寫操作。

彈性卷管理

• GlusterFS通過將數據儲存在邏輯卷中，邏輯卷從邏輯存儲池進行獨立邏輯劃分而得到。
  邏輯存儲池可以在線進行增加和移除，不會導致業務中斷。邏輯卷可以根據需求在線增長和縮減，并可以在多個節點中實現負載均衡。
  文件系統配置也可以實時在線進行更改并應用，從而可以適應工作負載條件變化或在線性能調優。

基于標準協議

• Gluster 存儲服務支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生協議，完全與 POSIX 標準兼容。
  現有應用程序不需要做任何修改就可以對Gluster 中的數據進行訪問，也可以使用專用 API 進行訪問

3、GlusterFS術語

• Brick（塊存儲）：由主機提供的用于物理存儲的專用分區，是GlusterFS中的基本存儲單元，同時也是可信存儲池中服務器上對外提供的存儲目錄。
• Volume（邏輯卷）：一個邏輯卷是一組 Brick 的集合。卷是數據存儲的邏輯設備，類似于 LVM 中的邏輯卷。大部分 Gluster 管理操作是在卷上進行的。
• FUSE：用戶空間的文件系統（類別EXT4），”這是一個偽文件系統“，用戶端的交換模塊
• VFS（虛擬端口）：內核態的虛擬文件系統，用戶是提交請求給VFS 然后VFS交給FUSH，再交給GFS客戶端，最后由客戶端交給遠端的存儲
• Glusterd（服務）：是運行再存儲節點的進程（客戶端運行的是gluster client）GFS使用過程中整個GFS之間的交換由Gluster client 和glusterd完成

4、GlusterFS的工作流程

• 外來一個請求，例：用戶端申請創建一個文件，客戶端或應用程序通過GFS的掛載點訪問數據
• linux系統內容通過VFSAPI收到請求并處理
• VFS將數據遞交給FUSE內核文件系統，fuse文件系統則是將數據通過/dev/fuse設備文件遞交給了GlusterFS client端
• GlusterFS client端收到數據后，會根據配置文件的配置對數據進行處理
• 再通過網絡，將數據發送給遠端的ClusterFS server，并將數據寫入到服務器儲存設備上
• server再將數據轉交給VFS偽文件系統，再由VFS進行轉存處理，最后交給EXT3

5、GFS支持的七種卷

分布式卷（默認）

文件通過HASH算法分布到所有Brick Server上，這種卷是GFS的基礎；文件沒有被分片，直接根據HASH算法散列到不同的Brick，其實只是擴大了磁盤空間，并不具備容錯能力，屬于文件級RAID 0

分布式卷的特點：

• 文件分布在不同的服務器，不具備冗余性
• 更容易和廉價地擴展卷的大小
• 單點故障會造成數據丟失
• 依賴底層的數據保護

條帶卷（默認）

類似RAID 0，文件被分成數據庫并以輪詢的方式分布到多個Brick Server上，文件存儲以數據塊為單位，支持大文件存儲，文件越大，讀取效率越高

條帶卷特點：

• 數據被分割成更小塊分布到塊服務器群中的不同條帶區
• 分布減少了負載且更小的文件加速了存取的速度
• 沒有數據冗余

復制卷（Replica volume）

• 將文件同步到多個Brick上，使其具備多個文件副本，屬于文件級RAID 1，具有容錯能力。因為數據分散在多個Brick中，所以讀性能得到很大提升，但寫性能下降

復制卷特點：

• 卷中所有的服務器均保存一個完整的副本
• 卷的副本數量可由客戶創建的時候決定
• 至少由兩個塊服務器或更多服務器
• 具備冗余性

分布式條帶卷（Distribute Stripe volume）

• Brick Server數量是條帶數（數據塊分布的Brick數量）的倍數
  兼具分布式卷和條帶的特點

分布式復制卷（Distribute Replica volume）

• Brick Server數量是鏡像數（數據副本 數量）的倍數
  兼具分布式卷和復制卷的特點

條帶復制卷（Stripe Replca volume）

• 類似RAID 10，同時具有條帶卷和復制卷的特點

分布式條帶復制卷（Distribute Stripe Replicavolume）

• 三種基本卷的復合卷通常用于類Map Reduce應用

二、相關維護命令

1、查看GlusterFS卷 gluster volume list 2、查看所有卷的信息 gluster volume info3、查看所有卷的狀態 gluster volume status4、停止一個卷 gluster volume stop dis-stripe5、刪除一個卷 注意：刪除卷時，需要先停止卷，且信任池中不能有主機處于宕機狀態，否則刪除不成功 gluster volume delete dis-stripe6．設置卷的訪問控制 僅拒絕 gluster volume set dis-rep auth.allow 192.168.172.100僅允許 gluster volume set dis-rep auth.allow 192.168.172.* #設置192.168.172.0網段的所有IP地

三、模擬實驗——部署 GlusterFS 群集

gfsrepo.zip
集群環境準備

節點名稱ip地址磁盤掛載點

Node1節點	192.168.172.10	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node2節點	192.168.172.20	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node3節點	192.168.172.30	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node4節點	192.168.172.40	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
客戶端	192.168.172.50

所有節點更改名稱，方便識別
關防火墻（所有節點和客戶端）

systemctl stop firewalld setenforce 0

1、節點進行磁盤分區、掛載

Node1節點：192.168.172.10
Node2節點：192.168.172.20
Node3節點：192.168.172.30
Node4節點：192.168.172.40
這里使用node1作為示范，用腳本對磁盤進行操作

vim fdisk.sh #!/bin/bash NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq` for VAR in $NEWDEV doecho -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/nullmkfs.xfs /dev/${VAR}"1" &> /dev/nullmkdir -p /data/${VAR}"1" &> /dev/nullecho "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab done mount -a &> /dev/nullchmod +x fdisk.sh ./fdisk.sh

2、配置/etc/hosts文件

Node1節點：192.168.172.10
Node2節點：192.168.172.20
Node3節點：192.168.172.30
Node4節點：192.168.172.40
這里做一臺node1示范，其余都一樣

echo "192.168.172.10 node1" >> /etc/hosts echo "192.168.172.20 node2" >> /etc/hosts echo "192.168.172.30 node3" >> /etc/hosts echo "192.168.172.40 node4" >> /etc/hosts

3、安裝、啟動GlusterFS

Node1節點：192.168.172.10
Node2節點：192.168.172.20
Node3節點：192.168.172.30
Node4節點：192.168.172.40
使用node1作為示范

#將軟件包放入opt目錄下 cd /opt unzip gfsrepo.zip cd /etc/yum.repos.d/ mkdir repos.bak mv *.repo repos.bakvim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1yum clean all && yum makecacheyum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdmasystemctl start glusterd.service systemctl enable glusterd.service systemctl status glusterd.service

4、添加節點創建集群

Node1節點：192.168.172.10隨便在哪個node節點添加就行

gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4#查看群集狀態（可以在每個節點上使用） gluster peer status

5、根據規劃創建卷

創建卷只需要在一臺節點上創建即可
根據以下規劃創建卷：

卷名稱卷類型Brick

dis-volume	分布式卷	node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume	條帶卷	node1(/data/sdc1)、node2(/data/sdc1)
rep-volume	復制卷	node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe	分布式條帶卷	node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep	分布式復制卷	node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

（1）創建分布式卷

創建分布式卷，沒有指定類型，默認創建的是分布式卷創建分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force查看卷列表 gluster volume list啟動新建分布式卷 gluster volume start dis-volume查看創建分布式卷信息 gluster volume info dis-volume

（2）創建條帶卷

指定類型為 stripe，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是條帶卷創建條帶卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force啟動新建條帶卷 gluster volume start stripe-volume查看創建條帶卷信息 gluster volume info stripe-volume

（3）創建復制卷

指定類型為 replica，數值為 2，且后面跟了 2 個 Brick Server，所以創建的是復制卷創建復制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force啟動新建復制卷 gluster volume start rep-volume查看創建復制卷信息 gluster volume info rep-volume

（4）創建分布式條帶卷

指定類型為 stripe，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式條帶卷創建分布式條帶卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force啟動新建分布式條帶卷 gluster volume start dis-stripe查看創建分布式條帶卷信息 gluster volume info dis-stripe

（5）創建分布式復制卷

指定類型為 replica，數值為 2，而且后面跟了 4 個 Brick Server，是 2 的兩倍，所以創建的是分布式復制卷創建分布式復制卷gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force啟動新建分布式復制卷 gluster volume start dis-rep查看創建分布式復制卷信息 gluster volume info dis-rep 查看卷列表 gluster volume list

6、部署gluster客戶端

部署Gluster客戶端（192.168.172.50）
（1）安裝客戶端軟件

cd /opt unzip gfsrepo.zip cd /etc/yum.repos.d/ mkdir repos.bak mv * repos.bak/vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1yum clean all && yum makecacheyum -y install glusterfs glusterfs-fuse

（2）配置 /etc/hosts 文件

echo "192.168.172.10 node1" >> /etc/hosts echo "192.168.172.20 node2" >> /etc/hosts echo "192.168.172.30 node3" >> /etc/hosts echo "192.168.172.40 node4" >> /etc/hosts

（3）創建掛載目錄

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

（4）掛載 Gluster 文件系統

• 臨時掛載

mount.glusterfs node1:dis-volume /test/dis mount.glusterfs node1:stripe-volume /test/stripe mount.glusterfs node1:rep-volume /test/rep mount.glusterfs node1:dis-stripe /test/dis_stripe mount.glusterfs node1:dis-rep /test/dis_repdf -h

• 企業中最好用永久掛載，以防重啟或服務器宕機

vim /etc/fstab node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0 node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0 node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0 node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0 node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0mount -a

7、測試 Gluster 文件系統

Gluster客戶端（192.168.172.50）
向卷中寫入文件

cd /opt dd if=/dev/zero of=/opt/demo1.log bs=1M count=40 dd if=/dev/zero of=/opt/demo2.log bs=1M count=40 dd if=/dev/zero of=/opt/demo3.log bs=1M count=40 dd if=/dev/zero of=/opt/demo4.log bs=1M count=40 dd if=/dev/zero of=/opt/demo5.log bs=1M count=40ls -lh /opt

cp demo* /test/dis cp demo* /test/stripe/ cp demo* /test/rep/ cp demo* /test/dis_stripe/ cp demo* /test/dis_rep/

8、查看文件分布

查看卷對應的磁盤分區中的文件數據，驗證結果

（1）查看分布式文件分布

node1:/dev/sdb1

node2:/dev/sdb1

• 分布式只會將demo文件分開存儲（5個文件不在同一磁盤分區上），不會將數據分片和備份

（2）查看條帶卷文件分布

node1:/dev/sdc1

node2:/dev/sdc1

• 條帶卷會將每個demo文件中的數據分片存儲（兩個分區各有20M的文件），沒有備份

（3）查看復制卷文件分布

node3:/dev/sdb1

node4:/dev/sdb1

• 復制卷會將每個文件放入卷中的磁盤分區中（兩分區的文件一樣）

（4）查看分布式條帶卷分布

node1:/dev/sdd1
node2:/dev/sdd1
node3:/dev/sdd1
node4:/dev/sdd1

• 分布式條帶卷中，帶有分布式和條帶卷的特點，即將數據分片，又將文件分開存儲，沒有備份

（5）查看分布式復制卷分布

node1:/dev/sde1
node2:/dev/sde1
node3:/dev/sde1
node4:/dev/sde1

• 分布式復制卷中，帶有分布式和復制卷的特點，即將文件分開存儲，又復制一遍文件（備份）

四、冗余測試

掛起 node2 節點或者關閉glusterd服務來模擬故障

systemctl stop glusterd.service

在客戶端（192.168.172.50）上查看文件是否正常

1、分布式卷

ls -lh /test/dis

• 數據查看，缺少demo5，文件demo5是存儲在node2上的，所以分布式卷不具備冗余

2、條帶卷

ls -lh /test/stripe/

• 文件中沒有數據，說明數據全部丟失，所以條帶卷不具備冗余

3、分布式條帶卷

ls -lh /test/dis_stripe/

• 就剩下demo4和demo5了因為1.2.3都進行了分布式存儲在node1和node2上了node2掛了所以3個文件也就都沒了

4、分布式復制卷

ls -lh /test/dis_rep/

• 文件和數據都在，所以分布式復制卷具有冗余

5、復制卷

在node3和node4中選一個關閉的，關閉node4（192.168.172.40）進行測試

ls -lh /test/rep/

• 可以看到我把做復制卷的一臺node掛起后數據依然存在所以復制卷具有冗余

總結

與傳統的分布式系統一樣，GFS 同樣追求高性能、高可靠性、高可用性，但同時 Google 基于自身的生產環境、技術環境，有一些自身獨有的特點。首先，組件失效是常態化的，而非意外。在 GFS 成百上千的集群中，隨時隨地都可能發生故障導致機器無法恢復，所以，有一定的容災、自動恢復能力是必須要整合在 GFS 中的。其次，文件巨大，GB 級別的數據非常普遍。第三，絕大多數文件的寫操作都是追加，而非修改，通常的文件場景是順序寫，且順序讀。第四，應用程序和文件系統 API 的協同設計提高了整個系統的靈活性。

總結

以上是生活随笔為你收集整理的如何构建GFS分布式存储平台？理论+实操！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。