GFS分布式文件系統(tǒng)簡介及部署

• 一、GFS概述
• • 1、文件系統(tǒng)
  • • ①、文件系統(tǒng)組成
    • ②、文件系統(tǒng)的作用
    • ③、專業(yè)術(shù)語
• 二、GFS特點(diǎn)
• 三、GFS工作原理
• 四、GFS卷
• • 1、GFS卷類型
  • 2、三大基本卷的特點(diǎn)
  • • ①、分布式卷
    • ②、條帶卷
    • ③、復(fù)制卷
• 五、部署GFS集群
• • 1、部署節(jié)點(diǎn)集群
  • 2、部署客戶端
  • 3、正常測試
  • 4、破壞性測試
  • • ①、分布式卷數(shù)據(jù)（可查看，但缺少node2的demo5.log）
    • ②、條帶卷（不可查看，不具備冗余）
    • ③、復(fù)制卷（可查看 ，有冗余）
    • ④、分布式條帶卷（不可查看，不具備冗余）
    • ⑤、分布式復(fù)制卷（可查看 ，有冗余）
• 六、gluster命令
• 總結(jié)
• • 工作原理
  • GFS特點(diǎn)

一、GFS概述

1、文件系統(tǒng)

①、文件系統(tǒng)組成

• 文件系統(tǒng)接口（API）
• 對對象管理的軟件集合
• 對象及屬性

②、文件系統(tǒng)的作用

• 從系統(tǒng)角度來看，文件系統(tǒng)是對文件存儲設(shè)備的空間進(jìn)行組織和備份
• 負(fù)責(zé)文件存儲并對存入的文件進(jìn)行保護(hù)和檢索的系統(tǒng)
• 具體地說，它負(fù)責(zé)為用戶建立文件、存入、讀出、修改、轉(zhuǎn)儲文件、控制文件的存儲

③、專業(yè)術(shù)語

• 【1】Brick（塊存儲服務(wù)器）實(shí)際存儲用戶數(shù)據(jù)的服務(wù)器

• 【2】Volume本地文件系統(tǒng)的"分區(qū)"

• 【3】FUSE用戶空間的文件系統(tǒng)（類別EXT4），”這是一個偽文件系統(tǒng)“，用戶端的交換模塊

• 【4】VFS（虛擬端口）內(nèi)核態(tài)的虛擬文件系統(tǒng)，用戶是提交請求給VFS 然后VFS交給FUSH，再交給GFS客戶端，最后由客戶端交給遠(yuǎn)端的存儲

• 【5】Glusterd（服務(wù)）是運(yùn)行再存儲節(jié)點(diǎn)的進(jìn)程（客戶端運(yùn)行的是gluster client）GFS使用過程中整個GFS之間的交換由Gluster client 和glusterd完成

二、GFS特點(diǎn)

• 【1】擴(kuò)展性和高性能
• 【2】高可用性
• 【3】全局統(tǒng)一命名空間
• 【4】彈性卷管理
• 【5】基于標(biāo)準(zhǔn)協(xié)議

三、GFS工作原理

• 【1】外來請求通過掛載點(diǎn)時，linux 系統(tǒng)內(nèi)核通過VFS接口，把請求發(fā)送到FUSE
• 【2】FUSE將數(shù)據(jù)交給內(nèi)存的/dev/fuse，然后遞交到GFS客戶端
• 【3】GFS客戶端對數(shù)據(jù)進(jìn)行處理，并通過網(wǎng)絡(luò)協(xié)議（如TCP、IB等），傳輸?shù)紾FS服務(wù)端
• 【4】GFS服務(wù)端接收到數(shù)據(jù)后，通過VFS接口，對數(shù)據(jù)進(jìn)行相應(yīng)的轉(zhuǎn)存處理

四、GFS卷

1、GFS卷類型

• 分布式卷
• 條帶卷
• 復(fù)制卷
• 分布式條帶卷
• 分布式復(fù)制卷
• 條帶復(fù)制卷
• 分布式條帶數(shù)據(jù)卷

2、三大基本卷的特點(diǎn)

①、分布式卷

• 文件分布在不同的服務(wù)器，不具備冗余性
• 更容易和廉價地擴(kuò)展卷的大小
• 單點(diǎn)故障會造成數(shù)據(jù)丟失
• 依賴底層的數(shù)據(jù)保護(hù)

②、條帶卷

• 數(shù)據(jù)被分割成更小塊分布到塊服務(wù)器群中的不同條帶區(qū)
• 分布減少了負(fù)載且更小的文件加速了存取的速度
• 沒有數(shù)據(jù)冗余

③、復(fù)制卷

• 卷中所有的服務(wù)器均保存一個完整的副本
• 卷的副本數(shù)量可由客戶創(chuàng)建的時候決定
• 至少由兩個塊服務(wù)器或更多服務(wù)器
• 具備冗余性

五、部署GFS集群

節(jié)點(diǎn)名稱ip地址磁盤掛載點(diǎn)

Node1節(jié)點(diǎn)	192.168.184.50	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node2節(jié)點(diǎn)	192.168.184.60	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node3節(jié)點(diǎn)	192.168.184.70	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1
Node4節(jié)點(diǎn)	192.168.184.80	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1 /data/sde1

1、部署節(jié)點(diǎn)集群

#關(guān)閉防火墻 systemctl stop firewalld setenforce 0#磁盤分區(qū)，并進(jìn)行掛載 vim /opt/fdisk.sh #!/bin/bash NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq` for VAR in $NEWDEV doecho -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/nullmkfs.xfs /dev/${VAR}"1" &> /dev/nullmkdir -p /data/${VAR}"1" &> /dev/nullecho "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab done mount -a &> /dev/nullcd /opt chmod +x fdisk.sh ./fdisk.sh#配置各個節(jié)點(diǎn)的/etc/hosts文件（所有節(jié)點(diǎn)操作） echo "192.168.184.50 node1" >> /etc/hosts echo "192.168.184.60 node2" >> /etc/hosts echo "192.168.184.70 node3" >> /etc/hosts echo "192.168.184.80 node4" >> /etc/hosts#安裝、啟動GFS（所有節(jié)點(diǎn)操作） unzip gfsrepo.zip cd /etc/yum.repos.d/ mv * repos.bak/ vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1yum clean all && yum makecacheyum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdmasystemctl start glusterd.service systemctl enable glusterd.service systemctl status glusterd.service#添加DNS，進(jìn)行時間同步 echo "nameserver 114.114.114.114" >> /etc/resolv.conf ntpdate ntp1.aliyun.com#添加節(jié)點(diǎn)到存儲信任池中（在任意一個node中操作） gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4#在每個node節(jié)點(diǎn)上查看群集狀態(tài) gluster peer status========根據(jù)以下規(guī)劃創(chuàng)建卷========= 卷名稱 卷類型 Brick dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1) stripe-volume 條帶卷 node1(/data/sdc1)、node2(/data/sdc1) rep-volume 復(fù)制卷 node3(/data/sdb1)、node4(/data/sdb1) dis-stripe 分布式條帶卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) dis-rep 分布式復(fù)制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)#創(chuàng)建分布式卷，沒有指定類型，默認(rèn)創(chuàng)建的是分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force gluster volume list gluster volume start dis-volume gluster volume info dis-volume#指定類型為 stripe，數(shù)值為 2，且后面跟了 2 個 Brick Server，所以創(chuàng)建的是條帶卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force gluster volume start stripe-volume gluster volume info stripe-volume#指定類型為 replica，數(shù)值為 2，且后面跟了 2 個 Brick Server，所以創(chuàng)建的是復(fù)制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force gluster volume start rep-volume gluster volume info rep-volume#創(chuàng)建分布式條帶卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force gluster volume start dis-stripe gluster volume info dis-stripe#創(chuàng)建分布式復(fù)制卷 gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force gluster volume start dis-rep gluster volume info dis-rep

2、部署客戶端

cd /opt unzip gfsrepo.zip cd /etc/yum.repos.d/ mv * repos.bak/vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1yum clean all && yum makecacheyum -y install glusterfs glusterfs-fusemkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}echo "192.168.184.50 node1" >> /etc/hosts echo "192.168.184.60 node2" >> /etc/hosts echo "192.168.184.70 node3" >> /etc/hosts echo "192.168.184.80 node4" >> /etc/hostsmount.glusterfs node1:dis-volume /test/dis mount.glusterfs node1:stripe-volume /test/stripe mount.glusterfs node1:rep-volume /test/rep mount.glusterfs node1:dis-stripe /test/dis_stripe mount.glusterfs node1:dis-rep /test/dis_repdf -h

3、正常測試

#客戶端寫入數(shù)據(jù) cd /opt dd if=/dev/zero of=/opt/demo1.log bs=1M count=40 dd if=/dev/zero of=/opt/demo2.log bs=1M count=40 dd if=/dev/zero of=/opt/demo3.log bs=1M count=40 dd if=/dev/zero of=/opt/demo4.log bs=1M count=40 dd if=/dev/zero of=/opt/demo5.log bs=1M count=40ls -lh /optcp demo* /test/dis cp demo* /test/stripe/ cp demo* /test/rep/ cp demo* /test/dis_stripe/ cp demo* /test/dis_rep/#查看文件分布 1、查看分布式文件分布 node1：ll -h /data/sdb1 node2：ll -h /data/sdb1 2、查看條帶卷文件分布 node1：ll -h /data/sdc1 node2：ll -h /data/sdc1 3、查看復(fù)制卷文件分布 node3：ll -h /data/sdb1 node4：ll -h /data/sdb1 4、查看分布式條帶卷分布 node1：ll -h /data/sdd1 node2：ll -h /data/sdd1 node3：ll -h /data/sdd1 node4：ll -h /data/sdd1 5、查看分布式復(fù)制卷分布 node1：ll -h /data/sde1 node2：ll -h /data/sde1 node3：ll -h /data/sde1 node4：ll -h /data/sde1

• 【1】node1

• 【2】node2

• 【3】node3
  

-【4】node4

4、破壞性測試

• node2和node4的服務(wù)器進(jìn)行掛機(jī)來模擬故障，然后在客戶端上查看其他服務(wù)器的文件是否正常

①、分布式卷數(shù)據(jù)（可查看，但缺少node2的demo5.log）

②、條帶卷（不可查看，不具備冗余）

③、復(fù)制卷（可查看 ，有冗余）

④、分布式條帶卷（不可查看，不具備冗余）

⑤、分布式復(fù)制卷（可查看 ，有冗余）

六、gluster命令

gluster [參數(shù)] 常用參數(shù)說明

peer probe 節(jié)點(diǎn)	添加節(jié)點(diǎn)
peer detach 節(jié)點(diǎn)	刪除節(jié)點(diǎn)
peer status 節(jié)點(diǎn)	節(jié)點(diǎn)狀態(tài)
volume start 卷名	啟動卷
volume stop 卷名	停止卷
volume delete 卷名	刪除卷
volume list	列出卷
volume info	查看卷信息
volume status	查看卷狀態(tài)

總結(jié)

工作原理

• 【1】外來請求通過掛載點(diǎn)時，linux 系統(tǒng)內(nèi)核通過VFS接口，把請求發(fā)送到FUSE
• 【2】FUSE將數(shù)據(jù)交給內(nèi)存的/dev/fuse，然后遞交到GFS客戶端
• 【3】GFS客戶端對數(shù)據(jù)進(jìn)行處理，并通過網(wǎng)絡(luò)協(xié)議（如TCP、IB等），傳輸?shù)紾FS服務(wù)端
• 【4】GFS服務(wù)端接收到數(shù)據(jù)后，通過VFS接口，對數(shù)據(jù)進(jìn)行相應(yīng)的轉(zhuǎn)存處理

GFS特點(diǎn)

• 【1】擴(kuò)展性和高性能
• 【2】高可用性
• 【3】全局統(tǒng)一命名空間
• 【4】彈性卷管理
• 【5】基于標(biāo)準(zhǔn)協(xié)議

總結(jié)

以上是生活随笔為你收集整理的GFS分布式文件系统简介及部署——让存储变得更高级的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。