?第一，????????????? ?分布式文件系統(tǒng)的介紹

分布式文件系統(tǒng)有數(shù)十種方案可供選擇。如：ustre ，hadoop，Pnfs 等。還有下面要實現(xiàn)的moosfes moosfes 文件系統(tǒng)具有以下幾個優(yōu)點

?? 1 實施簡單。 MFS(即是moosfes) 的部署，配置相對于其他類型的分布式文件系統(tǒng)來數(shù)，相對簡單。

? 2? 在不停止服務(wù)時，就能對該文件系統(tǒng)進行擴容。 MFS 框架做好后，隨時就可以可以對服務(wù)器進行擴充容量；在進行擴充? ， 減少容量的同時都不會對現(xiàn)有服務(wù)造成影響。注： hadoop 也具有該功能

? 3 容易恢復(fù)。

? 4 高可靠性，將數(shù)據(jù)分成幾個副本存儲在不同的計算機中；通過增加計算機或者增加硬盤，動態(tài)的擴充可用磁盤空間； 可以設(shè)置刪除文件的空間回收時間； 同時也能為文件創(chuàng)建快照

?6． mfs 文件系統(tǒng)的組成

???? 1，原數(shù)據(jù)服務(wù)器。負責(zé)管理文件系統(tǒng)

???? 2 數(shù)據(jù)服務(wù)器，即是chunkserver 。真正存儲用戶的數(shù)據(jù)服務(wù)器。存儲文件時，首先把文件分成數(shù)據(jù)塊，然后這些數(shù)據(jù)塊存在數(shù)據(jù)服務(wù)器chunkserver之間復(fù)制。數(shù)據(jù)服務(wù)器可以死多個，并將數(shù)據(jù)服務(wù)器的數(shù)量越多，可使用的“磁盤空間”越大，同時可靠性也就越高

????? 3，客戶端。使用MFS文件系統(tǒng)來存儲和訪問的主機稱為mfs 的客戶端，成功掛接MFS文件系統(tǒng)后，就可以共享該虛擬性的存儲

7 MooseFS（即是mfs） 架構(gòu)（如下圖）

????? ??mfs 包括四種類型的機器

l? ?Mangaging Server （master server）

l? ?Data servers （chunk servers）

l? ?Metadata backup servers (metalogger server)

l? ?Client

?? ? ? ? ?

?

?

?

第二．Master server(元數(shù)據(jù)服務(wù)器) 的安裝

1 首先創(chuàng)建用戶mfs

? #useradd –s /sbin/nologin ?mfs

2 配置安裝數(shù)據(jù)源服務(wù)器

??? #tar? -xvf?? mfs-1.6.17.tar.gz

??? # cd mfs-1.6.17

??? # ./configure? --prefix=/usr/local/mfs? --disable-mfschunkserver ?--disable-mfsmount –with-default-user=mfs? --with-default-group=mfs?

??? #make? && make install

3 配置數(shù)據(jù)服務(wù)器的相關(guān)配置文件

???? #cd /usr/local/mfs/etc

???? #cp?? mfsexports.cfg.dist??? mfsexports.cfg

???? #cp?? mfsmaster.cfg.dist???? mfsmaster.cfg

???? #cd? /usr/local/mfs/var/mfs

???? #cp? metadata.mfs.empty? metadata.mfs

?? 4 修改mfsexports.cfg? ，mfsmaster.cfg

?? ??IP ?????/??? rw,alldirs,maproot=0

???? 注：IP 是允許 掛載的主機，該處可以是域名，主機名，IP地址

???????? #vim? mfsmaster.cfg

????????? mfsmaster.cfg 每行都是被注釋掉了，但是都是配置文件的默認值。

?? LOCK_FILE=/var/run/mfs/mfsmaster.lock?

?????? 注：文件鎖在的位置，該文件主要是避免多次啟動同一個守護進程。

?? DATA_PATH=/user/local/mfs/var/mfs 數(shù)據(jù)存儲路徑，只是元數(shù)據(jù)的存放路徑，

?? MATOCS_LISTEN_PORT = 9420? 即元數(shù)據(jù)服務(wù)使用9420 這個端口來接受數(shù)據(jù)儲存服務(wù)器chunkserver端的連接

?? MATOCU_LISTEN_PORT = 9421? 元數(shù)據(jù)服務(wù)器在9421 端口監(jiān)聽，用用以接受客戶端對于MFS進行遠程掛接（客戶端以mfsmount 掛接MFS）

??????? 5 啟動元數(shù)據(jù)服務(wù)器master

??????????????????? #/usr/local/mfs/sbin/mfsmaster? start

???????????????????????????? working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmaster modules ...

loading sessions ... ok

sessions file has been loaded

exports file has been loaded

loading metadata ...

loading objects (files,directories,etc.) ... ok

loading names ... ok

loading deletion timestamps ... ok

checking filesystem consistency ... ok

loading chunks data ... ok

connecting files and chunks ... ok

all inodes: 6

directory inodes: 2

???????????????????????????? file inodes: 4

chunks: 46

metadata file has been loaded

stats file has been loaded

master <-> metaloggers module: listen on *:9419

master <-> chunkservers module: listen on *:9420

main master server module: listen on *:9421

mfsmaster daemon initialized properly

?

?

?? 6 關(guān)閉原數(shù)據(jù)服務(wù)器master?

?

?????? 在關(guān)閉元數(shù)據(jù)服務(wù)器master， 務(wù)必使用/usr/local/mfs/sbin/mfsmaster –s

?

?

?????? 如果直接使用kill 殺死進程，導(dǎo)致下次啟動時出現(xiàn)找不到相關(guān)文件，而不能正常啟動服務(wù)器。 如果使用kill 殺死進程，時出現(xiàn)上面的問題時，可以通過mfsmetastore 來恢復(fù)

第三，安裝數(shù)據(jù) 儲存服務(wù)器 chunkserver

1???????? 解壓mfs

#tar? -xvf? mfs-1.6.17.tar.gz

#cd? mfs-1.6.17

2???????? 創(chuàng)建mfs 用戶

?? #useradd ?-s /sbin/nologin mfs

3???????? 配置安裝mfs

? #? ./configure –prefix=/usr/local/mfs?? --disable-mfsmaster –disable-mfsmount –with-default-user=mfs? --with-default-group=mfs

? #make? && make install

4???????? 修改相關(guān)的配置文件

?? #cd? /usr/local/mfs/etc

?? #cp?? mfschunkserver.cfg.dist?? mfschunkserver.cfg

?? #cp? mfshdd.cfg.dist???? mfsshdd.cfg

?? #vim? mfschunkserver.cfg

??????? 取消下列注釋

????? MASTER_HOST= 192.168.2.1

??????? 注： 該處的ip地址為元數(shù)據(jù)服務(wù)器的IP地址，此處可以設(shè)置元數(shù)據(jù)服務(wù)器的域名等

?? LOCK_FILE=/var/run/mfs/mfschunkserver.lock??

??????????????????????? 注：文件鎖在的位置，該文件主要是避免多次啟動同一個守護進程

?? ? ? ? CSSERV_LISTEN_PORT=9422 該端口用于與其他數(shù)據(jù)儲存服務(wù)器間的連接，通常是數(shù)據(jù)復(fù)制?

?

???????????? HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg

??????????????? 注： 分配給MFS使用的磁盤空間配置文件的位置

?

5???????? 修改配置文件mfshdd.cfg 服務(wù)分區(qū)掛接點 /data ，并修改屬主

#chown? -R mfs:mfs? /data

?注：mfshdd.cfg 文件存的是用來給MooseFs 使用的空間，如果是單個chunkserver的儲存空間最好大于2g，否則無法寫入空間

6???????? 啟動數(shù)據(jù)儲存服務(wù)器chunkserver

#/usr/local/mfs/sbin/mfschunkserver? start

?working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfschunkserver modules ...

hdd space manager: scanning folder /mnt/data/ ...

hdd space manager: /mnt/data/: 46 chunks found

hdd space manager: scanning complete

main server module: listen on *:9422

stats file has been loaded

mfschunkserver daemon initialized properly

7???????? 數(shù)據(jù)儲存服務(wù)器chunkserver 監(jiān)聽的端口為9422 ，同樣關(guān)閉數(shù)據(jù)儲存服務(wù)器時同樣和元數(shù)據(jù)服務(wù)器的方法類似

#/usr/local/mfs/sbin/mfschunkserver –s

第四，安裝元數(shù)據(jù)日志服務(wù)器 mfsmetalogger

????? 1 創(chuàng)建mfs 用戶

???????? #useradd? -s /sbin/nologin? mfs

????? 2 安裝元數(shù)據(jù)日志服務(wù)器

????????? # tar –xvf? mfs-1.6.17.tar.gz

????????? #cd mfs-1.6.17

????????? # ./configure? --prefix=/usr/local/mfs?? --disable-mfschunkserver? --disable-mfsmount? --with-default-user=mfs?? --with-default-group=mfs??

????????? # make? && make install

?????? 3 修改相關(guān)配置

????????? #cd? /usr/local/mfs/etc

?????????? #cp? mfsmetalogger.cfg.dist? mfsmetalogger.cfg

??????????? #vim mfsmetalogger.cfg

???????????? 并把修改下面的選項

??????????????? MASTER_HOST = mfsmaster 為

???????????????? MASTER_HOST = 192.168.2.1 此地址為mfsmaster 的ip地址

??????????????? 并保存

??????????????? back_logs =50?

?????????????? META_DOWNLOAD_FREQ=24 注：元數(shù)據(jù)備份文件下載請求頻率，默認為24 小時，即每個一天重元數(shù)據(jù)服務(wù)器 (master) 下載一個metadata.mfs.back 文件。但元數(shù)據(jù)服務(wù)器關(guān)閉或者故障時，matedata.mfs.back文件將消失，如果要回復(fù)整個 mfs。則需要從metalogger服務(wù)器取得該文件。該文件與日志文件在一起時，才能恢復(fù)整個被損壞的分布式文件系統(tǒng)

???? 4 啟動元數(shù)據(jù)日志服務(wù)器

??????? #/usr/local/sbin/mfsmetalogger start

????????? working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmetalogger modules ...

mfsmetalogger daemon initialized properly

?注： metalogger 連接的master的9419 端口

??

第五.MFS客戶端的安裝?

?

?? 1 創(chuàng)建，mfs 用戶

?

??? #useradd? -s /sbin/nologin mfs

? 2 解壓安裝fuse?

????? # tar –xvf fuse-2.8.5.tar.gz

????? #cd fuse-2.8.5

????? #./configure? -prefix=/usr/local/fuse

????? #make && make install

3 設(shè)置fuse 的環(huán)境

?? #vim? /etc/profile 并在其尾部添加如下配置

???? export PKG_CONFIG_PATH=/usr/local/fuse/lib/pkgconfig:$PKG_CONFIG_PATH

????? 保存并執(zhí)行

?? ??#source? /etc/profile

4解壓，安裝mfs客戶端

???? #tar –xvf? mfs-1.6.17.tar.gz

???? #cd? mfs-1.6.17

???? #./configure? --prefix=/user/local/mfs?? --disable-mfsmaster –disable-mfschunkserver –enable-mfsmount? --with-default-user=mfs? --with-default-group=mfs

???? #make? && make install

5 掛載MooseFs

??? #mkdir? /mnt/mfs

? #/usr/local/mfs/bin/mfsmount –H? 192.168.2.1 /mnt/mfs

mfsmaster accepted connection with parameters:read-write,restricted_ip;root mapped to root:root

?

?

?

?

?注：參考blog ：

http://sery.blog.51cto.com/blog/10037/147756

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??http://hi.baidu.com/%C2%ED%B3%A4%D5%F72008/blog/item/905decff0498813d5d600817.html

?

轉(zhuǎn)載于:https://blog.51cto.com/freehat/411552

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Redhat5.4 系统上部署 MooseFS分布式文件系统的部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。