moosefs是一個開源的分布文件系統軟件，可提供高效，可靠的數據存儲能力.配置，維護都比較簡單。

MOOSEFS對離散讀寫的性能提升明顯。

建議底層使用xfs文件系統,支持更大的文件系統和更多的文件，這個的話rhel6已經加入支持了。

整個分布存儲系統由三部分組成：

master:

存儲數據位圖,權限信息,提供客戶端掛載接口,提供圖形管理接口等。

metalog(optional)

master服務器的備份。

chunkserver

數據存儲服務器，負責存儲數據。

clientserver

掛載客戶端，負責掛載MASTER節點EXPORT的存儲，配置目錄冗余度等.需要fuse模塊支持.

安裝與配置：

1.master

下載最新穩定程序mfs-1.6.15

添加組、用戶

添加程序家目錄

配置用戶環境變量

編譯安裝

配置mfsmaster.cfg , mfsmetalogger.cfg , mfsexports.cfg

轉移metadata.mfs

配置/etc/hosts

啟動mfsmaster進程，mfscgiserv進程

2.metalogger

下載最新穩定程序mfs-1.6.15

添加組、用戶

添加程序家目錄

配置用戶環境變量

編譯安裝

配置mfsmaster.cfg , mfsmetalogger.cfg , mfsexports.cfg

轉移metadata.mfs

配置/etc/hosts

啟動mfsmetalogger進程

3.chunkserver

下載最新穩定程序mfs-1.6.15

添加組、用戶

添加程序家目錄

配置用戶環境變量

編譯安裝

分配參與分布文件系統的目錄 ， 添加目錄的MFS用戶可訪問權限。

配置mfschunkserver.cfg , mfshdd.cfg

配置/etc/hosts

啟動mfschunkserver進程

重復配置剩余的chunkserver

4.clientserver

下載最新穩定程序mfs-1.6.15 ，fuse

首先安裝fuse(modprobe fuse,vi /etc/ld.so.conf,ldconfig)

然后添加組、用戶

添加程序家目錄

配置用戶環境變量

編譯安裝mfs

配置/etc/hosts

加載mfs文件夾,配置目錄goal等

使用：

監控(http://masterserver:9425)

啟動(master,metalogger,chunkserver,client)

關閉(client,chunkserver,metalogger,master)

測試(待續)：

測試環境

master 8核8G MEM

metalogger 8核8G MEM

chunkserver1 8核8G MEM 3disks

chunkserver2 8核8G MEM 3disks

chunkserver3 8核8G MEM 3disks

client1 8核8G MEM

client2 8核8G MEM

switch bandwidth 1G

1.讀寫測試

測試讀寫性能,2臺客戶機同時拷貝數據至MFS.

goal轉換

2.冗余度測試

設置目錄冗余度，在目錄中創建文件，CRASH掉冗余度-1臺節點，查看文件是否完整。

結論：完整

設置目錄A冗余度，-r 2,設置目錄冗余度B，-r 3,在目錄A中創建文件a，查看文件a冗余度，拷貝a到B目錄，查看a冗余度。將文件從A目錄移動到B目錄，查看移動后文件冗余度。

結論：移動不影響冗余度，復制冗余度受目錄限制。

3.MASTER節點恢復測試

CRASH MASTER節點，恢復。查看數據是否丟失。

結論：無丟失。

4.chunkserver擴展測試

記錄總容量A，增加節點，記錄總容量B。比較A,B

結論：容量立即增加。

5.CHUNKSERVER節點crash測試

記錄總容量A，CRASH某節點，記錄總容量B，恢復某節點，記錄總容量C。比較A,B,C

結論：CRASH后容量減去被CRASH的節點容量，恢復后容量恢復原狀。

6.數據一致性測試

寫A文件，CRASH某CHUNK，修改A文件，恢復某CRASH，查看A文件。

多個節點同時VI某個文件。

結論：文件一致。

7.回收站測試

超時測試：新建文件，設置trashtime，刪除文件，查看剩余容量。比較超時設置與剩余容量。

回退測試：刪除，回退。

結論：超時配置與預期一致，回退功能正常。

8.權限設置測試

測試目標uid,gid

結論：與目標UID,GID一致。

總結：

1.從MOOSEFS的架構可以看出最容易出現瓶頸的是MASTER節點部分，通信瓶頸或服務器的瓶頸

2.最好在MOUNT的時候取消文件和目錄的CACHE，防止不同步

3.適當調整超時時間,必要時刪除META立即回收空間

4.配置hotstandby提高可靠性，官方稱可以將切換做到1分鐘以內。

5.做好CHUNKSERVER的配額，防止溢出。

命令參考：

總結

以上是生活随笔為你收集整理的Moose File System分布文件系统测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。