MFS分布式存储 心得体会
MFS分布式存儲
2015年開始研究分布式存儲,當初目的是為了給支付環境提供一套穩定的共享文件系統存儲。考察了當時 Lustre、HDFS、ceph(當初還不成熟)、glusterFS、MogileFS、FastDFS、KFS、淘寶TFS、NFS、OpenAFS、MooseFS、GPFS、PVFS、pnfs考察之后綜合當時使用場景、做了性能測試和故障恢復測試,結果選擇了MFS。
MFS工作原理:
當時MFS1.6版本沒有高可用,因此生產環境用了MFS+DRBD+Keepalived實現master節點高可用。
架構圖為:
說明:
①、2臺MFS的master節點安裝DRBD做網絡磁盤,磁盤上存放master的meta元數據文件;
②、2臺master上安裝keepalived,做VIP漂移,keepalived通過腳本檢測MFS的master的服務狀態,讓VIP自動切換。
③、client、chunk server、metalogger都連接到VIP上,保證了服務高可用。
具體MFS安裝可參考官網幫助文檔:https://moosefs.com/support/#documentation
生產中遇到過的問題:
1、由于機房管理人員操作失誤,兩個master節點硬盤全部格式化。
解決:通過日志服務器備份出來的日志恢復到了指定時間點。由于日志備份每天一次,數據還是有小部分丟失。
2、曾經入職一家商務公司,入職第一天技術部總監跟我說一個星期前一位同事去機房給3臺chunk server節點換了8塊硬盤(同時插拔的哦),其中兩臺節點硬盤沒有做raid,生產數據也沒有做多副本。
解決:從換硬盤到跑路。在測試MFS性能的時候對raid和單獨硬盤掛載做過比較,相同數量硬盤情況下raid比但度硬盤掛載性能差距不大,個人認為可視服務器狀況自行選擇,注意生產環境中raid和默認多副本要選擇其一。
認為可視服務器狀況自行選擇,注意生產環境中raid和默認多副本要選擇其一。
總結
以上是生活随笔為你收集整理的MFS分布式存储 心得体会的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Timemator for Mac(自动
- 下一篇: 磁盘结构和工作原理以及LBA与CHS