深入浅出分布式文件系统MogileFS集群
????一，簡介? ?
????MogileFS是一款開源的分布式文件存儲系統(tǒng)，由LiveJournal旗下的Danga Interactive公司開發(fā)。Danga團隊開發(fā)了包括 Memcached、MogileFS、Perlbal 等多個知名的開源項目。目前MogileFS的日益成熟使用此解決方法的公司越來越多，例如日本的又拍、digg、中國的豆瓣、1號店、大眾點評、搜狗和安居客等，分別為所在的組織或公司管理著海量的圖片。和傳統(tǒng)網(wǎng)絡存儲不一樣的是分布式文件系統(tǒng)是將數(shù)據(jù)分散存儲至多臺服務器上，而網(wǎng)絡文件系統(tǒng)往往是將所有的數(shù)據(jù)存放在一起，存儲服務器將成為系統(tǒng)可用性的瓶頸，不能滿足大規(guī)模的存放所有數(shù)據(jù)需求。分布式文件系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺存儲設備分別存儲，分擔服務器負荷，利用位置服務器定位存儲信息，因此不僅能夠提升系統(tǒng)性能同時還易于擴展。
????二、實現(xiàn)組件
????MogileFS主要有三個部分組成：
①server端，包括兩個部分，mogilefsd和mogstored兩個應用程序，tracker是mogilefsd的實現(xiàn)方式，它通過數(shù)據(jù)庫來保證元數(shù)據(jù)信息，比如站點的domian、class、host等，mogstored則為存儲節(jié)點，默認監(jiān)聽7500端口，接受客服端的文件存儲請求，在MogileFS安裝完后，要運行mogadm工具將所有的store node注冊到mogilefsd的數(shù)據(jù)庫里，mogilefsd會對這些節(jié)點進行管理和監(jiān)控。
②utils工具集，主要是MogileFS的一些管理工具如mogadm等。
③客服端API，MogileFS的API接口很多，常用的的時間方式有php,perl,python,java等，使用這些語言可進行編寫客服端程序，實現(xiàn)文件的備份管理功能。
????三、MogileFS的特性及原理
????MogileFS特性：
????1.應用層服務，不需要使用和興組件
????2.無單點故障，tracker為跟蹤點，mogstored為存儲節(jié)點，mysql為儲存元數(shù)據(jù)節(jié)點，建議使用MySQL做高可用
????3.傳輸中立，無特殊協(xié)議，可用通過nfs和http實現(xiàn)通信
????4.簡單的命名空間，沒有目錄，直接存儲在存儲空間上，通過域來實現(xiàn)，不共享任何數(shù)據(jù)
? ??? ?
????MogileFS工作原理：MogileFS主要由mogilefsd和mogstored兩應用程序提供服務，tracker節(jié)點借助數(shù)據(jù)庫保存各個節(jié)點文件的元數(shù)據(jù)信息，保存每個域中所喲的存儲位置分布，用于實現(xiàn)快速定位同時監(jiān)控各個節(jié)點，通知客戶端存儲區(qū)域位置并指揮storaged節(jié)點復制數(shù)據(jù)副本，進程名為mogilefsd監(jiān)聽與7001端口。storage節(jié)點為實際存放文件的地方，存儲節(jié)點可以是http服務器，及其其他web服務，storage節(jié)點可自動維護鍵值的對應關系，storage節(jié)點前端可使用nginx進行反代，此時需要nginx-mogilefs-module-master模塊，此服務監(jiān)聽與7501端口，進程名為mogstored.一個域中的鍵值是唯一的，一個mogilefs可以有多個域，域可以有多個存儲設備，每個設備都有數(shù)據(jù)的容器，稱之為domain.每個存儲節(jié)點為一個主機（host），一個主機上可以有多個存儲設備，每個設備有id號，用來定位。復制的最小單元為class,文件屬性管理，定義文件存儲在不同的設備上的份數(shù)。
????四、MogileFS安裝及其配置實現(xiàn)
????安裝說明：此實驗可以僅適用兩臺服務進行，一臺服務即當做server端，又當做存儲節(jié)點同時還是mysql服務器，在每臺服務器上部署tracker管理并監(jiān)控節(jié)點。
????創(chuàng)建數(shù)據(jù)庫及授權修改相應的配置文件
grant?all?privileges?on?mogdb.*?to?'moguser'@'127.0.0.1'?identified?by?'pass';? grant?all?privileges?on?mogdb.*?to?'moguser'@'localhost'?identified?by?'pass';? flush?privileges;? #修改mogilefsd.conf配置文件 #?Enable?daemon?mode?to?work?in?background?and?use?syslog daemonize?=?1 #?Where?to?store?the?pid?of?the?daemon?(must?be?the?same?in?the?init?script) pidfile?=?/var/run/mogilefsd/mogilefsd.pid #?Database?connection?information db_dsn?=?DBI:mysql:mogdb:host=127.0.0.1?#修改為上面授權的賬號密碼及其主機 db_user?=?moguser?#修改為上面授權的賬號密碼及其主機 db_pass?=?pass??#修改為上面授權的賬號密碼及其主機 #?IP:PORT?to?listen?on?for?mogilefs?client?requests listen?=?0.0.0.0:7001??#其他參數(shù)可根據(jù)自己需求做相應的修改 #?Optional,?if?you?don't?define?the?port?above. conf_port?=?7001 #?Number?of?query?workers?to?start?by?default. query_jobs?=?10 #?Number?of?delete?workers?to?start?by?default. delete_jobs?=?1 #?Number?of?replicate?workers?to?start?by?default. replicate_jobs?=?5 #?Number?of?reaper?workers?to?start?by?default. #?(you?don't?usually?need?to?increase?this) reaper_jobs?=?1 #?Number?of?fsck?workers?to?start?by?default. #?(these?can?cause?a?lot?of?load?when?fsck'ing) #fsck_jobs?=?1 #?Minimum?amount?of?space?to?reserve?in?megabytes #?default:?100 #?Consider?setting?this?to?be?larger?than?the?largest?file?you #?would?normally?be?uploading. #min_free_space?=?200 #?Number?of?seconds?to?wait?for?a?storage?node?to?respond. #?default:?2 #?Keep?this?low,?so?busy?storage?nodes?are?quickly?ignored. #node_timeout?=?2 #?Number?of?seconds?to?wait?to?connect?to?a?storage?node. #?default:?2 #?Keep?this?low?so?overloaded?nodes?get?skipped. #conn_timeout?=?2 #?Allow?replication?to?use?the?secondary?node?get?port, #?if?you?have?apache?or?similar?configured?for?GET's #repl_use_get_port?=?1 #mogstored配置文件，一般無需修改，自行根據(jù)業(yè)務需求做決定? maxconns?=?10000 httplisten?=?0.0.0.0:7500 mgmtlisten?=?0.0.0.0:7501 docroot?=?/data/mogstored#將上訴配置考別一份至其他主機，并且啟動服務，安裝后默認在Init.d下有啟動腳本 service?mogilefsd?start??? service?mogstored?start? [root@centos6?mogilefs]#?ss?-tnl?|grep?*.7.*?#默認mogilefsd監(jiān)聽7001，mogstored監(jiān)聽7501及其7501 LISTEN?????0??????128???????????????????????*:7500?????????????????????*:* LISTEN?????0??????128???????????????????????*:7501?????????????????????*:* LISTEN?????0??????128???????????????????????*:7001?????????????????????*:* [root@node?mogilefs]# #設置數(shù)據(jù)庫，存儲元數(shù)據(jù) mogdbsetup?--dbhost=127.0.0.1?--dbpass=pass? mogdbsetup?--dbname=mogdb?--dbuser=moguser?--dbhost=127.0.0.1?--dbpass=pass? mogadm?host?add?10.1.100.1?--ip=10.1.100.1?--port=7500?--status=alive?#添加host，storaged mogadm?domain?add?files?#添加域 mogadm?domain?add?p_w_picpaths?[root@centos6?~]#?mogstats?--db_dsn="DBI:mysql:mogdb:host=localhost"?--db_user="moguser"?--db_pass="pass"?--stats="all" Fetching?statistics...?(all)Statistics?for?devices...??#表示此storage設備存活?device?????host???????????????????files?????status----------?----------------?------------?----------dev1???????10.1.100.1??????????2??????alive?dev3???????10.1.100.2??????????1??????alivedev4???????10.1.100.2??????????1??????alive----------?----------------?------------?----------Statistics?for?file?ids...Max?file?id:?9Statistics?for?files...??#添加的域顯示結果domain???????????????class???????????files????size?(m)??fullsize?(m)--------------------?-----------?----------?-----------?-------------files????????????????default?????????????1???????????0?????????????0p_w_picpaths???????????????default?????????????1???????????0?????????????0--------------------?-----------?----------?-----------?-------------Statistics?for?replication...?#默認的類示結果domain???????????????class????????devcount??????files--------------------?-----------?----------?----------files????????????????default?????????????2??????????1p_w_picpaths???????????????default?????????????2??????????1--------------------?-----------?----------?----------Statistics?for?replication?queue...status??????????????????????count--------------------?--------------------------------?------------Statistics?for?delete?queue...status??????????????????????count--------------------?--------------------------------?------------Statistics?for?general?queues...queue???????????status??????????????????????count---------------?--------------------?---------------------------?--------------------?------------done [root@node?~]# [root@node~]#?mogupload?--trackers=10.1.100.1?--domain=files?--key='/issue'?--file='/etc/issue'?#上傳文件至files域內，指明可Key和上傳的文件目錄 [root@node?~]#?moglistkeys?--trackers=10.1.100.1?--domain=files?#顯示域內文件 /fstab.txt /issue [root@node?~]#?mogfetch?--trackers=10.1.100.1?--domain=files?--key='/issue'?--file='/tmp/issue'?#下載域內文件至某目錄? [root@node?~]#?ll?/tmp/issue -rw-r--r--.?1?root?root?47?11月?25?16:48?/tmp/issue -bash:?ogfileinfo:?command?not?found [root@node2?~]#?mogfileinfo?--tracker=10.1.100.1?--domain=files?--key='/fstab.txt' -?file:?/fstab.txtclass:??????????????defaultdevcount:????????????????????2domain:????????????????filesfid:????????????????????5key:???????????/fstab.txtlength:?????????????????1115-http://10.1.100.2:7500/dev4/0/000/000/0000000005.fid????????#可通過此URL訪問到相應的資源-http://10.1.100.1:7500/dev1/0/000/000/0000000005.fid????????#可通過此URL訪問到相應的資源 [root@node2?~]#????實驗結果圖示：
? ?
????五、實戰(zhàn)nginx前端反代mogfilefs及負載均衡
? ? 要求說明：在前期那配置nginx做反代將用戶的請求調度至后端的MogileFS，此實驗依賴于nginx-mogilefs-module模塊，需在編譯時加上此模塊。
#實戰(zhàn)配置如下所示： #user??nobody; worker_processes??1;#error_log??logs/error.log; #error_log??logs/error.log??notice; #error_log??logs/error.log??info;#pid????????logs/nginx.pid;events?{worker_connections??1024; }http?{include???????mime.types;default_type??application/octet-stream;#log_format??main??'$remote_addr?-?$remote_user?[$time_local]?"$request"?'#??????????????????'$status?$body_bytes_sent?"$http_referer"?'#??????????????????'"$http_user_agent"?"$http_x_forwarded_for"';#access_log??logs/access.log??main;sendfile????????on;#tcp_nopush?????on;#keepalive_timeout??0;keepalive_timeout??65;#gzip??on;#upstream?mogtrackers?{?#定義一個upstream組server?10.1.100.1:7001;server?10.1.100.2:7001;}server?{listen???????80;server_name??localhost;#charset?koi8-r;#access_log??logs/host.access.log??main;location?/?{root???html;index??index.html?index.htm;}location?/p_w_picpaths/?{mogilefs_tracker?mogtrackers;?#在此調用此mogtrackers即可實現(xiàn)反代至mogilefs后端mogilefs_domain?p_w_picpaths;?#域為p_w_picpaths域?mogilefs_methods?get;???#請求的方法為getmogilefs_pass?{proxy_pass?$mogilefs_path;proxy_hide_header?Content-Type;proxy_buffering?off;}expires?1h;}#error_page??404??????????????/404.html;#?redirect?server?error?pages?to?the?static?page?/50x.html#error_page???500?502?503?504??/50x.html;location?=?/50x.html?{root???html;}#?proxy?the?PHP?scripts?to?Apache?listening?on?127.0.0.1:80##location?~?\.php$?{#????proxy_pass???http://127.0.0.1;#}#?pass?the?PHP?scripts?to?FastCGI?server?listening?on?127.0.0.1:9000##location?~?\.php$?{#????root???????????html;#????fastcgi_pass???127.0.0.1:9000;#????fastcgi_index??index.php;#????fastcgi_param??SCRIPT_FILENAME??/scripts$fastcgi_script_name;#????include????????fastcgi_params;#}#?deny?access?to?.htaccess?files,?if?Apache's?document?root#?concurs?with?nginx's?one##location?~?/\.ht?{#????deny??all;#}}#?another?virtual?host?using?mix?of?IP-,?name-,?and?port-based?configuration##server?{#????listen???????8000;#????listen???????somename:8080;#????server_name??somename??alias??another.alias;#????location?/?{#????????root???html;#????????index??index.html?index.htm;#????}#}#?HTTPS?server##server?{#????listen???????443?ssl;#????server_name??localhost;#????ssl_certificate??????cert.pem;#????ssl_certificate_key??cert.key;#????ssl_session_cache????shared:SSL:1m;#????ssl_session_timeout??5m;#????ssl_ciphers??HIGH:!aNULL:!MD5;#????ssl_prefer_server_ciphers??on;#????location?/?{#????????root???html;#????????index??index.html?index.htm;#????}#}}? ? 圖示：此時可通過http://uri/p_w_picpaths/aqua.jpg進行訪問，而不是原來很長的路徑名進行訪問。
????總結：在大型站點中，mogilefs的重要性不言而喻，尤其是圖片存儲量很大的網(wǎng)站例如：某寶，某東等，此配置過程中，mysql易于成為單點故障，所以可將其做主從復制，同時結合MySQL半同步復制，可降低數(shù)據(jù)的丟失風險。在配置nginx做反向代理時，大部分步驟和其他反代類是不同的是，需將模塊編譯進nginx中才能使用此模塊功能。
轉載于:https://blog.51cto.com/purify/1878002
總結
以上是生活随笔為你收集整理的深入浅出分布式文件系统MogileFS集群的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 梦到死去的亲人什么预兆
- 下一篇： smokeping自动检测系统