本次測試。為了快速地安裝，所以把目錄而非整個硬盤用于 OSD 守護進程。后面的

后面的測試還將會有使用硬盤來作為OSD數(shù)據(jù)盤

測試機規(guī)劃

節(jié)點名稱	IP 地址	部署進程	系統(tǒng)盤	數(shù)據(jù)盤
ceph1	eth0 192.168.89.10 外網(wǎng) ? ?eth1 10.0.0.10 內(nèi)網(wǎng)	1MON+1MDS+2OSD	/dev/vda 20G	/dev/vdb,?/dev/vdc
ceph2	eth0 192.168.89.11 外網(wǎng) ? ?eth1 10.0.0.11 內(nèi)網(wǎng)	1MON+1MDS+2OSD	/dev/vda 20G	/dev/vdb,?/dev/vdc
ceph3	eth0 192.168.89.12 外網(wǎng) ? ?eth1 10.0.0.12 內(nèi)網(wǎng)	1MON+1OSD	/dev/vda 20G	/dev/vdb,?/dev/vdc

一、環(huán)境準備（準備好三個節(jié)點ceph1-3）
1、修改hostname
2、配置IP地址
3、配置hosts文件，增加其他節(jié)點的hostname和ip地址對應(yīng)條目
4、創(chuàng)建一個普通賬戶（用戶名稱：toby）
5、讓ceph管理節(jié)點（ceph1）,ssh免密碼登錄其他ceph節(jié)點
6、各ceph節(jié)點普通用戶擁有無密碼使用 sudo 的權(quán)限
echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}
sudo chmod 0440 /etc/sudoers.d/{username}

二、ceph-deploy工具安裝（在ceph1節(jié)點上安裝）
在 ceph1 上安裝 ceph-deploy，接下來會使用這個工具來部署 ceph 集群
toby@ceph1:~$ sudo apt-get install ceph-deploy

三、安裝ceph
3.1、ceph-deploy工具進行安裝(在ceph1上運行，因為在ceph1上安裝了ceph-deploy部署工具):
ceph-deploy install ceph1 ceph2 ceph3 （這個命令將在各節(jié)點上安裝 ceph 軟件）

經(jīng)過觀察ceph-deploy部署工具的輸出內(nèi)容發(fā)現(xiàn)，其實就是安裝以下這些包
sudo apt-get install ceph?
sudo apt-get install ceph-mds?
sudo apt-get install ceph-common?
sudo apt-get install ceph-fs-common?
sudo apt-get install gdisk

3.2、經(jīng)過測試，用ceph-deploy工具去安裝的話，有時候不穩(wěn)定，造成安裝失敗（多數(shù)是因為網(wǎng)絡(luò)問題）。當然也可以到每臺ceph節(jié)點進行手動安裝這些包：
sudo apt-get -y install ceph ceph-mds ceph-common ceph-fs-common gdisk

查看版本：
toby@ceph1:~$ ceph --version
ceph version 0.80.11 (8424145d49264624a3b0a204aedb127835161070)


四、創(chuàng)建ceph集群
在 ceph1 上執(zhí)行以下命令創(chuàng)建 MON 集群
4.1、在ceph1管理節(jié)點上創(chuàng)建一個目錄，用于保存 ceph-deploy 生成的配置文件和密鑰對。
toby@ceph1:~/my-cluster$ mkdir my-cluster
toby@ceph1:~/my-cluster$ cd my-cluster

4.2、創(chuàng)建一個集群（進入剛才創(chuàng)建的目錄下進行操作）
toby@ceph1:~/my-cluster$ ceph-deploy new ceph1 ceph2 ceph3
在當前目錄下用 ls 和 cat 檢查 ceph-deploy 的輸出，應(yīng)該有一個 Ceph 配置文件、一個 monitor 密鑰環(huán)和一個日志文件。

4.3、遠程主機上部署ceph監(jiān)控。
toby@ceph1:~/my-cluster$ ceph-deploy mon create ceph1 ceph2 ceph3
toby@ceph1:~/my-cluster$ ceph-deploy mon create-initial

4.4、完成后查看mon集群狀態(tài)
toby@ceph1:~/my-cluster$ sudo ceph mon_status
{"name":"ceph1","rank":0,"state":"leader","election_epoch":6,"quorum":[0,1,2],"outside_quorum":[],"extra_probe_peers":["192.168.89.11:6789\/0","192.168.89.12:6789\/0"],"sync_provider":[],"monmap":{"epoch":1,"fsid":"ea8ef245-70bc-4000-b676-4c780e8fce64","modified":"0.000000","created":"0.000000","mons":[{"rank":0,"name":"ceph1","addr":"192.168.89.10:6789\/0"},{"rank":1,"name":"ceph2","addr":"192.168.89.11:6789\/0"},{"rank":2,"name":"ceph3","addr":"192.168.89.12:6789\/0"}]}}

4.5、添加兩個 OSD
登錄到 Ceph 節(jié)點、并給 OSD 守護進程創(chuàng)建一個目錄。
ssh ceph1
sudo mkdir /var/local/osd0
exit

ssh ceph2
sudo mkdir /var/local/osd1
exit

ssh ceph3
sudo mkdir /var/local/osd2
exit

4.6、從管理節(jié)點執(zhí)行 ceph-deploy 來準備 OSD?
ceph-deploy osd prepare ceph1:/var/local/osd0 ceph2:/var/local/osd1 ceph3:/var/local/osd2

4.7、激活 OSD?
ceph-deploy osd activate ceph1:/var/local/osd0 ceph2:/var/local/osd1 ceph3:/var/local/osd2

4.8、檢查集群的健康狀況。
toby@ceph1:~/my-cluster$ ceph health
HEALTH_OK
toby@ceph2:~$ ceph health
HEALTH_OK
toby@ceph3:~$ ceph health
HEALTH_OK

4.9、完成后查看 OSD 狀態(tài)：
toby@ceph1:~/my-cluster$ ceph osd tree
# id?? ?weight?? ?type name?? ?up/down?? ?reweight
-1?? ?0.05997?? ?root default
-2?? ?0.01999?? ??? ?host ceph1
0?? ?0.01999?? ??? ??? ?osd.0?? ?up?? ?1?? ?
-3?? ?0.01999?? ??? ?host ceph2
1?? ?0.01999?? ??? ??? ?osd.1?? ?up?? ?1?? ?
-4?? ?0.01999?? ??? ?host ceph3
2?? ?0.01999?? ??? ??? ?osd.2?? ?up?? ?1?? ?

4.10、用 ceph-deploy 把配置文件和 admin 密鑰拷貝到管理節(jié)點和 Ceph 節(jié)點，這樣你每次執(zhí)行 Ceph 命令行時就無需指定 monitor 地址和 ceph.client.admin.keyring 了
toby@ceph1:~/my-cluster$ ceph-deploy admin ceph1 ceph2 ceph3

4.11、確保你對 ceph.client.admin.keyring 有正確的操作權(quán)限。
sudo chmod +r /etc/ceph/ceph.client.admin.keyring

4.12、安裝 MDS 集群（添加元數(shù)據(jù)服務(wù)器）
至少需要一個元數(shù)據(jù)服務(wù)器才能使用 CephFS ，執(zhí)行下列命令創(chuàng)建元數(shù)據(jù)服務(wù)器：
ceph-deploy mds create ceph1 ceph2 ceph3?
官方說：當前生產(chǎn)環(huán)境下的 Ceph 只能運行一個元數(shù)據(jù)服務(wù)器。你可以配置多個，但現(xiàn)在我們還不會為多個元數(shù)據(jù)服務(wù)器的集群提供商業(yè)支持。

4.13、完成后可以使用 “ceph mds” 命令來操作 MDS 集群，比如查看狀態(tài)：
toby@ceph1:~/my-cluster$ ceph mds stat
e5: 1/1/1 up {0=ceph1=up:active}, 2 up:standby

4.14、至此，Ceph 集群部署完成，可以使用 ceph 命令查看集群狀態(tài)：
toby@ceph1:~/my-cluster$ ceph -s
??? cluster ea8ef245-70bc-4000-b676-4c780e8fce64
???? health HEALTH_OK
???? monmap e1: 3 mons at {ceph1=192.168.89.10:6789/0,ceph2=192.168.89.11:6789/0,ceph3=192.168.89.12:6789/0}, election epoch 10, quorum 0,1,2 ceph1,ceph2,ceph3
???? mdsmap e5: 1/1/1 up {0=ceph1=up:active}, 2 up:standby
???? osdmap e7: 3 osds: 3 up, 3 in
????? pgmap v50: 192 pgs, 3 pools, 1884 bytes data, 20 objects
??????????? 19463 MB used, 34635 MB / 57065 MB avail
???????????????? 192 active+clean
toby@ceph1:~/my-cluster$?

溫馨提示：
在這過程中，失敗和反復(fù)是難免的，在任何時候，可以使用如下的命令將已有的配置擦除然后從頭安裝：
ceph-deploy purge ceph{1,2,3}
ceph-deploy purgedata ceph{1,2,3}
ceph-deploy forgetkeys

本文轉(zhuǎn)自 TtrToby 51CTO博客，原文鏈接:http://blog.51cto.com/freshair/1905800

總結(jié)

以上是生活随笔為你收集整理的ceph集群简单安装部署（Ubuntu14环境）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。