PVE支持Ceph，包括內(nèi)置Ceph及外連Ceph。通過PVE內(nèi)建Ceph集群，可以構(gòu)建出超融合架構(gòu)，并實現(xiàn)集中

統(tǒng)一管理。通過外連Ceph集群，無法實現(xiàn)集中管理，但是Ceph集群可以提供給其它平臺使用。各有各的好

處。本文采用PVE內(nèi)建Ceph集群的方式來搭建一個PVE超融合架構(gòu)。

部署環(huán)境

PVE-1 172.16.80.86 Hostname: PVE-1

PVE-2 172.16.80.87 Hostname: PVE-2

PVE-3 172.16.80.88 Hostname: PVE-3

NFS 172.16.80.75 Hostname: NFS

PVE配置：

每個PVE節(jié)點(diǎn)配置：8vCPU，64GB內(nèi)存，sda:100GB，sdb:1TB，一個網(wǎng)卡，掛載PVE ISO。

注意：

在PVE 5.x版本中，如果要使用內(nèi)置的Ceph，需要購買訂閱，也就是說內(nèi)置Ceph功能現(xiàn)在已經(jīng)是需要付費(fèi)購

買的了。所以本次演示使用的是PVE 4.4版本。

創(chuàng)建PVE虛擬化集群

1，首先安裝三臺PVE主機(jī)，安裝過程參考本站之前的文章。

2，PVE主機(jī)安裝就緒后，創(chuàng)建PVE Cluster虛擬化集群。住意在4.4版本中無法通過WEB控制臺創(chuàng)建集群，

需要通過PVE_shell創(chuàng)建。

3，在PVE1節(jié)點(diǎn)執(zhí)行以下命令：

pvecm create vclusters

4，在另外兩個節(jié)點(diǎn)執(zhí)行以下命令，加入集群

pvecm add 172.16.80.86

5，查看PVE集群狀態(tài)，確認(rèn)集群已經(jīng)正確建立

pvecm status

6，配置PVE所有節(jié)點(diǎn)的NTP服務(wù)，在所有節(jié)點(diǎn)執(zhí)行以下命令，這里我有一臺NTP服務(wù)器地址為172.16.0.1，

實際安裝時根據(jù)自己環(huán)境的實際情況進(jìn)行配置。

vi /etc/systemd/timesyncd.conf

修改NTP Server如下圖

systemctl restart systemd-timesyncd

安裝配置Ceph集群存儲

1，在所有節(jié)點(diǎn)上使用以下命令安裝Ceph。

pveceph install –version hammer

2，配置ceph集群存儲網(wǎng)絡(luò)，在主節(jié)點(diǎn)上執(zhí)行以下命令

pveceph init –network 172.16.0.0/16

3，創(chuàng)建ceph集群存儲Mon監(jiān)控，在所有節(jié)點(diǎn)上執(zhí)行以下命令

pveceph createmon

4，創(chuàng)建ceph集群存儲OSD服務(wù)，這里我們采用每個節(jié)點(diǎn)上的/dev/sdb來創(chuàng)建OSD，在所有節(jié)點(diǎn)上執(zhí)行以

下命令：

pveceph createosd /dev/sdb

5，創(chuàng)建完成后，查看OSD運(yùn)行狀態(tài)，確認(rèn)OSD運(yùn)行正常：

ceph osd stat

ceph osd tree

6，創(chuàng)建集群存儲資源池，PVE內(nèi)建Ceph采用的是rbd的模型：最外層是pool，相當(dāng)于一塊磁盤，默認(rèn)的

pool名字叫做rbd。每個pool里面可以有多個image，相當(dāng)于文件夾。每個image可以映射成一個塊設(shè)備，

有了設(shè)備就可以加載它。在PVE-1節(jié)點(diǎn)上執(zhí)行以下命令：

ceph osd pool create pvepool1 128 128

128代表placement-group的數(shù)量。每個pg都是一個虛擬節(jié)點(diǎn)，將自己的數(shù)據(jù)存在不同的位置。這樣一旦

存儲宕機(jī)，pg就會選擇新的存儲，從而保證了自動高可用。

7，復(fù)制存儲ID和密鑰到指定文件位置，在PVE-1節(jié)點(diǎn)執(zhí)行以下操作：

cd /etc/pve/priv/

mkdir ceph

cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring

8，查看Ceph集群狀態(tài)。

ceph -s

9，在PVE web控制臺，查看Ceph集群的狀態(tài)，，包括配置、MON、OSD、Pool等狀態(tài)正確無報錯或告警。

添加RBD集群存儲

1，點(diǎn)擊數(shù)據(jù)中心-存儲-添加，選擇“RBD”

2，ID填寫ceph，這個不能隨便寫，只能寫ceph，Monitor項填寫三個節(jié)點(diǎn)的IP地址，用空格隔開，節(jié)點(diǎn)可

以默認(rèn)也可以手動選擇，內(nèi)容默認(rèn)為磁盤映像，用來保存VM虛擬機(jī)磁盤文件。也可以添加選擇存儲LXC容器。

3，如下圖，添加完成后，這里有ceph存儲用來安裝虛擬機(jī)，另外我這里還添加了一個NFS共享，用來共享

文件，主要是用來存放安裝映像ISO和備份文件。

4，如下圖，Ceph存儲添加完成后，確認(rèn)配置已經(jīng)生效并且運(yùn)行狀態(tài)正常。

5，查看rbd集群存儲配置信息

cat /etc/pve/storage.cfg

安裝虛擬機(jī)

1，創(chuàng)建一臺虛擬機(jī)，選擇安裝NFS中的Windows2016進(jìn)行測試

2，虛擬機(jī)磁盤選擇安裝到Ceph存儲。

3，確認(rèn)VM配置正確后，開啟虛擬機(jī)正常安裝即可。

4，虛擬機(jī)安裝完成。

HCI集群測試

1，虛擬機(jī)在線熱遷移，右鍵點(diǎn)擊虛擬機(jī)，點(diǎn)擊遷移。

2，選擇目標(biāo)節(jié)點(diǎn)，點(diǎn)擊遷移

3，遷移速度很快，這里測試遷移僅需5秒左右。遷移過程中，虛擬機(jī)的運(yùn)行不會受到影響。

4，測試VM的高可用，點(diǎn)擊數(shù)據(jù)中心-HA，點(diǎn)擊添加，輸入VM ID。

5，VM 高可用狀態(tài)正常，可以看到因為VM現(xiàn)在在PVE-2節(jié)點(diǎn)上運(yùn)行，所以其master為pve-2

6，將PVE-2關(guān)機(jī)，模擬節(jié)點(diǎn)發(fā)生宕機(jī)故障

7，PVE-2關(guān)機(jī)后，虛擬機(jī)自動漂移到PVE-1上運(yùn)行，

8，再次查看虛擬機(jī)HA狀態(tài)，master已經(jīng)變?yōu)镻VE-1

9，PVE-2節(jié)點(diǎn)關(guān)機(jī)后，Ceph狀態(tài)為降級，但仍然可以使用。

10，將PVE-2節(jié)點(diǎn)開機(jī)，Ceph存儲會自動進(jìn)行重建，并恢復(fù)正常。

11，PVE集群狀態(tài)也恢復(fù)正常

總結(jié)

以上是生活随笔為你收集整理的proxmox 宕机转义_Proxmox+Ceph的HCI环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。