企業(yè)目前上云，有多種選擇，那么對于中小企業(yè)，從成本和規(guī)模考慮，如何搭建自己的私有云環(huán)境，筆者這里根據(jù)自己的一個實(shí)踐環(huán)境，嘗試搭建一套小型私有云環(huán)境，功能并不完善，但基本能滿足中小企業(yè)的需求。

硬件環(huán)境準(zhǔn)備
環(huán)境的搭建，硬件成本是必須的，沒有物理設(shè)備，那么巧婦難為無米之炊~~

服務(wù)器設(shè)備：

建議采購3臺以上X86兩路服務(wù)器，CPU配置根據(jù)需求，建議5218金牌。內(nèi)存配置256G以上。配置SSD卡（32G以上、2塊RAID-1）、SSD硬盤（512G以上、2塊以上）、大容量4T的SATA硬盤（根據(jù)預(yù)算，配置8塊以上，同時也考慮實(shí)際使用情況擴(kuò)容）。配置萬兆網(wǎng)卡2口2塊（實(shí)現(xiàn)冗余）、配置千兆網(wǎng)卡4口2塊（實(shí)現(xiàn)冗余）。

這樣的硬件設(shè)備，配置較好的CPU、SSD硬盤、大容量SATA硬盤，可以實(shí)現(xiàn)計(jì)算和存儲節(jié)點(diǎn)在一塊，也有一些超融合的概念。

配套網(wǎng)絡(luò)設(shè)備

萬兆網(wǎng)絡(luò)交換機(jī)

千兆網(wǎng)絡(luò)交換機(jī)

軟件準(zhǔn)備
相信很多企業(yè)都在使用VMware的Exsi，VMware的價格還是比較高的，那么再新建一套虛擬化環(huán)境，從成本考慮采用開源的免費(fèi)軟件，這里選擇了Proxmox，目前版本是6.0.（下載地址：https://pve.proxmox.com/wiki/Downloads）

Proxmox集成了Ceph功能，配合上述說的計(jì)算存儲統(tǒng)一部署，那么選擇Proxmox節(jié)省了很多部署上的問題，使得整個部署更簡單。

有了虛擬化軟件，那么還需要一套云管平臺，統(tǒng)一來納管資源，包括VMware和新的虛擬化資源池。

支持Vmware的云管平臺很多，但是同時支持VMware和Proxmox的云管平臺比較少，有些云管平臺支持早期的Proxmox版本，但是最新的都需要自定義開發(fā)，這里選擇了某廠商的一個云管平臺，對Proxmox6.0支持并不完全。

遷移，如果需要遷移一部分VMware虛擬機(jī)到Proxmox，這里可以參考VMware導(dǎo)出OVA模板，在導(dǎo)出模板后加一個Ios后綴，上傳至Proxmox，解壓-導(dǎo)入。具體可參考：https://blog.csdn.net/zebra2011/article/details/83046841

安裝配置
系統(tǒng)安裝

Proxmox目前網(wǎng)絡(luò)上有很多安裝文檔，大致雷同，這里就不在重復(fù)累贅，截取需要注意的幾部分：

使用U盤或者刻盤安裝都可以，基本都是下一步點(diǎn)擊，這里注意：

選擇系統(tǒng)安裝硬盤，因?yàn)榉?wù)器中有多個盤，這里記得選擇下。

網(wǎng)卡配置，記得這里有多塊網(wǎng)卡，要區(qū)分做管理網(wǎng)段的網(wǎng)卡、業(yè)務(wù)網(wǎng)段網(wǎng)卡、Ceph集群網(wǎng)卡。

接下來按部就班完成安裝即可。

假設(shè)目前環(huán)境中已經(jīng)有ntp服務(wù)器，那么上訴服務(wù)器能鏈接外網(wǎng)，強(qiáng)烈建議

apt-get install ntp
如果設(shè)備你在內(nèi)網(wǎng)那么ntp安裝稍微麻煩一點(diǎn)，首先Proxmox基于Debian，那么要去Debian官網(wǎng)去下載相關(guān)軟件包進(jìn)行安裝。https://www.debian.org/distrib/packages 搜索安裝包離線安裝，同時會有一些依賴，依次下載安裝。

地址配置

每臺設(shè)備安裝完成后，根據(jù)需求，一般正式環(huán)境有管理網(wǎng)段、生產(chǎn)網(wǎng)段、Ceph網(wǎng)段。使用nano命令打開文件進(jìn)行配置。

nano /etc/network/interface
配置網(wǎng)卡eth0的IP地址
auto eth0 表示網(wǎng)卡隨系統(tǒng)自動請
iface eth0 inet static 表示網(wǎng)卡為靜態(tài)ip地址
address 192.168.2.147 表示設(shè)置ip地址
netmask 255.255.255.0 表示子網(wǎng)掩碼
gateway 192.168.2.1 表示網(wǎng)關(guān)。
配置多塊網(wǎng)卡，記得根據(jù)接入的交換機(jī)，網(wǎng)關(guān)地址不設(shè)置。
理論上多塊網(wǎng)卡配置業(yè)務(wù)網(wǎng)卡bond綁定，Ceph網(wǎng)絡(luò)bond綁定，管理網(wǎng)卡可考慮單口
考慮Ceph模塊的在線下載，那么編輯 /etc/resolv.conf 配置DNS

完成后重啟網(wǎng)絡(luò)服務(wù)即可。systemctl restart networking

注意：這里沒有ifconfig命令，查看IP請用ip addr

集群配置

在每天設(shè)備的/etc/hosts配置好相應(yīng)的IP和主機(jī)名，通過瀏覽器登錄：https://IP:8006 登錄名為：root密碼為安裝時候設(shè)置的密碼。

選擇其中一臺主機(jī)來創(chuàng)建集群，這些都可以在頁面上操作完成，然后把其余的幾臺設(shè)備添加進(jìn)來，這時候建議ssh登錄服務(wù)器，執(zhí)行：

pvecm add IP
yes
查看輸出，成功即可
輸入：

pvecm status 查看集群狀態(tài)
登錄之前的瀏覽器頁面

這時候Proxmox集群就完成了。

Ceph模塊安裝

Ceph模塊安裝還是建議先把設(shè)備連接至外網(wǎng)，點(diǎn)擊之前瀏覽器頁面中每臺主機(jī)的ceph選項(xiàng)，在外網(wǎng)通訊正常情況下會自動安裝。

之前先進(jìn)行網(wǎng)絡(luò)配置或者檢查網(wǎng)絡(luò)配置

配置Ceph網(wǎng)卡，Proxmox其實(shí)是一個定制化的Debian。

nano /etc/network/interface
中選擇萬兆網(wǎng)卡，其實(shí)寫入配置文件。
配置網(wǎng)卡eth0的IP地址
auto eth0 表示網(wǎng)卡隨系統(tǒng)自動請
iface eth0 inet static 表示網(wǎng)卡為靜態(tài)ip地址
address IP地址 表示設(shè)置ip地址
netmask 255.255.255.0 表示子網(wǎng)掩碼
gateway 網(wǎng)關(guān)地址不需要，因?yàn)橹皹I(yè)務(wù)網(wǎng)卡已經(jīng)配置過網(wǎng)關(guān)，這里選擇另外網(wǎng)段的地址來作為ceph的網(wǎng)絡(luò)
如果設(shè)備鏈接在外網(wǎng)，那么Proxmox6版本中，點(diǎn)擊左側(cè)ceph，自動會進(jìn)行安裝，4臺機(jī)器都安裝ceph。

另外一種方式，通過登錄服務(wù)器命令行去安裝：

pveceph install --version 需要的版本 --每個節(jié)點(diǎn)安裝ceph軟件包
pveceph init --network 192.168.10.0/24 初始化ceph的網(wǎng)絡(luò)
pveceph createmon --創(chuàng)建mon

配置ntp服務(wù)，對于Ceph來說，ntp服務(wù)是必須的，如果有內(nèi)網(wǎng)ntp可以通過設(shè)置ntpdate來進(jìn)行時間同步，不然會一直報(bào)錯。

之后登錄網(wǎng)頁管理控制臺，在其余三個節(jié)點(diǎn)都創(chuàng)建mon。

之后再創(chuàng)建OSD，把目前系統(tǒng)上識別出來的硬盤，逐步添加：

注意：Ceph配置完成后記得創(chuàng)建pool，這也只需要頁面點(diǎn)擊即可，命名，size=3表示是三副本（正常），min_size表示最小數(shù)據(jù)副本，這里需要注意pg_num,一般要保證每一個硬盤上不少于30個，不然整個ceph集群中會有警告，那么根據(jù)自身的硬盤數(shù)量來設(shè)置，后期也可以改，那么就需要去重平衡，這個時間會比較久~

創(chuàng)建RBD存儲池，點(diǎn)擊左側(cè)存儲，添加即可，選擇之前的節(jié)點(diǎn)即可。

云管平臺納管
選擇一款云管平臺，接入納管VMware和Proxmox，編輯工單實(shí)現(xiàn)資源的分配、擴(kuò)容、銷毀等功能。

新建用戶：

設(shè)計(jì)相關(guān)流程和工單：

虛擬機(jī)新建
熟悉VMware的，其實(shí)用Proxmox很容易上手，點(diǎn)擊主機(jī)，右鍵選擇新建即可：

選擇Ceph存儲，其他選項(xiàng)下一步根據(jù)實(shí)際情況來選擇。

整個集群狀態(tài)

虛擬機(jī)狀態(tài)

常用命令

整個搭建過程并不復(fù)雜，登錄服務(wù)器，常用命令如下：

qm是最重要的命令：

USAGE: qm [ARGS] [OPTIONS]
??? qm cloudinit dump
??? qm guest cmd
??? qm guest exec-status
??? qm guest passwd [OPTIONS]
??? qm guest exec [] [OPTIONS]
??? qm clone [OPTIONS]
??? qm config [OPTIONS]
??? qm create [OPTIONS]
??? qm delsnapshot [OPTIONS]
??? qm destroy [OPTIONS]
??? qm list [OPTIONS]
??? qm listsnapshot
??? qm migrate [OPTIONS]
??? qm move_disk [OPTIONS]
??? qm pending
??? qm reset [OPTIONS]
??? qm resize [OPTIONS]
??? qm resume [OPTIONS]
??? qm rollback
??? qm sendkey [OPTIONS]
??? qm set [OPTIONS]
??? qm shutdown [OPTIONS]
??? qm snapshot [OPTIONS]
??? qm start [OPTIONS]
??? qm stop [OPTIONS]
??? qm suspend [OPTIONS]
??? qm template [OPTIONS]
??? qm unlink --idlist [OPTIONS]
??? qm cleanup
??? qm importdisk [OPTIONS]
??? qm importovf [OPTIONS]
??? qm monitor
??? qm mtunnel
??? qm nbdstop
??? qm rescan [OPTIONS]
??? qm showcmd [OPTIONS]
??? qm status [OPTIONS]
??? qm terminal [OPTIONS]
??? qm unlock
??? qm vncproxy
??? qm wait [OPTIONS]

查看當(dāng)前主機(jī)的虛擬機(jī)
??? root@pve1:~# qm list
??? VMID NAME STATUS MEM(MB) BOOTDISK(GB) PID
??? 103 redhat6o11g stopped 16384 150.00 0

ceph命令，熟悉ceph的同學(xué)，ceph的命令在這邊都是適用的。

如查看集群狀態(tài)：
??? root@pve1:~# ceph -s
??? cluster:
??? id: 580f4d51-b80e-4842-b394-484cbd3ad0b6
??? health: HEALTH_OK
??? services:
??? mon: 4 daemons, quorum pve1,pve2,pve3,pve4 (age 4d)
??? mgr: pve1(active, since 3d)
??? osd: 40 osds: 40 up (since 3d), 40 in (since 4d)
??? data:
??? pools: 2 pools, 640 pgs
??? objects: 105.74k objects, 410 GiB
??? usage: 237 GiB used, 130 TiB / 130 TiB avail
??? pgs: 640 active+clean

注意事項(xiàng)：

1.Proxmox中新建的虛擬機(jī)需要添加到HA集群。

2.云管平臺納管，需要有相應(yīng)的自定義開發(fā)，Proxmox接入自動化實(shí)現(xiàn)目前還有問題。

3.Ceph集群偶爾會報(bào)節(jié)點(diǎn)不可用，這個時候只能重啟故障節(jié)點(diǎn)，出現(xiàn)概率不高。

4.Proxmox遷移虛擬機(jī)的速度比VMware要慢不少。
————————————————
版權(quán)聲明：本文為CSDN博主「投河自盡的魚」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/sxjinmingjie/article/details/101694507

總結(jié)

以上是生活随笔為你收集整理的使用Proxmox搭建私有云平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。