前言

kubeadm安裝的集群，默認etcd是一個單機的容器化的etcd，并且k8s和etcd通信沒有經過ssl加密和認證，這點是需要改造的。
所以首先我們需要先部署一個三節點的etcd集群，二進制部署，systemd守護進程，并且需要生成ca證書

ETCD集群詳情

主機IP節點名稱etcd的名稱

主機01	192.168.56.200	MM	etcd1
主機02	192.168.56.201	SS01	etcd2
主機03	192.168.56.202	SS02	etcd3

master上搭建

創建相關目錄

mkdir -p /data/etcd # etcd數據目錄 mkdir -p /opt/kubernetes/{bin,conf,ssl}

創建證書

創建 CA 證書和秘鑰

本文檔使用 CloudFlare 的 PKI 工具集 cfssl 來生成 Certificate Authority (CA) 證書和秘鑰文件，CA 是自簽名的證書，用來簽名后續創建的其它 TLS 證書
安裝工具
如果不希望將cfssl工具安裝到部署主機上，可以在其他的主機上進行該步驟，生成以后將證書拷貝到部署etcd的主機上即可。本教程就是采取這種方法，在一臺測試機上執行下面操作

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 chmod +x cfssl_linux-amd64 mv cfssl_linux-amd64 /usr/local/bin/cfssl wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 chmod +x cfssljson_linux-amd64 mv cfssljson_linux-amd64 /usr/local/bin/cfssljson wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 chmod +x cfssl-certinfo_linux-amd64 mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

生成ETCD的TLS 秘鑰和證書
為了保證通信安全，客戶端(如 etcdctl) 與 etcd 集群、etcd 集群之間的通信需要使用 TLS 加密，本節創建 etcd TLS 加密所需的證書和私鑰。

創建CA證書

CA配置文件

cat > ca-config.json <<EOF {"signing": {"default": {"expiry": "8760h"},"profiles": {"kubernetes": {"usages": ["signing","key encipherment","server auth","client auth"],"expiry": "8760h"}}} } EOF

ca-config.json：可以定義多個 profiles，分別指定不同的過期時間、使用場景等參數；后續在簽名證書時使用某個 profile；
signing：表示該證書可用于簽名其它證書；生成的 ca.pem 證書中 CA=TRUE；
server auth：表示 client 可以用該 CA 對 server 提供的證書進行驗證；
client auth：表示 server 可以用該 CA 對 client 提供的證書進行驗證

CA簽名請求文件

cat > ca-csr.json <<EOF {"CN": "kubernetes","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "k8s","OU": "System"}] } EOF

"CN"：Common Name，kube-apiserver 從證書中提取該字段作為請求的用戶名 (User Name)；瀏覽器使用該字段驗證網站是否合法；
"O"：Organization，kube-apiserver 從證書中提取該字段作為請求用戶所屬的組 (Group)；

生成 CA 證書和私鑰：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

這個會在當前目錄下面生成幾個配置文件
ls ca*
ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

創建etcd證書

etcd證書請求文件

cat > etcd-csr.json <<EOF {"CN": "etcd","hosts": ["127.0.0.1","${NODE_IP}"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","ST": "BeiJing","L": "BeiJing","O": "k8s","OU": "System"}] } EOF

hosts 字段指定授權使用該證書的 etcd 節點 IP；
如：

生成 etcd 證書和私鑰：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

ls etcd*
etcd.csr etcd-csr.json etcd-key.pem etcd.pem ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

將生成好的etcd.pem和etcd-key.pem以及ca.pem三個文件拷貝到目標主機的/opt/kubernetes/ssl/目錄下。

etcd二進制文件下載安裝

到 https://github.com/coreos/etcd/releases 頁面下載最新版本的二進制文件：

etcd-v3.3.4-linux-amd64.tar.gz tar xf etcd-v3.3.4-linux-amd64.tar.gz cp etcd-v3.3.4-linux-amd64/etcd* /opt/kubernetes/bin

創建etcd.service文件

在/usr/lib/systemd/system/下面創建system unit文件，命名為etcd.service

[root@mm etcd]# cat /usr/lib/systemd/system/etcd.service [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target Documentation=https://github.com/coreos [Service] Type=notify WorkingDirectory=/data/etcd/ EnvironmentFile=-/opt/kubernetes/conf/etcd.conf ExecStart=/opt/kubernetes/bin/etcd \--name ${ETCD_NAME} \--cert-file=/opt/kubernetes/ssl/etcd.pem \--key-file=/opt/kubernetes/ssl/etcd-key.pem \--peer-cert-file=/opt/kubernetes/ssl/etcd.pem \--peer-key-file=/opt/kubernetes/ssl/etcd-key.pem \--trusted-ca-file=/opt/kubernetes/ssl/ca.pem \--peer-trusted-ca-file=/opt/kubernetes/ssl/ca.pem \--initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \--listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \--listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \--advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \--initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \--initial-cluster etcd1=https://192.168.56.200:2380,etcd2=https://192.168.56.201:2380,etcd3=https://192.168.56.202:2380 \--initial-cluster-state new \--data-dir=${ETCD_DATA_DIR} Restart=on-failure RestartSec=5 LimitNOFILE=65536 [Install] WantedBy=multi-user.target

指定 etcd 的工作目錄和數據目錄為 /var/lib/etcd，需在啟動服務前創建這個目錄；
為了保證通信安全，需要指定 etcd 的公私鑰(cert-file和key-file)、Peers 通信的公私鑰和 CA 證書(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客戶端的CA證書（trusted-ca-file）；
--initial-cluster-state 值為 new 時，--name 的參數值必須位于 --initial-cluster 列表中；

創建環境變量

創建配置文件conf

[root@mm ~]# cat /opt/kubernetes/conf/etcd.conf # [member] ETCD_NAME=etcd1 ETCD_DATA_DIR="/data/etcd/" ETCD_LISTEN_PEER_URLS="https://192.168.56.200:2380" # 地址修改為當前服務器地址，下面同此 ETCD_LISTEN_CLIENT_URLS="https://192.168.56.200:2379" #[cluster] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.56.200:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.56.200:2379"

啟動etcd服務

systemctl daemon-reload systemctl enable etcd systemctl start etcd

其他節點配置

把/opt/kubernetes下面的所有文件拷貝到其他node上就可以

拷貝完成后，修改配置文件etcd.conf中的名字etc2,etcd3

集群的查看

[root@mm etcd]# etcdctl --ca-file=ca.pem --cert-file=etcd.pem --key-file=etcd-key.pem cluster-health member 152709b7f8cbe7c0 is healthy: got healthy result from https://192.168.56.200:2379 member 8c78d744f172cba9 is healthy: got healthy result from https://192.168.56.202:2379 member bdc976e03235ad9b is healthy: got healthy result from https://192.168.56.201:2379

這里需要指定證書文件

轉載于:https://blog.51cto.com/sgk2011/2108542

總結

以上是生活随笔為你收集整理的k8s之二进制安装etcd集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。