搭建etcd叢集
前言
kubeadm安裝的叢集,預設etcd是一個單機的容器 化的etcd,并且k8s和etcd通信沒有經過ssl加密和認證,這點是需要改造的。
是以首先我們需要先部署一個三節點的etcd叢集,二進制部署,systemd守護程序,并且需要生成ca證書。
ETCD叢集詳情
kuberntes 系統使用 etcd 存儲所有資料,此外calico網絡也使用該etcd叢集,本文檔介紹部署一個三節點高可用 etcd 叢集的步驟,分别命名為
etcd-host1
、
etcd-host2
etcd-host3
:
- etcd-host1:172.16.120.151
- etcd-host2:172.16.120.152
- etcd-host3:172.16.120.153
本文檔用到的變量定義如下:
$ export NODE_NAME=etcd-host1 # 目前部署的機器名稱(随便定義,隻要能區分不同機器即可)
$ export NODE_IP=172.16.120.151 # 目前部署的機器 IP
$ export NODE_IPS="172.16.120.151 172.16.120.152 172.16.120.153" # etcd 叢集所有機器 IP
$ # etcd 叢集間通信的IP和端口
$ export ETCD_NODES=etcd-host1=https://172.16.120.151:2380,etcd-host2=https://172.16.120.152:2380,etcd-host3=https://172.16.120.153:2380
$
本系列預設使用root使用者操作。
建立 CA 證書和秘鑰
本文檔使用 CloudFlare 的 PKI 工具集 cfssl 來生成 Certificate Authority (CA) 證書和秘鑰檔案,CA 是自簽名的證書,用來簽名後續建立的其它 TLS 證書。
安裝cfssl
如果不希望将cfssl工具安裝到部署主機上,可以在其他的主機上進行該步驟,生成以後将證書拷貝到部署etcd的主機上即可。本教程就是采取這種方法,在一台測試機上執行下面操作。
$ wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
$ chmod +x cfssl_linux-amd64
$ mv cfssl_linux-amd64 /usr/local/bin/cfssl
$ wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
$ chmod +x cfssljson_linux-amd64
$ mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
$ wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
$ chmod +x cfssl-certinfo_linux-amd64
$ mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
$
生成ETCD的TLS 秘鑰和證書
為了保證通信安全,用戶端(如 etcdctl) 與 etcd 叢集、etcd 叢集之間的通信需要使用 TLS 加密,本節建立 etcd TLS 加密所需的證書和私鑰。
建立 CA 配置檔案:
$ cat > ca-config.json <<EOF
{
"signing": {
"default": {
"expiry": "8760h"
},
"profiles": {
"kubernetes": {
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
],
"expiry": "8760h"
}
}
}
}
EOF
-
:可以定義多個 profiles,分别指定不同的過期時間、使用場景等參數;後續在簽名證書時使用某個 profile;ca-config.json
-
:表示該證書可用于簽名其它證書;生成的 ca.pem 證書中signing
;CA=TRUE
-
:表示 client 可以用該 CA 對 server 提供的證書進行驗證;server auth
-
:表示 server 可以用該 CA 對 client 提供的證書進行驗證;client auth
建立 CA 證書簽名請求:
$ cat > ca-csr.json <<EOF
{
"CN": "kubernetes",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
- "CN":
,kube-apiserver 從證書中提取該字段作為請求的使用者名 (User Name);浏覽器使用該字段驗證網站是否合法;Common Name
- "O":
,kube-apiserver 從證書中提取該字段作為請求使用者所屬的組 (Group);Organization
生成 CA 證書和私鑰:
$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca
$ ls ca*
ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem
$
建立 etcd 證書簽名請求:
$ cat > etcd-csr.json <<EOF
{
"CN": "etcd",
"hosts": [
"127.0.0.1",
"${NODE_IP}"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
- hosts 字段指定授權使用該證書的 etcd 節點 IP;
生成 etcd 證書和私鑰:
$ cfssl gencert -ca=ca.pem \
-ca-key=ca-key.pem \
-config=ca-config.json \
-profile=kubernetes etcd-csr.json | cfssljson -bare etcd
$ ls etcd*
etcd.csr etcd-csr.json etcd-key.pem etcd.pem ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem
$ rm etcd.csr etcd-csr.json
将生成好的etcd.pem和etcd-key.pem以及ca.pem三個檔案拷貝到目标主機的/etc/etcd/ssl目錄下。
下載下傳二進制檔案
到
https://github.com/coreos/etcd/releases
頁面下載下傳最新版本的二進制檔案:
$ wget https://github.com/coreos/etcd/releases/download/v3.2.11/etcd-v3.2.11-linux-amd64.tar.gz
$ tar -xvf etcd-v3.2.11-linux-amd64.tar.gz
$ mv etcd-v3.2.11-linux-amd64/etcd* /usr/local/bin
$
建立 etcd 的 systemd unit 檔案
$ mkdir -p /var/lib/etcd # 必須先建立工作目錄
$ cat > etcd.service <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
ExecStart=/usr/local/bin/etcd \\
--name=${NODE_NAME} \\
--cert-file=/etc/etcd/ssl/etcd.pem \\
--key-file=/etc/etcd/ssl/etcd-key.pem \\
--peer-cert-file=/etc/etcd/ssl/etcd.pem \\
--peer-key-file=/etc/etcd/ssl/etcd-key.pem \\
--trusted-ca-file=/etc/etcd/ssl/ca.pem \\
--peer-trusted-ca-file=/etc/etcd/ssl/ca.pem \\
--initial-advertise-peer-urls=https://${NODE_IP}:2380 \\
--listen-peer-urls=https://${NODE_IP}:2380 \\
--listen-client-urls=https://${NODE_IP}:2379,http://127.0.0.1:2379 \\
--advertise-client-urls=https://${NODE_IP}:2379 \\
--initial-cluster-token=etcd-cluster-0 \\
--initial-cluster=${ETCD_NODES} \\
--initial-cluster-state=new \\
--data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
- 指定
的工作目錄和資料目錄為etcd
,需在啟動服務前建立這個目錄;/var/lib/etcd
- 為了保證通信安全,需要指定 etcd 的公私鑰(cert-file和key-file)、Peers 通信的公私鑰和 CA 證書(peer-cert-file、peer-key-file、peer-trusted-ca-file)、用戶端的CA憑證(trusted-ca-file);
-
值為--initial-cluster-state
時,new
的參數值必須位于--name
清單中;--initial-cluster
啟動 etcd 服務
$ mv etcd.service /etc/systemd/system/
$ systemctl daemon-reload
$ systemctl enable etcd
$ systemctl start etcd
$ systemctl status etcd
$
驗證服務
部署完 etcd 叢集後,在任一 etcd 叢集節點上執行如下指令:
$ etcdctl \
--endpoints=https://172.16.120.151:2379 \
--ca-file=/etc/etcd/ssl/ca.pem \
--cert-file=/etc/etcd/ssl/etcd.pem \
--key-file=/etc/etcd/ssl/etcd-key.pem \
cluster-health
預期結果:
member 71df888fdf6f0bb9 is healthy: got healthy result from https://172.16.120.153:2379
member 73b5207bc2491164 is healthy: got healthy result from https://172.16.120.151:2379
member 7a4ddb7c77253f4b is healthy: got healthy result from https://172.16.120.152:2379
三台 etcd 的輸出均為 healthy 時表示叢集服務正常(忽略 warning 資訊)。
本文轉自SegmentFault-
kubeadm部署k8s1.9高可用叢集--2搭建etcd叢集