Kubernetes (k8s 1.23) 安裝與解除安裝

鏡像下載下傳、域名解析、時間同步請點選 阿裡雲開源鏡像站

請注意k8s在1.24版本不支援docker容器，本文使用kubeadm進行搭建

1.檢視系統版本資訊以及修改配置資訊

1.1 安裝k8s時，臨時關閉swap ，如果不關閉在執行kubeadm部分指令會報錯

swapoff -a
           

或直接注釋swap（需要重新開機生效）

[root@hhdcloudrd7 /]# cat /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Tue Apr 19 11:43:17 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos_hhdcloudrd6-root /                       xfs     defaults        0 0
UUID=13a8fe45-33c8-4258-a434-133ce183d3c3 /boot                   xfs     defaults        0 0
#/dev/mapper/centos_hhdcloudrd6-swap swap                    swap    defaults        0 0
           

1.2 安裝k8s時，可以臨時關閉selinux，減少額外配置

setenforce 0
           

或修改 /etc/sysconfig/selinux 檔案 後重新開機

[root@localhost /]# cat /etc/sysconfig/selinux 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted
           

1.3 關閉防火牆

systemctl stop firewalld
systemctl disable firewalld
           

1.4 啟用 bridge-nf-call-iptables 預防網絡問題

echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
           

1.5 設定網橋參數

cat << EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
           

1.6 修改hosts檔案 友善檢視域名映射

[root@hhdcloudrd7 /]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.34.7 k8s-master
192.168.5.129 k8s-node1
192.168.34.8 k8s-node2
           

1.7 檢視系統版本資訊 修改hostname

[root@localhost /]# hostnamectl
   Static hostname: localhost.localdomain
         Icon name: computer-vm
           Chassis: vm
        Machine ID: 5c2c4826a7cd442a85c37d3b4dba39e0
           Boot ID: 3f70bab69c37412da8eada29d50cc12c
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-1160.el7.x86_64
      Architecture: x86-64
           

hostnamectl set-hostname k8s-node1
su root
           

1.8 檢視cpu資訊 k8s安裝至少需要2核2G的環境，否則會安裝失敗

lscpu
           

2. 安裝docker

進入檢視docker基礎

2.1 使用阿裡雲安裝

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
           

2.2 修改docker的 /etc/docker/daemon.json檔案

[root@localhost /]# cat /etc/docker/daemon.json 
{
  "registry-mirrors": ["https://t81qmnz6.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
           

2.3 修改完成後 重新開機docker ，使docker與kubelet的cgroup 驅動一緻

systemctl daemon-reload
systemctl restart docker
systemctl enable docker
           

2.4 檢視kubelet驅動

cat /var/lib/kubelet/config.yaml |grep group
           

3.安裝kubeadm kubelet kubectl

3.1 配置k8s下載下傳資源配置檔案

cat >> /etc/yum.repos.d/kubernetes.repo < EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
           

3.2 安裝 kubelet kubeadm kubectl

yum install -y --nogpgcheck kubelet-1.23.5 kubeadm-1.23.5 kubectl-1.23.5
           

• kubelet ：運作在cluster，負責啟動pod管理容器
• kubeadm ：k8s快速建構工具，用于初始化cluster
• kubectl ：k8s指令工具，部署和管理應用，維護元件

3.2.1 檢視是否安裝成功

kubelet --version
kubectl version
kubeadm version
           

3.3 啟動kubelet

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet
           

3.4 拉取init-config配置 并修改配置

ps. init-config 主要是由 api server、etcd、scheduler、controller-manager、coredns等鏡像構成

kubeadm config print init-defaults > init-config.yaml
           

3.4.1 修改 剛才拉取的init-config.yaml檔案

imageRepository: registry.aliyuncs.com/google_containers
           

[root@localhost /]# cat init-config.yaml 
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.34.7   #master節點IP位址
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  imagePullPolicy: IfNotPresent
  name: master   #master節點node的名稱
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers   #修改為阿裡雲位址
kind: ClusterConfiguration
kubernetesVersion: 1.23.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
scheduler: {}
           

3.5 拉取k8s相關鏡像

kubeadm config images pull --config=init-config.yaml
           

多次嘗試都是逾時,上網時找了很多方法依舊不行，之後找到一個指令可以檢視需要拉取的鏡像

使用下邊的指令可以檢視 需要拉取的鏡像

[root@localhost /]# kubeadm config images list --config init-config.yaml
registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.23.0
registry.aliyuncs.com/google_containers/pause:3.6
registry.aliyuncs.com/google_containers/etcd:3.5.3-0
registry.aliyuncs.com/google_containers/coredns:v1.8.6
           

同理可得 以下腳本

#!/bin/bash

images=`kubeadm config images list --config init-config.yaml`

if [[ -n ${images} ]]
then
  echo "開始拉取鏡像"
  for i in ${images};
    do 
      echo $i
      docker pull $i;
  done
else
 echo "沒有可拉取的鏡像"
fi
           

最終拉取鏡像成功 注意我圖檔上是1.24版本 這個版本不支援docker容器 給大家提個醒

3.6 運作kubeadm init安裝master節點 主要兩種方法 2選一即可

主要是初始化master節點 其他node節點通過 kubeadm join 進來

#方法一
kubeadm init --config=init-config.yaml
           

#方法二
kubeadm init --apiserver-advertise-address=192.168.34.7 --apiserver-bind-port=6443 --pod-network-cidr=10.244.0.0/16  --service-cidr=10.96.0.0/12 --kubernetes-version=1.23.5 --image-repository registry.aliyuncs.com/google_containers
           

推薦使用第二種方法，我在使用第一種方法時候遇到了網絡插件pod啟動失敗導緻corndns的pod也建立失敗的情況，我是用的是kube-flannel，他的狀态一直是CrashLoopBackOff 經過檢視log資訊，需要去

/etc/kubernetes/manifests/kube-controller-manager.yaml下增加這兩條資訊

--allocate-node-cidrs=true
--cluster-cidr=10.244.0.0/16
           

下載下傳完成後可以看到這個界面

ps. 如果下載下傳失敗執行 kubeadm reset ，重新執行kubeadm init

之前有使用kubeadm安裝過，需要提前把之前的kube檔案删除掉

rm -rf $HOME/.kube
           

在master節點運作以下三行指令 執行完成後可以通過 kubeadm token list擷取token

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
           

如果是使用1.24版本需要安裝對應的CRI容器要不然就會報這個錯誤

[ERROR CRI]: container runtime is not running: output: time=“2022-05-19T16:02:33+08:00” level=fatal msg=“getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService”

, error: exit status 1

3.7 檢視token資訊 以及生成 永久token

3.7.1 檢視存在的token

kubeadm token list
           

3.7.2 生成永久token

kubeadm token create --ttl 0
           

3.7.3 生成 Master 節點的 ca 證書 sha256 編碼 hash 值

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed  's/^.* //'
           

3.7.4 在node節點 執行加入master指令

kubeadm join 192.168.34.7:6443 --token abcdef.0123456789abcdef \
	--discovery-token-ca-cert-hash sha256:d06b56614f1fcbf3e852bc440ab96a9c8846f7b2f1efd740fe320dc22705f485 
           

3.7.5 在master節點檢視 加入的node節點 或删除節點

kubectl get nodes
kubectl delete nodes 節點名稱
           

3.7.6 master節點删除node節點後，node節點再次加入需要在node節點執行 kubeadm reset

3.7.7 部署網絡插件 kube-flannel.yml 并 應用擷取運作中容器

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
           

kubectl apply -f kube-flannel.yml 
           

3.7.8 或使用 weave 網絡插件 和 kube-flannel 2選一就可以

wget http://static.corecore.cn/weave.v2.8.1.yaml
           

kubectl apply -f weave.v2.8.1.yaml
           

3.8 檢視kubelet日志

journalctl -xefu kubelet
           

3.9 kubernetes中文文檔

yum -y remove kubelet kubeadm kubectl
sudo kubeadm reset -f
sudo rm -rvf $HOME/.kube
sudo rm -rvf ~/.kube/
sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
sudo rm -rvf /usr/bin/kube*
sudo rm -rvf /etc/cni
sudo rm -rvf /opt/cni
sudo rm -rvf /var/lib/etcd
sudo rm -rvf /var/etcd