linux12k8s --＞ 02kubeadm部署k8s

文章目录

KubeAdmin安装k8s

1、集群类型
2、安装方式

一、准备环境

1、部署软件、系统要求

2、节点规划
二、kubeadm安装k8s

1、内核优化脚本(所有机器)
2、免密脚本(所有机器)
3、安装IPVS和内核优化(所有机器)
4、安装Docker(所有机器)
1、华为源安装 -- 方式一
2、docker 阿里云安装 -- 方式二
3、docker安装脚本 -- 方式三
5、安装kubernetes(所有机器)
6、m01主节点初始化配置

1、查看kubernetes所需要的镜像
2、部署m01主节点

7、kubernetes网络插件Flannel

1、安装集群网络插件（主节点）
2、编写flannel.yaml
3、检查集群初始化状态

8、将其他节点加入集群
八、如果测试成功，无需执行以下命令

三、安装集群图形化界面(Dashboard )

1、安装图形化界面
2、部署nginx服务
3、使用Dashboard创建应用

四、海外构建镜像

1、实现原理
2、所需要的平台
3、实现具体步骤

1、登录giitub账号
2、登录阿里云账号

KubeAdmin安装k8s

1、集群类型

# kubernetes集群大体上分为两类： 一主多从和多主多从
# 1、一主多从：
一台 Master节点和多台Node节点，搭建简单，有单机故障分析，适合于测试环境
# 2、多主多从：
多台 Master节点和多台Node节点，搭建麻烦，安全性比较高，适合于生产环境

2、安装方式

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

# 方式一： kubeadm

Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。

# 方式二：二进制包

从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。
Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。

一、准备环境

1、部署软件、系统要求

软件	版本
Centos	CentOS Linux release 7.5及以上
Docker	19.03.12
Kubernetes	V0.13.0
Flannel	V1.19.1
Kernel-lm	kernel-lt-4.4.245-1.el7.elrepo.x86_64.rpm
Kernel-lm-deve	kernel-lt-devel-4.4.245-1.el7.elrepo.x86_64.rpm

2、节点规划

IP建议采用192网段，避免与kubernetes内网冲突

准备机器	IP	配置	系统内核版本
k8s-master1	192.168.15.111	2核2G	4.4+
k8s-node1	192.168.15.112	2核2G	4.4+
k8s-node2	192.168.15.113	2核2G	4.4+

二、kubeadm安装k8s

服务器配置至少是2G2核的。如果不是则可以在集群初始化后面增加 --ignore-preflight-errors=NumCPU

1、内核优化脚本(所有机器)

[root@k8s-m-01 ~]# cat base.sh  
#!/bin/bash

# 1、修改主机名和网卡
hostnamectl set-hostname $1 &&\
sed -i "s#111#$2#g" /etc/sysconfig/network-scripts/ifcfg-eth[01] &&\
systemctl restart network &&\
# 2、关闭selinux和防火墙和ssh连接
setenforce 0 &&\
sed -i 's#enforcing#disabled#g' /etc/selinux/config &&\
systemctl disable --now firewalld &&\
# 如果iptables没有安装就不需要执行
# systemctl disable --now  iptables &&\
sed -i 's/#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config &&\
systemctl restart sshd &&\
# 3、关闭swap分区
# 一旦触发 swap，会导致系统性能急剧下降，所以一般情况下，K8S 要求关闭 swap
# cat /etc/fstab 
# 注释最后一行swap，如果没有安装swap就不需要
swapoff -a &&\
#忽略swap
echo 'KUBELET_EXTRA_ARGS="--fail-swap-on=false"' > /etc/sysconfig/kubelet &&\ 

# 4、修改本机hosts文件
cat >>/etc/hosts <<EOF
192.168.15.111  k8s-m-01 m1
192.168.15.112  k8s-n-01 n1
192.168.15.113  k8s-n-02 n2
EOF

#  5、配置镜像源（国内源）
# 默认情况下，CentOS 使用的是官方 yum 源，所以一般情况下在国内使用是非常慢，所以我们可以替换成 国内的一些比较成熟的 yum 源，例如：清华大学镜像源，网易云镜像源等等
rm -rf /ect/yum.repos.d/* &&\
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo &&\
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo &&\
yum clean all &&\
yum makecache &&\
# 6、更新系统
#查看内核版本，若内核高于4.0，可不加--exclud选项
yum update -y --exclud=kernel* &&\
# 由于 Docker 运行需要较新的系统内核功能，例如 ipvs 等等，所以一般情况下，我们需要使用 4.0+以上版 本的系统内核要求是 4.18+，如果是 CentOS 8 则不需要内核系统更新
# 7、安装基础常用软件，是为了方便我们的日常使用
yum install wget expect vim net-tools ntp bash-completion ipvsadm ipset jq iptables conntrack sysstat libseccomp ntpdate -y &&\
# 8、更新系统内核
#如果是centos8则不需要升级内核
cd /opt/ &&\
wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-lt-5.4.137-1.el7.elrepo.x86_64.rpm &&\
wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-lt-devel-5.4.137-1.el7.elrepo.x86_64.rpm &&\
# 如果内核低于4.0会有一些bug，导致生产环境中，如果流量很大的时候，会出现流量抖动现象
# 官网https://elrepo.org/linux/kernel/el7/x86_64/RPMS/

# 9、安装系统内容
yum localinstall /opt/kernel-lt* -y &&\  
# 10、调到默认启动
grub2-set-default  0 && grub2-mkconfig -o /etc/grub2.cfg &&\
# 11、查看当前默认启动的内核 
grubby --default-kernel &&\
reboot
# 安装完成就是5.4内核

2、免密脚本(所有机器)

# 1、免密
[root@k8s-master-01 ~]# ssh-keygen -t rsa
[root@k8s-master-01 ~]# for i in m1 n1 n2;do ssh-copy-id -i ~/.ssh/id_rsa.pub root@$i;done
# 方式二：
root@openvpn ~]# ssh-keygen
[root@openvpn ~]# cat ssh-jump.sh  
#!/bin/bash
for i in 'm1''n1' 'n2'
do
expect -c "
spawn ssh-copy-id -i root@$i
expect {
\"(yes/no)\" {send \"yes\r\";exp_continue}
\"password\" {send \"123\r\";exp_continue}
}
"
done

# 在集群当中，时间是一个很重要的概念，一旦集群当中某台机器时间跟集群时间不一致，可能会导致集群面 临很多问题。所以，在部署集群之前，需要同步集群当中的所有机器的时间
方式一：时间同步ntpdate
# 2、时间同步写入定时任务 crontab -e
# 每隔5分钟刷新一次
*/5 * * * * /usr/sbin/ntpdate ntp.aliyun.com &> /dev/null
方式二：时间同步chrony
[root@k8s-m-01 ~]# yum -y install chrony
[root@k8s-m-01 ~]# systemctl enable --now chronyd
[root@k8s-m-01 ~]# date  #三台机器时间是否一样
Mon Aug  2 10:44:18 CST 2021

3、安装IPVS和内核优化(所有机器)

kubernetes中service有两种代理模式，一种是iptables，一种是ipvs

两者相比，ipvs性能高，但是如果使用，需要手动加载ipvs模块

# 1、安装 IPVS 、加载 IPVS 模块 （所有节点）
[root@k8s-m-01 ~]# yum install ipset ipvsadm  #如果没有下载这2个命令
ipvs 是系统内核中的一个模块，其网络转发性能很高。一般情况下，我们首选 ipvs
[root@k8s-n-01 ~]# vim /etc/sysconfig/modules/ipvs.modules 
#!/bin/bash 
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack" 

for kernel_module in ${ipvs_modules}; do 
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1 
if [ $? -eq 0 ]; then 
/sbin/modprobe ${kernel_module} 
fi 
done 
# 2、授权（所有节点）
[root@k8s-n-01 ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

# 3、内核参数优化（所有节点）
加载IPVS 模块、生效配置
内核参数优化的主要目的是使其更适合 kubernetes 的正常运行
[root@k8s-n-01 ~]# vim /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1 
net.bridge.bridge-nf-call-iptables = 1 # 可以之间修改这两个
net.bridge.bridge-nf-call-ip6tables = 1 # 可以之间修改这两个
fs.may_detach_mounts = 1 
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.panic_on_oom=0  # 开启 OOM
fs.inotify.max_user_watches=89100 
fs.file-max=52706963  开启 OOM
fs.nr_open=52706963 
net.ipv4.tcp_keepalive_time = 600 
net.ipv4.tcp.keepaliv.probes = 3 
net.ipv4.tcp_keepalive_intvl = 15 
net.ipv4.tcp.max_tw_buckets = 36000 
net.ipv4.tcp_tw_reuse = 1 
net.ipv4.tcp.max_orphans = 327680 
net.ipv4.tcp_orphan_retries = 3 
net.ipv4.tcp_syncookies = 1 
net.ipv4.tcp_max_syn_backlog = 16384 
net.ipv4.ip_conntrack_max = 65536 
net.ipv4.tcp_max_syn_backlog = 16384 
net.ipv4.top_timestamps = 0 
net.core.somaxconn = 16384
# 立即生效 
sysctl --system

4、安装Docker(所有机器)

1、华为源安装 – 方式一

Docker 主要是作为 k8s 管理的常用的容器工具之一
# 1、CentOS 7版
进入华为镜像站选择docker源参考依次安装就好

# 1、若您安装过docker，需要先删掉，之后再安装依赖:
sudo yum remove docker docker-common docker-selinux docker-engine &&\
sudo yum install -y yum-utils device-mapper-persistent-data lvm2   &&\
# 2、安装doceker源
wget -O /etc/yum.repos.d/docker-ce.repo https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo &&\
# 3、软件仓库地址替换
sudo sed -i 's+download.docker.com+repo.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo &&\
# 4、重新生成源
yum clean all &&\
yum makecache  &&\
# 5、安装docker
sudo yum makecache fast &&\
sudo yum install docker-ce -y &&\
# 6、设置docker开机自启动
systemctl enable --now docker.service
# 7、docker加速优化
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF

# 如果安装centos7步骤若出现报错：
GPG key retrieval failed: [Errno 14] curl#6 - "Could not resolve host: download.docker.com; Unknown error"
# 原因：无法解析主机
# 解决方法1：临时添加114域名解析到配置文件（临时，且不可重启网卡）
[root@k8s-master1 ~] cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 114.114.114.114
nameserver 223.5.5.5
# 解决方法2：添加到eth0网卡配置文件内（永久，需重启网卡）
DNS1=114.114.114.114

# 2、CentOS 8版
1、下载rpm包
wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io1.2.13-3.2.el7.x86_64.rpm
2、安装
yum install containerd.io-1.2.13-3.2.el7.x86_64.rpm -y
3、安装扩展
yum install -y yum-utils device-mapper-persistent-data lvm2
4、配置源
yum-config-manager --add-repo
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
5、安装docker
yum install docker-ce -y
6、docker启动
systemctl enable --now docker.service

7、docker加速优化
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF

2、docker 阿里云安装 – 方式二

# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# Step 4: 更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 开启Docker服务
systemctl enable --now docker.service
#  Step 5: Docker加速优化服务
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF
# 注意：
# 官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过以下方式开启。同理可以开启各种测试版本等。
# vim /etc/yum.repos.d/docker-ce.repo
#   将[docker-ce-test]下方的enabled=0修改为enabled=1
#
# 安装指定版本的Docker-CE:
# Step 1: 查找Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
#   Loading mirror speeds from cached hostfile
#   Loaded plugins: branch, fastestmirror, langpacks
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
#   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
#   Available Packages
# Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos)
 sudo yum -y install docker-ce-[VERSION]

3、docker安装脚本 – 方式三

方式一：华为源
[root@k8s-m-01 ~]# vim docker.sh 
# 1、清空已安装的docker
sudo yum remove docker docker-common docker-selinux docker-engine &&\
sudo yum install -y yum-utils device-mapper-persistent-data lvm2   &&\
# 2、安装doceker源
wget -O /etc/yum.repos.d/docker-ce.repo https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo &&\
# 3、软件仓库地址替换
sudo sed -i 's+download.docker.com+repo.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo &&\
# 4、重新生成源
yum clean all &&\
yum makecache  &&\
# 5、安装docker
sudo yum makecache fast &&\
sudo yum install docker-ce -y &&\
# 6、设置docker开机自启动
systemctl enable --now docker.service

# 7、创建docker目录、启动服务（所有节点） ------ 单独执行加速docekr运行速度
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF
方式二：阿里云
[root@k8s-n-01 ~]# vim docker.sh 
# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 &&\
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo &&\
# Step 3
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo &&\
# Step 4: 更新并安装Docker-CE
sudo yum makecache fast &&\
sudo yum -y install docker-ce &&\
# Step 4: 开启Docker服务
systemctl enable --now docker.service &&\
#  Step 5: Docker加速优化服务
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://k7eoap03.mirror.aliyuncs.com"]
}
EOF

5、安装kubernetes(所有机器)

# 1、安装kubernetes（所有节点）
方式一  #华为源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes] 
name=Kubernetes 
baseurl=https://repo.huaweicloud.com/kubernetes/yum/repos/kubernetes-el7-\$basearch 
enabled=1 
gpgcheck=1 
repo_gpgcheck=0
gpgkey=https://repo.huaweicloud.com/kubernetes/yum/doc/yum-key.gpg https://repo.huaweicloud.com/kubernetes/yum/doc/rpm-package-key.gpg 
EOF
方式二 #阿里源
[root@k8s-n-02 yum.repos.d]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl 
# 版本是kubelet-1.21.3
systemctl enable kubelet && systemctl start kubelet
方式三 #清华源
[root@k8s-m-01 yum.repos.d]# cat >> kubernetes.repo <<EOF
[kubernetes]
name=kubernetes
baseurl=https://mirrors.tuna.tsinghua.edu.cn/kubernetes/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=0
EOF
# 2、重新生成源
yum clean all &&\
yum makecache 
# 3、此处指定版本下载为了与下边初始化节点版本对应
yum install kubectl-1.21.3 kubeadm-1.21.3 kubelet-1.21.3 -y  &&\
# 此处下载最新版本为了与下边初始化节点版本对应
# yum install kubectl kubeadm-1.21.3 kubelet-1.21.3 -y  &&\
# 4、此时只需开机自启，无需启动，因为还未初始化
systemctl enable --now kubelet.service
# 5、查看版本
[root@k8s-m-01 ~]# kubectl version 
Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.3",

6、m01主节点初始化配置

1、查看kubernetes所需要的镜像

# 1、查看镜像列表
[root@k8s-m-01 ~]# kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.21.3
k8s.gcr.io/kube-controller-manager:v1.21.3
k8s.gcr.io/kube-scheduler:v1.21.3
k8s.gcr.io/kube-proxy:v1.21.3
k8s.gcr.io/pause:3.4.1
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns/coredns:v1.8.0
quay.io/coreos/flannel:v0.14.0
# 2、查看阿里云镜像列表
[root@k8s-m-01 ~]# kubeadm config images list --image-repository=registry.cn-shanghai.aliyuncs.com/mmk8s
registry.cn-shanghai.aliyuncs.com/mmk8s/kube-apiserver:v1.21.3
registry.cn-shanghai.aliyuncs.com/mmk8s/kube-controller-manager:v1.21.3
registry.cn-shanghai.aliyuncs.com/mmk8s/kube-scheduler:v1.21.3
registry.cn-shanghai.aliyuncs.com/mmk8s/kube-proxy:v1.21.3
registry.cn-shanghai.aliyuncs.com/mmk8s/pause:3.4.1
registry.cn-shanghai.aliyuncs.com/mmk8s/etcd:3.4.13-0
registry.cn-shanghai.aliyuncs.com/mmk8s/coredns:v1.8.0

2、部署m01主节点

# 1、初始化master节点
# --image-repository
kubeadm init \
--image-repository=registry.cn-shanghai.aliyuncs.com/mmk8s \
# 看清版本号
--kubernetes-version=v1.21.3 \  
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=Swap

# 过程中可监控初始化日志，出现successfully即为成功！
# tailf /var/log/messages
[root@k8s-master1 ~] cat /var/log/messages | grep successfully
# Mar 24 21:02:07 k8s-master1 containerd: time="2021-03-24T21:02:07.063840628+08:00" level=info msg="containerd successfully booted in 0.181480s"

# 2、 初始化完成查看kubernetes
[root@k8s-m-01 ~]# systemctl status kubelet.service

# 3、配置 kubernetes 用户信息
master节点执行
# 建立用户集群权限 
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 4、如果使用root用户，则添加至环境变量
# 临时生效
[root@k8s-m-01 ~]# export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效
[root@k8s-m-01 ~]# cat /etc/profile.d/kubernetes.sh
 export KUBECONFIG=/etc/kubernetes/admin.conf
[root@k8s-m-01 ~]# source /etc/profile

# 5、增加命令提示（选做）
所有节点执行
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

7、kubernetes网络插件Flannel

kubernetes 需要使用第三方的网络插件来实现 kubernetes 的网络功能，这样一来，安装网络插件成为必要前提
第三方网络插件有多种，常用的有 flanneld、calico 和 cannel（flanneld+calico），不同的网络组件，都提供基本的网络功能，为各个 Node 节点提供 IP 网络等

1、安装集群网络插件（主节点）

2、编写flannel.yaml

# 方式一：下载flannel.yaml #推荐
fannel3.0版本
[root@k8s-m-01 ~]# wget http://www.mmin.xyz:81/package/k8s/flannel.yaml
fannel4.0版本
[root@k8s-m-01 ~]# http://www.mmin.xyz:81/package/k8s/flannel.4.0.yaml
# 方式二：从官网复制手动编写flannel.yaml
cat >> /root/flannel.yaml <<EOF
---
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: psp.flannel.unprivileged
  annotations:
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
    seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
    apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
    apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
spec:
  privileged: false
  volumes:
  - configMap
  - secret
  - emptyDir
  - hostPath
  allowedHostPaths:
  - pathPrefix: "/etc/cni/net.d"
  - pathPrefix: "/etc/kube-flannel"
  - pathPrefix: "/run/flannel"
  readOnlyRootFilesystem: false
  # Users and groups
  runAsUser:
    rule: RunAsAny
  supplementalGroups:
    rule: RunAsAny
  fsGroup:
    rule: RunAsAny
  # Privilege Escalation
  allowPrivilegeEscalation: false
  defaultAllowPrivilegeEscalation: false
  # Capabilities
  allowedCapabilities: ['NET_ADMIN', 'NET_RAW']
  defaultAddCapabilities: []
  requiredDropCapabilities: []
  # Host namespaces
  hostPID: false
  hostIPC: false
  hostNetwork: true
  hostPorts:
  - min: 0
    max: 65535
  # SELinux
  seLinux:
    # SELinux is unused in CaaSP
    rule: 'RunAsAny'
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
rules:
- apiGroups: ['extensions']
  resources: ['podsecuritypolicies']
  verbs: ['use']
  resourceNames: ['psp.flannel.unprivileged']
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
  namespace: kube-system
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-system
  labels:
    tier: node
    app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/os
                operator: In
                values:
                - linux
      hostNetwork: true
      priorityClassName: system-node-critical
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni
        image:   registry.cn-shanghai.aliyuncs.com/mmk8s/flannel:v0.14.0
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
        image:   registry.cn-shanghai.aliyuncs.com/mmk8s/flannel:v0.14.0
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
          limits:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: false
          capabilities:
            add: ["NET_ADMIN", "NET_RAW"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
      - name: run
        hostPath:
          path: /run/flannel
      - name: cni
        hostPath:
          path: /etc/cni/net.d
      - name: flannel-cfg
        configMap:
          name: kube-flannel-cfg
EOF
# 2、查看镜像
[root@k8s-m-01 ~]# cat flannel.yaml | grep image
        image:   registry.cn-shanghai.aliyuncs.com/mmk8s/flannel:v0.14.0
        image:   registry.cn-shanghai.aliyuncs.com/mmk8s/flannel:v0.14.0
        
# 如果没有替换，必须替成阿里云镜像(执行了，就无需执行)
[root@k8s-m-01 ~]# sed -i 's/quay.io\/coreos\/flannel/registry.cn-hangzhou.aliyuncs.com\/k8sos\/flannel/g' falnnel.4.0.yaml
[root@k8s-m-01 ~]# cat flannel.4.0.yaml |grep image
        image: registry.cn-hangzhou.aliyuncs.com/k8sos/flannel:v0.14.0
        image: registry.cn-hangzhou.aliyuncs.com/k8sos/flannel:v0.14.0
 # 3、安装网络插件
[root@k8s-m-01 ~]# kubectl apply -f flannel.yaml

# 如果发生报错，删除重新执行一下
[root@k8s-m-01 ~]# kubectl delete -f flannel.yaml
[root@k8s-m-01 ~]# kubectl apply -f flannel.yaml

3、检查集群初始化状态

# 方式一：
[root@k8s-m-01 ~]# kubectl get node  
NAME       STATUS   ROLES                  AGE   VERSION
k8s-m-01   Ready    control-plane,master   16m   v1.21.2
# 方式二：
[root@k8s-m-01 ~]#  kubectl get pods -o wide -n kube-system
NAME                               READY   STATUS    RESTARTS   AGE     IP               NODE       NOMINATED NODE   READINESS GATES
coredns-978bbc4b6-54ng4            1/1     Running   0          17m     10.244.0.2       k8s-m-01   <none>           <none>
coredns-978bbc4b6-tnng7            1/1     Running   0          17m     10.244.0.3       k8s-m-01   <none>           <none>
etcd-k8s-m-01                      1/1     Running   0          18m     192.168.15.111   k8s-m-01   <none>           <none>
kube-apiserver-k8s-m-01            1/1     Running   0          18m     192.168.15.111   k8s-m-01   <none>           <none>
kube-controller-manager-k8s-m-01   1/1     Running   0          18m     192.168.15.111   k8s-m-01   <none>           <none>
kube-flannel-ds-stcll              1/1     Running   0          3m45s   192.168.15.111   k8s-m-01   <none>           <none>
kube-proxy-xk7hm                   1/1     Running   0          17m     192.168.15.111   k8s-m-01   <none>           <none>
kube-scheduler-k8s-m-01            1/1     Running   0          18m     192.168.15.111   k8s-m-01   <none>           <none>
# READY状态为1/1即为成功！

8、将其他节点加入集群

# 1、主节点创建集群
node节点要查看token，主节点生成token可重复执行查看，不会改变
[root@k8s-m-01 ~]# kubeadm token create --print-join-command
kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

# 2、从节点加入集群
[root@k8s-n-01 yum.repos.d]# kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

[root@k8s-n-02 yum.repos.d]# kubeadm join 192.168.15.111:6443 --token m8g1q7.eqxte0aao5vgalim --discovery-token-ca-cert-hash sha256:8db2681f9c8f812e0d650f77abdc02f6277b5a45d93c4f9b81ebf424676001d0

#3、NDS测试
[root@k8s-m-01 ~]# kubectl run test -it --rm --image=busybox:1.28.3
If you don't see a command prompt, try pressing enter.
/ # nslookup kubernetes #输入这条命令，成功后就是以下内容
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local
/ #
#出现以上界面成功

node节点加入集群失败，状态为NotReady 解决方法

#node节点与master节点版本不一致
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.2
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

解决办法：
# 默认下载是最新版本，难免出现版本不一致的问题，所以下载时指定同一版本才行
# 1.从节点删除下载版本重新指定版本格式：
yum remove kubectl kubeadm kubelet -y
yum install kubectl-1.21.3 kubeadm-1.21.2 kubelet-1.21.3 -y

#2.设置开机自启
systemctl enable --now kubelet

#3.重置nonde节点配置（因为上述已经加入过集群，会报错证书，配置文件，端口号已存在，需要格式化子节点配置）
[ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
[ERROR Port-10250]: Port 10250 is in use
[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
[root@k8s-m-01 ~]#  kubectl reset  #报错以上内容执行此命令格式化子节点

#4.从集群移除状态为notready的node节点
[root@k8s-m-01 ~]#  kubectl delete node n2

#5.重新将node节点加入集群，此时需注意token值是否相同，如果多次生成token值，需确认最后生成的token值
注：此处做好在master节点重新生成一次token值用来node节点加入集群使用
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
注：将生成结果在node节点执行

#6.将node节点重新加入集群
[root@k8s-m-01 ~]#  kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
# 7、查看
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.2
k8s-n-01   Ready      <none>                 16m      v1.21.2
k8s-n-02   Ready      <none>                 16m      v1.21.2
# 所以节点都在ready状态，代表集群搭建成功

八、如果测试成功，无需执行以下命令

node节点加入集群失败，状态为NotReady 解决方法

# 1、加入集群报错解决
 1> 报错原因1
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

# 解决方法： echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

# 2、然后重新生成，再次测试，加入集群
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18
注：将生成结果在node节点执行

# 3、将node节点重新加入集群
[root@k8s-m-01 ~]#  kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

2> 报错原因1
从节点加入集群可能会出现如下报错：
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

PS：前提安装Docker+启动，再次尝试加入节点！
# 1、报错原因：
swap没关，一旦触发 swap，会导致系统性能急剧下降，所以一般情况下，所以K8S 要求关闭 swap
# 2、解决方法：
1>  执行以下三条命令后再次执行添加到集群命令：
modprobe br_netfilter
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
echo 1 > /proc/sys/net/ipv4/ip_forward

2> 追加 --ignore-preflight-errors=Swap 参数重新执行即可！
[root@k8s-n-1 ~] kubeadm join 192.168.15.11:6443 --token iypm65.p5nmdzzw1zifxy6c --discovery-token-ca-cert-hash sha256:8bdbe324980e3350aaa3b9cea58edf576dc0a6d937da6b7bff6dbe6a01e0b525 --ignore-preflight-errors=Swap

3> 报错原因3
# 1、报错原因：
可能是内核参数忘记优化所有节点都需优化
# 2、解决方法：
回到上面第七小节，复制粘贴优化参数即可： cat > /etc/sysctl.d/k8s.conf <<EOF

4> 报错原因4
ode节点加入集群失败，状态为NotReady
情况1：软件版本不一致
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.2
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

# 1、原因分析：
默认下载是最新版本，难免出现版本不一致的问题，所以下载时指定同一版本才行
# 2、解决方法：
yum install kubectl-1.21.2 kubeadm-1.21.2 kubelet-1.21.2 -y # 主从节点安装指定版本格式
kubectl reset # 重新初始化
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18 # 重新将node节点加入集群

# PS：查看token值命令
[root@k8s-m-01 ~]# kubeadm token list
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18 
8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

情况2：软件版本一致，touken值可能不对
[root@k8s-m-01 ~]#  kubectl get node
NAME       STATUS     ROLES                  AGE      VERSION
k8s-m-01   Ready    control-plane,master     16m      v1.21.2
k8s-n-01   NotReady   <none>                 22m      v1.20.2
k8s-n-02   NotReady   <none>                 22m      v1.20.2

# node节点为notready状态，加入从节点时报错：
[ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
[ERROR Port-10250]: Port 10250 is in use
[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
# 原因分析：因为多次生成主节点的token值，导致token值加入不一致或输入错误

# 解决方法：
# 从集群移除状态为notready的node节点
[root@k8s-m-01 ~]#  kubectl delete n2

# node节点重置touken值以及证书端口号等信息
[root@k8s-n-01 ~]#  kubeadm reset
[root@k8s-n-02 ~]#  kubeadm reset

# 主节点重新创建token
[root@k8s-m-01 ~]#  kubeadm token create    --print-join-command 
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18 

# 将node节点重新加入集群
kubeadm join 192.168.15.111:6443 --token fm0387.iqixomz5jmsukwsi     --discovery-token-ca-cert-hash sha256:d8ff83ffed5967000034d07b3da738ae4f1f0254e8417bb30c21f3ed15ac5d18

# 报错 3、STATUS 状态是Healthy
[root@k8s-m-01 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS      MESSAGE                                                                                       ERROR
scheduler            Unhealthy   Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused   
controller-manager   Unhealthy   Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused   
etcd-0               Healthy     {"health":"true"}    
1、解决方式
[root@k8s-m-01 ~]# vim /etc/kubernetes/manifests/kube-controller-manager.yaml 
 #- --port=0
[root@k8s-m-01 ~]# vim /etc/kubernetes/manifests/kube-scheduler.yaml 
 #- --port=0
 2、查看状态
[root@k8s-m-01 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"}

三、安装集群图形化界面(Dashboard )

Dashboard 是 基 于 网 页 的 Kubernetes 用 户 界 面 。 您 可 以 使 用 Dashboard 将 容 器 应 用 部 署 到Kubernetes 集群中，也可以对容器应用排错，还能管理集群本身及其附属资源。您可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kubernetes 资源（如Deployment，Job，DaemonSet等等）。

1、安装图形化界面

可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。

# 1、下载资源清单并生成
方式一：giitubx下载
[root@k8s-m-01 ~]#  wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.4/aio/deploy/recommended.yaml
方式二：自己网站下载并生成
[root@k8s-m-01 ~]#  wget  http://www.mmin.xyz:81/package/k8s/recommended.yaml
[root@k8s-m-01 ~]# kubectl apply -f recommended.yaml 
方式三：一步生成并安装
[root@k8s-m-01 ~]# kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml  

# 2、查看端口
[root@k8s-m-01 ~]# kubectl get svc -n kubernetes-dashboard
NAME                        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)    AGE
dashboard-metrics-scraper   ClusterIP   10.96.44.119   <none>        8000/TCP   11m
kubernetes-dashboard        ClusterIP   10.96.42.127   <none>        443/TCP    11m

# 3、开一个端口，用于访问
[root@k8s-m-01 ~]# kubectl edit svc -n kubernetes-dashboard kubernetes-dashboard
type: ClusterIP   =>  type: NodePort  #修改成NodePort

# 4、重新查看端口
[root@k8s-m-01 ~]# kubectl get svc -n kubernetes-dashboard
NAME                        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.96.44.119   <none>        8000/TCP        12m
kubernetes-dashboard        NodePort    10.96.42.127   <none>        443:40927/TCP   12m

# 5、创建token配置文件
[root@k8s-m-01 ~]# vim token.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kube-system

# 6、部署token到集群
[root@k8s-m-01 ~]# kubectl apply -f token.yaml 
serviceaccount/admin-user created
clusterrolebinding.rbac.authorization.k8s.io/admin-user created

# 7、获取token
[root@k8s-m-01 ~]#  kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') | grep token: | awk '{print $2}'
eyJhbGciOiJSUzI1NiIsImtpZCI6Ik1NeTJxSDZmaFc1a00zWVRXTHdQSlZlQnNjWUdQMW1zMjg5OTBZQ1JxNVEifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLWpxMm56Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiIyN2Q4MjIzYi1jYmY1LTQ5ZTUtYjAxMS1hZTAzMzM2MzVhYzQiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06YWRtaW4tdXNlciJ9.Q4gC_Kr_Ltl_zG0xkhSri7FQrXxdA5Zjb4ELd7-bVbc_9kAe292w0VM_fVJky5FtldsY0XOp6zbiDVCPkmJi9NXT-P09WvPc9g-ISbbQB_QRIWrEWF544TmRSTZJW5rvafhbfONtqZ_3vWtMkCiDsf7EAwDWLLqA5T46bAn-fncehiV0pf0x_X16t72Qqa-aizHBrVcMsXQU0wnYC7jt373pnhnFHYdcJXx_LgHaC1LgCzx5BfkuphiYOaj_dVB6tAlRkQo3QkFP9GIBW3LcVfhOQBmMQl8KeHvBW4QC67PQRv55IUaUDJ_lRC2QKbeJzaUto-ER4YxFwr4tncBwZQ
# 8、验证集群是否成功
[root@k8s-m-01 kubernetes]# kubectl run test01 -it --rm --image=busybox:1.28.3
If you don't see a command prompt, try pressing enter.
/ # nslookup kubernetes
Address 1: 10.96.0.2 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local
/ 
# 9、通过token访问
192.168.15.51：40927  # 第五步查看端口

2、部署nginx服务

# 1、部署服务
[root@k8s-m-01 ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@k8s-m-01 ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
# 2、查看部署的服务
[root@k8s-m-01 ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        2d21h
nginx        NodePort    10.109.78.82   <none>        80:31463/TCP   5s
# 3、使用token登录
[root@k8s-m-01 ~]# kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') | grep token: | awk '{print $2}'
eyJhbGciOiJSUzI1NiIsImtpZCI6IjFGREpGUDZnbmkyeUJVSmplMm9TUEdVRmdKMGwxOWpFWEo0eE4wU1dmTzgifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLWJ4cXRzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJlNTMxMjc0Mi1mZTlkLTRjMWQtOTI4YS04MGM4MWQwZjMyNGQiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06YWRtaW4tdXNlciJ9.Cq9Z1pe4GErpTfHIe80tNo-M1hGLrn8T5tQzXCUosdwX55Tzu_ySAB8roHAXmWqOP4343w5ZQRJc6moH3gZ2tpDCDlssXGSEafX3N4UodBphr9XgsQvb_Ev1uhr5pVJmomwE3JRzGORt28SHdlm1PlAeTo0Bg9M9fNYXHzA8YGyCNN-fb--3wEb_gVqP1Go2HsReYHUZsmvxxxEuXXnDGK_U6mPOT8_hw-zEx-svGYoh5l4LKILG42FqUKFJo2qwj7hGl2RrPYELonx4OtL0vmbLyyxExC76g9d7sdXdzHLx7lZXXsgEBbgG54HC11SAHd0I7OL6PQfUFjQEDOzvXQ
# 4、查看kubernetes部署的服务
[root@k8s-m-01 ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        2d21h
nginx        NodePort    10.109.78.82   <none>        80:31463/TCP   4m19s  # nginx服务
[root@k8s-m-01 ~]# kubectl get svc -n kubernetes-dashboard 
NAME                        TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.96.46.62   <none>        8000/TCP        11h
kubernetes-dashboard        NodePort    10.103.2.97   <none>        443:30327/TCP   11h  #网络插件

3、使用Dashboard创建应用

在登录页面上输入上面的token

出现下面的页面代表成功

查看

选择指定的命名空间

dev

，然后点击

Deployments

，查看dev空间下的所有deployment

扩缩容

在

Deployment

上点击

规模

，然后指定

目标副本数量

，点击确定

编辑

在

Deployment

上点击

编辑

，然后修改

yaml文件

，点击确定

查看Pod

点击

Pods

, 查看pods列表

操作Pod

选中某个Pod，可以对其执行日志（logs）、进入执行（exec）、编辑、删除操作

Dashboard提供了kubectl的绝大部分功能，这里不再一一演示

四、海外构建镜像

使用docker或者k8s的过程中，我们可能遇到镜像无法下载的情况，例如：kubernetes的kube-apiserver镜像，这是因为其仓库在海外，我们的网络被墙，我发获取到该资源，使用合法的方式，成本又太高,所以我们要自己构建海外镜像

1、实现原理

首先利用docker构建镜像的方式，定义海外镜像的Dockerfile，里面只需要编写“ FROM k8s.gcr.io/kube apiserver:v1.21.3”
然后利用阿里云容器镜像服务，创建一个关联上代码仓库并且使用海外机器构建的仓库，这样阿里云就可以下载海外镜像到阿里云。
再然后，我们将刚刚在阿里云上构建的pull到本地，通过docker tag 的方式需改成我们需要的镜像。

2、所需要的平台

所需要的平台有GitHub和阿里云。

linux12k8s --＞ 02kubeadm部署k8s

文章目录

KubeAdmin安装k8s

1、集群类型

2、安装方式

一、准备环境

1、部署软件、系统要求

2、节点规划

二、kubeadm安装k8s

1、内核优化脚本(所有机器)

2、 免密脚本(所有机器)

3、安装IPVS和内核优化(所有机器)

4、安装Docker(所有机器)

1、华为源安装 – 方式一

2、docker 阿里云安装 – 方式二

3、docker安装脚本 – 方式三

5、安装kubernetes(所有机器)

6、m01主节点初始化配置

1、查看kubernetes所需要的镜像

2、部署m01主节点

7、kubernetes网络插件Flannel

1、安装集群网络插件（主节点）

2、编写flannel.yaml

3、检查集群初始化状态

8、将其他节点加入集群

八、如果测试成功，无需执行以下命令

三、安装集群图形化界面(Dashboard )

1、安装图形化界面

2、部署nginx服务

3、使用Dashboard创建应用

四、海外构建镜像

1、 实现原理

2、所需要的平台

3、实现具体步骤

1、登录giitub账号

2、登录阿里云账号

继续阅读

2、免密脚本(所有机器)

1、实现原理