Service資源在k8s上主要用來解決pod通路問題；我們知道在k8s上pod由于各種原因重建，對于重建後的podip位址和名稱都是變化的，這樣一來使得我們通路pod就變得有些不便；為了解決pod通路能有一個固定的端點，在k8s上就是用service來解決的；簡單來講，service對象就是工作在節點上的一組iptables或ipvs規則，用于将到達service對象ip位址的流量排程轉發至相應endpoint對象指向的ip位址和端口之上；工作于每個節點的kube-proxy元件通過apiserver持續監控着各service及其關聯的pod對象，并将其建立或變動實時反映至目前工作節點上相應的iptables或ipvs規則；其實service和pod或其他資源的關聯，本質上不是直接關聯，它依靠一個中間元件endpoint；
前文我們了解了k8s上的DemonSet、Job和CronJob控制器的相關話題，回顧請參考：https://www.cnblogs.com/qiuhom-1874/p/14157306.html；今天我們來了解下k8s上的service資源的相關話題；
Service資源在k8s上主要用來解決pod通路問題；我們知道在k8s上pod由于各種原因重建，對于重建後的podip位址和名稱都是變化的，這樣一來使得我們通路pod就變得有些不便；為了解決pod通路能有一個固定的端點，在k8s上就是用service來解決的；簡單來講，service對象就是工作在節點上的一組iptables或ipvs規則，用于将到達service對象ip位址的流量排程轉發至相應endpoint對象指向的ip位址和端口之上；工作于每個節點的kube-proxy元件通過apiserver持續監控着各service及其關聯的pod對象，并将其建立或變動實時反映至目前工作節點上相應的iptables或ipvs規則；其實service和pod或其他資源的關聯，本質上不是直接關聯，它依靠一個中間元件endpoint；endpoint主要作用就是引用後端pod或其他資源（比如k8s外部的服務也可以被endpoint引用）；所謂endpoint就是ip位址+端口；
提示：在k8s上kube-proxy它會監視着apiserver上的service資源變動，及時将變動轉化為本機的iptables或ipvs規則；對應用戶端pod通路對應serverpod，封包首先會從本機的iptables或ipvs規則所比對，然後再由對應規則邏輯把請求排程到對應的pod上；
service代理模式模式
在k8s上service代理模式有三種，早期的k8s版本（1.1之前包含1.1的版本）預設的代理模式為userspace，後面的版本（1.11起）預設代理模式為ipvs，如果對應ipvs的子產品沒有加載，它會自動降級為iptables;
userspace代理模式
提示：userspace是指Linux作業系統上的使用者空間；在這種代理模型下iptables隻是做轉發并不排程，對應排程由kube-proxy完成；userspace這種排程模型使用者請求從核心空間到使用者空間再到核心空間，性能效率比較低下；
iptables代理模式
提示：iptables這種代理模式，對于每個service對象，kube-proxy會建立iptables規則直接捕獲到達Clusterip和port的流量，并将其重定向至目前service對象的後端pod資源；對于每個endpoint對象，service資源會為其建立iptables規則并關聯至挑選的後端pod資源對象；相對于userspace代理模式來說，該模式使用者請求無須在使用者空間和核心空間來回切換，是以效率高效；此種模式下kube-proxy就隻負責生成iptalbes規則，排程有iptables規則完成；
ipvs代理模式
提示：ipvs代理模式，kube-proxy會跟蹤apiserver上service和endpoint對象的變動，據此來調用netlink接口建立ipvs規則，并確定與apiserver中的變動保持同步；這種模式與iptables的模式不同之處僅在于其請求排程由ipvs完成，餘下其他功能仍由iptables完成；比如流量捕獲，nat等等功能都會由iptables完成；ipvs代理模型類似iptables模型，ipvs建構于netfilter的鈎子函數之上，但它使用hash表作為底層資料結構并工作于核心空間，是以具有流量轉發速度快，規則同步性能好的特點，除此之外，ipvs還支援衆多排程算法，比如rr，lc，sh，dh等等；
service類型
在k8s上service的類型有4種，第一種是clusterIP，我們在建立service資源時，如果不指定其type類型，預設就是clusterip；第二種是NodePort類型，第三種是LoadBalancer，第四種是ExternalName；不同類型的service，其功能和作用也有所不同；
ClusterIP
提示：如上所示，ClusterIP類型的service就是在k8s節點上建立一個滿足serviceip位址的iptables或ipvs規則；這種類型的service的ip位址一定是我們在初始化叢集時，指定的service網絡（10.96.0.0/12）中的位址；這也意味着這種類型service不能被叢集外部用戶端所通路，僅能在叢集節點上通路；
NodePort
提示：NodePort類型的service，是建構在ClusterIP的基礎上做的擴充，主要解決了叢集外部用戶端通路問題；如上圖所示，NodePort類型service在建立時，它會每個節點上建立一條DNAT規則，外部用戶端通路叢集任意節點的指定端口，都會被DNAT到對應的service上，進而實作通路叢集内部Pod；對于叢集内部用戶端的通路它還是通過ClusterIP進行的；NodePort類型service與ClusterIP類型service唯一不同的是，NodePort類型service能夠被外部用戶端所通路，在叢集每個節點上都有對應的DNAT規則；
LoadBalancer
提示：LoadBalancer這種類型的service是在NodePort的基礎上做的擴充，這種類型service隻能在底層是雲環境的K8s上建立，如果底層是非雲環境，這種類型無法實作，隻能手動搭建反向代理進行對NodePort類型的service進行反代；它主要解決NodePort類型service被叢集外部通路時的端口映射以及負載；
ExternalName
提示：ExternalName這種類型service主要用來解決對應service引用叢集外部的服務；我們知道對于service來說，它就是一條iptables或ipvs規則，對于後端引用的資源是什麼，取決于對應endpoint關聯的是什麼資源的ip位址和端口；如果我們需要在叢集中使用叢集外部的服務，我們就可以建立ExternalName類型的service，指定後端關聯外部某個服務端ip位址或域名即可；它的工作流程如上圖所示，在叢集内部用戶端通路對應service時，首先要去core-DNS上查詢對應域名的ip位址，然後再根據dns傳回的ip位址去連接配接對應的服務；使用這種類型service的前提是對應的coredns能夠連接配接到外部網絡解析對應的域名；
service資源的建立
示例：建立ClusterIP類型的service
[root@master01 ~]# cat ngx-dep-svc-demo.yaml
apiVersion: v1
kind: Service
metadata:
name: ngx-dep-svc
namespace: default
spec:
ports:
- name: http
port: 80
targetPort: 80
selector:
app: ngx-dep-pod
[root@master01 ~]#
提示：在建立service資源時，主要要需要在spec字段中指定port和targetPort，port是service的端口，targetPort是後端資源的端口；其次就是需要定義标簽選擇器，這裡的标簽選擇器用selector字段指定，它的值是一個字典，即kv鍵值對；預設不指定type類型就是使用的ClusterIP類型，預設不指定ClusterIP就表示自動生成對應的ClusterIP；
應用資源清單
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 40h
[root@master01 ~]# kubectl apply -f ngx-dep-svc-demo.yaml
service/ngx-dep-svc created
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 40h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 5s
[root@master01 ~]#
驗證：通路對應的ClusterIP看看是否能夠通路到對應的資源？
[root@master01 ~]# curl 10.107.159.92
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@master01 ~]#
提示：可以看到通路對應serviceip位址能夠通路到對應的pod；
檢視service詳細資訊
[root@master01 ~]# kubectl describe svc ngx-dep-svc
Name: ngx-dep-svc
Namespace: default
Labels: <none>
Annotations: <none>
Selector: app=ngx-dep-pod
Type: ClusterIP
IP Families: <none>
IP: 10.107.159.92
IPs: 10.107.159.92
Port: http 80/TCP
TargetPort: 80/TCP
Endpoints: 10.244.2.93:80,10.244.3.86:80,10.244.4.14:80
Session Affinity: None
Events: <none>
[root@master01 ~]#
提示：可以看到對應service的type類型為ClusterIP，port為80，targetPort為80，endpoins對應了3個podip位址+targetPort；其實在建立service時，系統預設會建立一個同service相同名稱的endpoints；
檢視endpoints
[root@master01 ~]# kubectl get endpoints
NAME ENDPOINTS AGE
kubernetes 192.168.0.41:6443 40h
ngx-dep-svc 10.244.2.93:80,10.244.3.86:80,10.244.4.14:80 4m53s
[root@master01 ~]# kubectl describe endpoints/ngx-dep-svc
Name: ngx-dep-svc
Namespace: default
Labels: <none>
Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2020-12-20T08:50:52Z
Subsets:
Addresses: 10.244.2.93,10.244.3.86,10.244.4.14
NotReadyAddresses: <none>
Ports:
Name Port Protocol
---- ---- --------
http 80 TCP
Events: <none>
[root@master01 ~]#
提示：可以看到ngx-dep-svc這個endpoint關聯了3個podip位址；
示例：建立NodePort類型service
[root@master01 ~]# cat ngx-dep-svc-demo.yaml
apiVersion: v1
kind: Service
metadata:
name: ngx-dep-svc-nodeport
namespace: default
spec:
ports:
- name: http
port: 80
nodePort: 30080
targetPort: 80
selector:
app: ngx-dep-pod
type: NodePort
[root@master01 ~]#
提示：建立nodeport類型service需要在spec字段中使用type字段來指定其類型為NodePort；隻有type的值為NodePort，對應ports字段中指定的nodePort 才有意義，預設不指定它會随機生成一個端口，指定nodePort就相當于固定了端口；通常不建議指定nodePort；
應用資源配置清單
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 40h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 21m
[root@master01 ~]# kubectl apply -f ngx-dep-svc-demo.yaml
service/ngx-dep-svc-nodeport created
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 40h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 21m
ngx-dep-svc-nodeport NodePort 10.97.166.233 <none> 80:30080/TCP 4s
[root@master01 ~]#
提示：可以看到nodeport類型的service，對應port就有兩個值，後面的30080就是外部用戶端通路叢集内部資源的端口；
驗證：使用浏覽器通路k8s任意節點的30080端口，看看是否能夠通路到對應的pod？
提示：可以看到叢集外部用戶端可以通過通路叢集節點上的一個端口實作通路對應叢集内部資源；
示例：建立ExternalName類型service
[root@master01 ~]# cat externalname-svc.yaml
kind: Service
apiVersion: v1
metadata:
name: external-www-svc
spec:
type: ExternalName
externalName: www.qiuhom.com
ports:
- protocol: TCP
port: 80
targetPort: 80
nodePort: 0
selector: {}
[root@master01 ~]#
提示：以上配置清單表示建立一個名為external-www-svc的Service，對應Service的類型為ExternalName；引用外部服務為www.qiuhom.com；
[root@master01 ~]# kubectl apply -f externalname-svc.yaml
service/external-www-svc created
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
external-www-svc ExternalName <none> www.qiuhom.com 80/TCP 6s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 43h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 3h27m
ngx-dep-svc-nodeport NodePort 10.97.166.233 <none> 80:30080/TCP 3h2m
[root@master01 ~]# kubectl describe svc/external-www-svc
Name: external-www-svc
Namespace: default
Labels: <none>
Annotations: <none>
Selector: <none>
Type: ExternalName
IP Families: <none>
IP:
IPs: <none>
External Name: www.qiuhom.com
Port: <unset> 80/TCP
TargetPort: 80/TCP
Endpoints: <none>
Session Affinity: None
Events: <none>
[root@master01 ~]#
提示：可以看到應用配置清單以後，service詳細資訊中，沒有标簽，沒有選擇器，沒有ip位址；隻有externalName和對應targetPort；
測試：把dns伺服器位址指向coredns,然後通路對應服務名稱，看看對應服務是否會有響應？
[root@master01 ~]# kubectl get svc -n kube-system
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP,9153/TCP 12d
[root@master01 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
search k8s.org
nameserver 10.96.0.10
[root@master01 ~]# curl external-www-svc.default.svc.cluster.local -I
HTTP/1.1 302 Found
Server: nginx/1.14.0 (Ubuntu)
Date: Sun, 20 Dec 2020 12:33:44 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 0
Connection: keep-alive
Vary: Accept-Language, Cookie
Location: /accounts/login/?next=/
Content-Language: en
[root@master01 ~]#
提示：可以看到通路對應服務名稱，響應碼是302，說明我們的請求被代理出去了；
進入任意pod内部，使用nslookup查詢coredns上對應服務名稱是否能夠解析？
[root@master01 ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
deploy-demo-6d795f958b-6pjgw 1/1 Running 0 3h30m
deploy-demo-6d795f958b-m4vfb 1/1 Running 0 3h30m
deploy-demo-6d795f958b-qcl6m 1/1 Running 0 3h30m
[root@master01 ~]# kubectl exec -it deploy-demo-6d795f958b-6pjgw -- /bin/sh
/ # nslookup external-www-svc
nslookup: can't resolve '(null)': Name does not resolve
Name: external-www-svc
Address 1: 47.99.205.203
/ #
提示：可以看到對應服務名稱也能正常被解析；
示例：建立無頭service
[root@master01 ~]# cat handless-svc-demo.yaml
apiVersion: v1
kind: Service
metadata:
name: handless-svc-demo
namespace: default
spec:
clusterIP: None
ports:
- name: http
port: 80
targetPort: 80
selector:
app: ngx-dep-pod
[root@master01 ~]#
提示：所謂無頭service是指沒有clusterIP的service，我們知道clusterip是service作為通路後端pod的入口，那麼沒有clusterip，它怎麼通路後端pod呢？沒有ip位址我們隻能使用名稱來通路；在k8s上無頭service預設會被coredns把對應名稱的service解析為後端關聯的多個pod位址；
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
external-www-svc ExternalName <none> www.baidu.com 80/TCP 10m
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 43h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 3h34m
ngx-dep-svc-nodeport NodePort 10.97.166.233 <none> 80:30080/TCP 3h12m
[root@master01 ~]# kubectl apply -f handless-svc-demo.yaml
service/handless-svc-demo created
[root@master01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
external-www-svc ExternalName <none> www.baidu.com 80/TCP 10m
handless-svc-demo ClusterIP None <none> 80/TCP 5s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 43h
ngx-dep-svc ClusterIP 10.107.159.92 <none> 80/TCP 3h34m
ngx-dep-svc-nodeport NodePort 10.97.166.233 <none> 80:30080/TCP 3h12m
[root@master01 ~]#
提示：可以看到對應service沒有clusterIP；
驗證：進入任意pod，使用名稱通路service，看看對應名稱是否能夠通路到pod？
[root@master01 ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
deploy-demo-6d795f958b-6pjgw 1/1 Running 0 3h53m
deploy-demo-6d795f958b-m4vfb 1/1 Running 0 3h53m
deploy-demo-6d795f958b-qcl6m 1/1 Running 0 3h53m
[root@master01 ~]# kubectl exec -it pod/deploy-demo-6d795f958b-m4vfb -- /bin/sh
/ # wget -O - -q handless-svc-demo
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
/ #
提示：在pod内部使用名稱service名稱可以通路到對應的pod；
驗證：檢視coredns是否将對應service名稱解析為對應擁有service指定的标簽選擇器的podip呢？
[root@master01 ~]# kubectl get pod --show-labels -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES LABELS
deploy-demo-6d795f958b-6pjgw 1/1 Running 0 3h54m 10.244.2.93 node02.k8s.org <none> <none> app=ngx-dep-pod,pod-template-hash=6d795f958b
deploy-demo-6d795f958b-m4vfb 1/1 Running 0 3h54m 10.244.4.14 node04.k8s.org <none> <none> app=ngx-dep-pod,pod-template-hash=6d795f958b
deploy-demo-6d795f958b-qcl6m 1/1 Running 0 3h54m 10.244.3.86 node03.k8s.org <none> <none> app=ngx-dep-pod,pod-template-hash=6d795f958b
[root@master01 ~]# kubectl exec -it pod/deploy-demo-6d795f958b-m4vfb -- /bin/sh
/ # nslookup handless-svc-demo
nslookup: can't resolve '(null)': Name does not resolve
Name: handless-svc-demo
Address 1: 10.244.4.14 deploy-demo-6d795f958b-m4vfb
Address 2: 10.244.3.86 10-244-3-86.ngx-dep-svc-nodeport.default.svc.cluster.local
Address 3: 10.244.2.93 10-244-2-93.ngx-dep-svc.default.svc.cluster.local
/ #
提示：可以看到coredns把對應名稱解析成了3個位址；這三個位址都是對應pod上擁有service指定的标簽選擇器上的标簽的podip位址；
配置k8s使用ipvs代理模式
編寫加載ipvs相關子產品腳本
[root@master01 ~]# cat /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_mods_dir="/usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs"
for mod in $(ls $ipvs_mods_dir | grep -o "^[^.]*"); do
/sbin/modinfo -F filename $mod &> /dev/null
if [ $? -eq 0 ]; then
/sbin/modprobe $mod
fi
done
[root@master01 ~]#
提示：以上腳本主要做了一件事，就是把ipvs_mods_dir所指定的目錄下的所有子產品加載到核心；
給腳本添加執行權限
[root@master01 ~]# ll /etc/sysconfig/modules/ipvs.modules
-rw-r--r-- 1 root root 253 Dec 20 18:50 /etc/sysconfig/modules/ipvs.modules
[root@master01 ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
[root@master01 ~]# ll /etc/sysconfig/modules/ipvs.modules
-rwxr-xr-x 1 root root 253 Dec 20 18:50 /etc/sysconfig/modules/ipvs.modules
[root@master01 ~]#
複制該腳本到其他節點
[root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node01:/etc/sysconfig/modules/ipvs.modules
ipvs.modules 100% 253 132.8KB/s 00:00
[root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node02:/etc/sysconfig/modules/ipvs.modules
ipvs.modules 100% 253 102.5KB/s 00:00
[root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node03:/etc/sysconfig/modules/ipvs.modules
ipvs.modules 100% 253 80.8KB/s 00:00
[root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node04:/etc/sysconfig/modules/ipvs.modules
ipvs.modules 100% 253 121.0KB/s 00:00
[root@master01 ~]#
提示：把腳本放在/etc/sysconfig/modules目錄下以點modules結尾的腳本，在系統重新開機以後，它會自動執行對應目錄下的腳本；
執行腳本，加載子產品
[root@master01 ~]# bash /etc/sysconfig/modules/ipvs.modules
[root@master01 ~]# ssh node01 'bash /etc/sysconfig/modules/ipvs.modules'
[root@master01 ~]# ssh node02 'bash /etc/sysconfig/modules/ipvs.modules'
[root@master01 ~]# ssh node03 'bash /etc/sysconfig/modules/ipvs.modules'
[root@master01 ~]# ssh node04 'bash /etc/sysconfig/modules/ipvs.modules'
[root@master01 ~]#
驗證：檢視對應子產品是否加載？
[root@master01 ~]# lsmod |grep ip_vs
ip_vs_wlc 12519 0
ip_vs_sed 12519 0
ip_vs_pe_sip 12697 0
nf_conntrack_sip 33860 1 ip_vs_pe_sip
ip_vs_nq 12516 0
ip_vs_lc 12516 0
ip_vs_lblcr 12922 0
ip_vs_lblc 12819 0
ip_vs_ftp 13079 0
ip_vs_dh 12688 0
ip_vs_sh 12688 0
ip_vs_wrr 12697 0
ip_vs_rr 12600 0
ip_vs 141092 26 ip_vs_dh,ip_vs_lc,ip_vs_nq,ip_vs_rr,ip_vs_sh,ip_vs_ftp,ip_vs_sed,ip_vs_wlc,ip_vs_wrr,ip_vs_pe_sip,ip_vs_lblcr,ip_vs_lblc
nf_nat 26787 4 ip_vs_ftp,nf_nat_ipv4,xt_nat,nf_nat_masquerade_ipv4
nf_conntrack 133387 8 ip_vs,nf_nat,nf_nat_ipv4,xt_conntrack,nf_nat_masquerade_ipv4,nf_conntrack_netlink,nf_conntrack_sip,nf_conntrack_ipv4
libcrc32c 12644 4 xfs,ip_vs,nf_nat,nf_conntrack
[root@master01 ~]#
提示：能夠看到以上資訊表示ipvs相關子產品已經加載；
編輯kube-proxy的配置
[root@master01 ~]# kubectl edit cm kube-proxy -n kube-system
修改mode字段的值為“ipvs”，然後儲存退出
删除現有k8s kube-proxy pod
[root@master01 ~]# kubectl get pod -n kube-system --show-labels
NAME READY STATUS RESTARTS AGE LABELS
coredns-7f89b7bc75-k9gdt 1/1 Running 10 12d k8s-app=kube-dns,pod-template-hash=7f89b7bc75
coredns-7f89b7bc75-kp855 1/1 Running 8 12d k8s-app=kube-dns,pod-template-hash=7f89b7bc75
etcd-master01.k8s.org 1/1 Running 11 12d component=etcd,tier=control-plane
kube-apiserver-master01.k8s.org 1/1 Running 8 12d component=kube-apiserver,tier=control-plane
kube-controller-manager-master01.k8s.org 1/1 Running 9 12d component=kube-controller-manager,tier=control-plane
kube-flannel-ds-cx8d5 1/1 Running 12 12d app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node
kube-flannel-ds-jz6r4 1/1 Running 3 46h app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node
kube-flannel-ds-ndzl6 1/1 Running 13 12d app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node
kube-flannel-ds-rjtn9 1/1 Running 14 12d app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node
kube-flannel-ds-zgq92 1/1 Running 12 12d app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node
kube-proxy-8wfcx 1/1 Running 3 46h controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1
kube-proxy-dl8jd 1/1 Running 8 12d controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1
kube-proxy-lz4zc 1/1 Running 9 12d controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1
kube-proxy-pjv9s 1/1 Running 12 12d controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1
kube-proxy-pwl5v 1/1 Running 8 12d controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1
kube-scheduler-master01.k8s.org 1/1 Running 9 12d component=kube-scheduler,tier=control-plane
[root@master01 ~]# kubectl get pod -n kube-system -l k8s-app=kube-proxy
NAME READY STATUS RESTARTS AGE
kube-proxy-8wfcx 1/1 Running 3 46h
kube-proxy-dl8jd 1/1 Running 8 12d
kube-proxy-lz4zc 1/1 Running 9 12d
kube-proxy-pjv9s 1/1 Running 12 12d
kube-proxy-pwl5v 1/1 Running 8 12d
[root@master01 ~]# kubectl delete pod -n kube-system -l k8s-app=kube-proxy
pod "kube-proxy-8wfcx" deleted
pod "kube-proxy-dl8jd" deleted
pod "kube-proxy-lz4zc" deleted
pod "kube-proxy-pjv9s" deleted
pod "kube-proxy-pwl5v" deleted
[root@master01 ~]#
提示：kube-proxy是一個ds控制器所管理的pod，它能容忍主節點上的污點在叢集每個節點上建立對應pod；我們手動删除它，對應控制器會重新建立對應數量的pod，進而實作應用新配置的目的；生産環境不提倡這樣修改，應該在叢集初始化前就規劃好使用哪種代理模式；
驗證：在叢集任意節點安裝ipvs用戶端工具，看看是否有對應的ipvs規則生成？
安裝ipvsadm
[root@master01 ~]# yum install -y ipvsadm
使用ipvsadm檢視是否生成的有ipvs規則？
[root@master01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.17.0.1:30080 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 192.168.0.41:30080 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 10.96.0.1:443 rr
-> 192.168.0.41:6443 Masq 1 0 0
TCP 10.96.0.10:53 rr
-> 10.244.0.20:53 Masq 1 0 0
-> 10.244.0.21:53 Masq 1 0 0
TCP 10.96.0.10:9153 rr
-> 10.244.0.20:9153 Masq 1 0 0
-> 10.244.0.21:9153 Masq 1 0 0
TCP 10.97.166.233:80 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 10.107.159.92:80 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 10.244.0.0:30080 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 10.244.0.1:30080 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
TCP 127.0.0.1:30080 rr
-> 10.244.2.93:80 Masq 1 0 0
-> 10.244.3.86:80 Masq 1 0 0
-> 10.244.4.14:80 Masq 1 0 0
UDP 10.96.0.10:53 rr
-> 10.244.0.20:53 Masq 1 0 0
-> 10.244.0.21:53 Masq 1 0 0
[root@master01 ~]#
提示：能夠看到有ipvs規則生成，說明此時k8s就是使用的ipvs代理模式；
作者：Linux-1874
出處：https://www.cnblogs.com/qiuhom-1874/
本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接配接，否則保留追究法律責任的權利.