Kubernetes 名額采集元件的部署

metrics-server 是一個采集叢集中名額的元件，類似于 cadvisor，在 v1.8 版本中引入，官方将其作為 heapster 的替代者，metric-server 屬于 core metrics(核心名額)，提供 API metrics.k8s.io，僅可以檢視 node、pod 目前 CPU/Memory/Storage 的資源使用情況，也支援通過 Metrics API 的形式擷取，以此資料提供給 Dashboard、HPA、scheduler 等使用。

01

開啟 API Aggregation

由于 metrics-server 需要暴露 API，但 K8s 的 API 要統一管理，如何将 apiserver 的請求轉發給 metrics-server ?解決方案就是使用 kube-aggregator ，是以在部署 metrics-server 之前，需要在 kube-apiserver 中開啟 API Aggregation，即增加以下配置：

--proxy-client-cert-file=/etc/kubernetes/certs/proxy.crt

--proxy-client-key-file=/etc/kubernetes/certs/proxy.key

--requestheader-client-ca-file=/etc/kubernetes/certs/proxy-ca.crt

--requestheader-allowed-names=aggregator

--requestheader-extra-headers-prefix=X-Remote-Extra-

--requestheader-group-headers=X-Remote-Group

--requestheader-username-headers=X-Remote-User

如果kube-proxy沒有在Master上面運作，還需要配置

--enable-aggregator-routing=true

kube-aggregator  的詳細設計文檔請參考：configure-aggregation-layer

02

部署 metrics-server

1. 擷取配置檔案

$ git clone  https://github.com/kubernetes/kubernetes

$ cd  kubernetes/cluster/addons/metrics-server/

2、修改 metrics-server 配置參數

修改 resource-reader.yaml 檔案：

rules:

- apiGroups:

  - ""

  resources:

  - pods

  - nodes

  - nodes/stats    #新增這一行

  - namespaces

  verbs:

  - get

  - list

  - watch

修改 metrics-server-deployment.yaml檔案:

   ......

# metrics-server containers 啟動參數作如下修改：

      containers:

      - name: metrics-server

        image: k8s.gcr.io/metrics-server-amd64:v0.3.1

        command:

        - /metrics-server

        - --metric-resolution=30s

        - --kubelet-insecure-tls

        - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP

        # These are needed for GKE, which doesn't support secure communication yet.

        # Remove these lines for non-GKE clusters, and when GKE supports token-based auth.

        #- --kubelet-port=10255

        #- --deprecated-kubelet-completely-insecure=true

    ......           

    # 修改啟動參數：

          - /pod_nanny

          - --config-dir=/etc/config

          - --cpu=80m

          - --extra-cpu=0.5m

          - --memory=80Mi

          - --extra-memory=8Mi

          - --threshold=5

          - --deployment=metrics-server-v0.3.1

          - --container=metrics-server

          - --poll-period=300000

          - --estimator=exponential

          # Specifies the smallest cluster (defined in number of nodes)

          # resources will be scaled to.

          #- --minClusterSize={{ metrics_server_min_cluster_size }}

3、部署

kubectl apply -f .  

metrics-server 的資源占用量會随着叢集中的 Pod 數量的不斷增長而不斷上升，是以需要 addon-resizer 垂直擴縮 metrics-server。addon-resizer 依據叢集中節點的數量線性地擴充 metrics-server，以保證其能夠有能力提供完整的metrics API 服務，具體參考：addon-resizer。

所需要的鏡像可以在 k8s-system-images  中下載下傳。

檢查是否部署成功：

$ kubectl get apiservices | grep metrics

v1beta1.metrics.k8s.io     kube-system/metrics-server   True        2m

$ kubectl get pod -n kube-system

metrics-server-v0.3.1-65b6db6945-rpqwf   2/2     Running   0          20h

03

metrics-server 的使用

由于采集資料間隔為1分鐘，等待數分鐘後檢視資料：

Metrics-server 可用 API 清單如下：

http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes

http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes/

http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/pods

http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/namespace//pods/

由于 k8s 在 v1.10 後廢棄了 8080 端口，可以通過代理或者使用認證的方式通路這些 API：

$ kubectl proxy

$ curl http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes