基于kubernetes實作efk日志收集--aliyun

EFK平台搭建（ALIYUN） 

環境準備：k8s-master01  k8s-node2  k8s-node2

 注意；該環境需要10G左右的記憶體配置設定，需要給pod節點配置多點記憶體

Meter節點：

添加 aliyun、aliyuncs、 google 倉庫

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo add aliyuncs https://apphub.aliyuncs.com
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator      

檢視可用版本 

helm search elasticsearch | grep aliyun      

建立檔案目錄

mkdir efk
cd efk/      

建立namespace命名空間

kubectl create namespace efk      

下載下傳elasticsearch、fluentd、kibana檔案

helm fetch aliyuncs/elasticsearch --version=11.0.4
helm fetch incubator/fluentd-elasticsearch --version=2.0.7
helm fetch aliyuncs/kibana --version=5.0.6      

解壓

tar -xf elasticsearch-11.0.4.tgz
tar -xf kibana-5.0.6.tgz
tar -xf fluentd-elasticsearch-2.0.7.tgz      

 部署 ELASTICSEARCH

基于，實驗的資源有限，是以需要降低配置

 vim elasticsearch/values.yaml 

master:  name: master

  ## Number of master-eligible node(s) replicas to deploy

  ##

  replicas: 1 #副本數為1

  …

  persistence:

    ## If true, use a Persistent Volume Claim, If false, use emptyDir

    ##

enabled: false  #關閉pv磁盤挂載

…

coordinating:

  ## Number of coordinating-only node(s) replicas to deploy

  replicas: 1 #副本數為1

data:

  name: data

  ## Number of data node(s) replicas to deploy

enabled: false  #關閉pv磁盤挂載

ingest:

  enabled: false

  name: ingest

  ## Number of ingest node(s) replicas to deploy

 指定es目錄下values所在，部署es

cd elasticsearch
helm  install --name els1 --namespace=efk -f values.yaml .      

檢視pod

kubectl get pod -n efk      

檢視svc

kubectl get svc  -n efk      

運作pod擷取es叢集資料測試

kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh      

通過curl Elasticsearch:Port/_cat/nodes擷取es資料

curl 10.96.228.76:9200/_cat/nodes      

部署FLUENTD

cd fluentd-elasticsearch
vim  values.yaml      

# 更改其中 Elasticsearch 通路位址

host: 'elasticsearch-client' 改為

host: '10.96.228.76’

在fluentd目錄下values所在，部署fluentd-elasticsearch

helm install --name flu1 --namespace=efk -f values.yaml .      

kubectl get pod -n efk | grep flu      

部署 KIBANA 

cd kibana
vim  values.yaml      

 persistence:

  enabled: false #關閉pv磁盤挂載

service:

  port: 80

  type: NodePort #svc網絡模式

elasticsearch:

  hosts:

     - 10.96.228.76   #es的位址

 port: 9200  #es端口

指定kibana目錄下values所在，部署kibana

helm install --name kib1 --namespace=efk -f values.yaml .      

kubectl get pod -n efk ｜ grep kib1      

檢視svc，擷取端口

kubectl get svc -n efk      

通路KIBANA

google通路

http://MasterIP:端口

  建立索引

檢視擷取的資料

到此已經完成了