天天看點
傳回

利用ELK分析Nginx日志生産實戰(高清多圖)

本文以api.mingongge.com.cn域名為測試對象進行統計,日志為crm.mingongge.com.cn和risk.mingongge.com.cn請求之和(此二者域名不具生産換環境統計意義)，生産環境請根據具體需要統計的域名進行統計。

由于涉及生産線上伺服器，故本文部分伺服器IP做了打碼處理。

一、服務介紹

1.1、ELK

ELK是三個開源軟體的縮寫，分别表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟體。新增了一個FileBeat，它是一個輕量級的日志收集處理工具(Agent)，Filebeat占用資源少，适合于在各個伺服器上搜集日志後傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分布式搜尋引擎，提供搜集、分析、存儲資料三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多資料源，自動搜尋負載等。

Logstash 主要是用來日志的搜集、分析、過濾日志的工具，支援大量的資料擷取方式。一般工作方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責将收到的各節點日志進行過濾、修改等操作在一并發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助彙總、分析和搜尋重要資料日志。

1.2、Nginx

Nginx("engine x") 是一個高性能的HTTP和反向代理伺服器，也是一個IMAP/POP3/SMTP代理伺服器。 Nginx 是由 Igor Sysoev 為俄羅斯通路量第二的 Rambler.ru 站點開發的，第一個公開版本0.1.0釋出于2004年10月4日。其将源代碼以類BSD許可證的形式釋出，因它的穩定性、豐富的功能集、示例配置檔案和低系統資源的消耗而聞名。Nginx是一款輕量級的Web伺服器/反向代理伺服器及電子郵件（IMAP/POP3）代理伺服器，并在一個BSD-like 協定下發行。由俄羅斯的程式設計師Igor Sysoev所開發，供俄國大型的入口網站及搜尋引擎Rambler（俄文：Рамблер）使用。其特點是占有記憶體少，并發能力強，事實上nginx的并發能力确實在同類型的網頁伺服器中表現較好，***使用nginx網站使用者有：新浪、網易、騰訊等。

本文中前端使用了nginx的反向代理功能，并使用了nginx的HTTP功能。

1.3、Kafka

Kafka是由Apache軟體基金會開發的一個開源流處理平台，由Scala和Java編寫。Kafka是一種高吞吐量的分布式釋出訂閱消息系統，它可以處理消費者規模的網站中的所有動作流資料。這種動作（網頁浏覽，搜尋和其他使用者的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些資料通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop一樣的日志資料和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理，也是為了通過叢集來提供實時的消息。

二、架構要求

2.1、架構描述

使用filebeat收集nginx日志，輸出到kafka;logstash從kafka中消費日志，通過grok進行資料格式化，輸出到elasticsearch中,kibana從elasticsearch中擷取日志，進行過濾出圖

利用ELK分析Nginx日志生産實戰(高清多圖)

2.2、系統版本

CentOS Linux release 7.2.1511 (Core)
3.10.0-514.26.2.el7.x86_64

2.3、軟體版本

jdk1.8.0_144
nginx-1.12.2
filebeat-6.3.2
awurstmeister/kafka(docker image)
logstash-6.5.4
elasticsearch-6.4.0
kibana-6.4.0

三、linux系統環境配置與優化

#檢視伺服器硬體資訊
dmidecode|grep "Product Name"

#檢視CPU型号
grep name /proc/cpuinfo

#檢視CPU個數
grep "physical id" /proc/cpuinfo

#檢視記憶體大小
grep MemTotal /proc/meminfo

四、系統初始化

4.1、關閉防火牆

systemctl stop filewalld

4.2、關閉selinux

setenforce 0
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

4.3、添加普通賬戶

useradd elsearch
echo "******"|passwd --stdin elsearch

4.4、配置yum源

cat /etc/yum.repos.d/CentOS-Base.repo
[base]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7

[updates]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7

[extras]
name=CentOS-$releasever
enabled=1
failovermethod=priority
baseurl=http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.cloud.aliyuncs.com/centos/RPM-GPG-KEY-CentOS-7

4.5、清理開機自啟動服務

for i in `chkconfig --list|grep 3:on |awk '{print $1}'`;do chkconfig$i off;done
for i in crond network rsyslog sshd;do chkconfig --level 3 $ion;done
chkconfig --list|grep 3:on

4.6、伺服器時間同步

echo '*/5 * * * * /usr/sbin/ntpdate time.windows.com > /dev/null2>&1' >>/var/spool/cron/root

4.7、加大檔案描述符

echo '* - nofile 65535' >> /etc/security/limits.conf
tail -1 /etc/security/limits.conf
#重新登陸後生效(無需重新開機)
ulimit -n(重新登陸後檢視)

4.8、核心參數調優(可不操作)

\cp /etc/sysctl.conf /etc/sysctl.conf.bak
cat>>/etc/sysctl.conf<<EOF
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout=1
net.ipv4.tcp_keepalive_time=1200
net.ipv4.tcp_max_syn_backlog = 65536
net.ipv4.ip_local_port_range = 1024 65535
EOF
/sbin/sysctl -p

五、部署開始

5.1、更改nginx日志輸出格式

5.1.1、定義日志格式

cat /etc/nginx/nginx.conf
log_format main '$remote_addr - $remote_user [$time_local]"$request" '
'$status$body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

5.1.2、加載日志格式到對應域名配置中

cat /etc/nginx/conf.d/vhost/api.mingongge.com.cn.conf
server {
listen 80;
server_name  newtest-msp-api.mingongge.com.cn;
access_log   /var/log/nginx/api.mingongge.com.cn.log main;
}

5.1.3、reload生效

nginx -t reload

5.1.4、清空原輸出檔案，并檢視輸出的日志格式

:> /var/log/nginx/api.mingongge.com.cn.log
tailf /var/log/nginx/api.mingongger.com.cn.log
1xx.2xx.72.175 - - [18/Mar/2019:13:51:17 +0800] "GET/user/fund/113 HTTP/1.1" 200 673 "-" "Mozilla/5.0 (WindowsNT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106Electron/4.0.3 Safari/537.36" "-"

5.2、配置kafka

測試環境使用docker起的kafka，kafka部署掠過,以下任選一種

5.2.1、方法一 建立kafka topic

./kafka-topics.sh --create --topic nginxlog --replication-factor 1--partitions 1 --zookeeper localhost:2181

5.2.2、方法二

auto.create.topics.enable=true

開啟kafka自動建立topic配置

5.2.3、filebeat部署完成後确認kafka topic中有資料

./kafka-console-consumer.sh --bootstrap-server 192.168.0.53:9091--from-beginning --topic nginxlog

輸出如下

{"@timestamp":"2019-03-14T07:16:50.140Z","@metadata":{"beat":"filebeat","type":"doc","version":"6.3.2","topic":"nginxlog"},"fields":{"log_topics":"nginxlog"},"beat":{"version":"6.3.2","name":"test-kafka-web","hostname":"test-kafka-web"},"host":{"name":"test-kafka-web"},"source":"/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log","offset":114942,"message":"116.226.72.175- - [14/Mar/2019:15:16:49 +0800] newtest-msp-api.mingongge.com.cn POST\"/upstream/page\" \"-\" 200 6314\"http://newtest-msp-crm.mingongge.com.cn/\" 200 192.168.0.49:60070.024 0.024 \"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36\"\"-\""}
Processed a total of 7516 messages

測試環境中kafka位址為

192.168.0.53:9091

5.3、配置filebeat收集nginx日志

5.3.1、安裝filebeat

cd /opt/ && wget http://download.mingongge.com.cn/download/software/filebeat-6.3.2-x86_64.rpm
yum localinstall filebeat-6.3.2-x86_64.rpm -y

5.3.2、編輯配置檔案

cat /etc/filebeat/filebeat.yml

filebeat.prospectors:
- input_type: log
enabled: true
paths:
- /var/log/nginx/api.mingongge.com.cn.log #收集日志路徑
fields:
log_topics: nginxlog #kafka中topic名稱
json.keys_under_root: true
json.overwrite_keys: true

output.kafka:
enabled: true
hosts:["192.168.0.53:9091"] #kafka位址
topic:'%{[fields][log_topics]}' #kafka中topic名稱
partition.round_robin:
reachable_only: false
compression: gzip
max_message_bytes: 1000000
required_acks: 1

5.3.3、啟動filebeat& 開機啟動

systemctl start filebeat
systemctl enable filebeat

5.4、配置logstash

5.4.1 編輯配置

cat /usr/local/logstash/config/nginx.conf
input {
kafka {
type =>"nginxlog"
topics =>["nginxlog"]
bootstrap_servers=> ["192.168.0.53:9091"]
group_id =>"nginxlog"
auto_offset_reset=> latest
codec =>"json"
}
}

filter {
if [type] == "nginxlog"{
grok {
match => {"message" => "%{COMBINEDAPACHELOG}" }
remove_field =>"message"
}
date {
match => ["timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source =>"clientip"
target =>"geoip"
database =>"/usr/local/logstash/config/GeoLite2-City.mmdb"
add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}" ] #添加字段coordinates，值為經度
add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}" ] #添加字段coordinates，值為緯度
}
mutate {
convert => ["[geoip][coordinates]", "float"]
}
useragent {
source =>"agent"
target =>"userAgent"
}
}
} 
output {
if [type] == 'nginxlog' {
elasticsearch {
hosts =>["http://192.168.0.48:9200"]
index =>"logstash-nginxlog-%{+YYYY.MM.dd}"
}
stdout {codec =>rubydebug}
}
}

5.4.2、使用配置檔案啟動logstash服務，觀察輸出

/usr/local/logstash/bin/logstash -f nginx.conf

{
"httpversion"=> "1.1",
"verb" =>"GET",
"auth"=> "-",
"@timestamp"=> 2019-03-18T06:41:27.000Z,
"type"=> "nginxlog",
"json"=> {},
"source"=> "/var/log/nginx/newtest-msp-api.mingongge.com.cn-80.log",
"fields" =>{
"log_topics"=> "nginxlog"
},
"response"=> "200",
"offset"=> 957434,
"host"=> {
"name" =>"test-kafka-web"
},
"beat"=> {
"hostname"=> "test-kafka-web",
"version"=> "6.3.2",
"name"=> "test-kafka-web"
},
"bytes"=> "673",
"request"=> "/user/fund/113",
"timestamp"=> "18/Mar/2019:14:41:27 +0800",
"referrer"=> "\"-\"",
"userAgent"=> {
"os"=> "Windows",
"major" => "4",
"patch"=> "3",
"build"=> "",
"minor"=> "0",
"os_name"=> "Windows",
"device"=> "Other",
"name"=> "Electron"
},
"geoip"=> {
"ip" => "1xx.2xx.72.175",
"country_name" => "China",
"coordinates" => [
[0] 121.4012,
[1] 31.0449
],
"region_name" => "Shanghai",
"location" => {
"lat"=> 31.0449,
"lon"=> 121.4012
},
"continent_code" => "AS",
"timezone" => "Asia/Shanghai",
"longitude" => 121.4012,
"city_name" => "Shanghai",
"country_code2" => "CN",
"region_code" => "SH",
"latitude" => 31.0449,
"country_code3" => "CN"
},
"@version"=> "1",
"clientip"=> "1xx.2xx.72.175",
"ident"=> "-",
"agent"=> "\"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) sun/1.5.6 Chrome/69.0.3497.106 Electron/4.0.3Safari/537.36\""
}

5.4.3、背景啟動logstash

确認出現以上輸出後，将logstash分離出目前shell,并放在背景運作

nohup /usr/local/logstash/bin/logstash -f nginx.conf &>/dev/null &

5.5、kibana配置

5.5.1、修改kibana配置

/usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml #增加高德地圖 
tilemap.url:'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

5.5.2、建立Index Pattern

利用ELK分析Nginx日志生産實戰(高清多圖)
利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.3、IP通路TOP5

選擇柱形圖

利用ELK分析Nginx日志生産實戰(高清多圖)

添加X軸，以geoip.ip為order by字段

利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.4 、PV

選擇metric

利用ELK分析Nginx日志生産實戰(高清多圖)

預設統計總日志條數,即為PV數

利用ELK分析Nginx日志生産實戰(高清多圖)

 5.5.5、全球通路地圖

選擇map

利用ELK分析Nginx日志生産實戰(高清多圖)

Field選擇geoip.location

利用ELK分析Nginx日志生産實戰(高清多圖)

選擇添加高德地圖

 5.5.6、實時流量

選擇線條圖

利用ELK分析Nginx日志生産實戰(高清多圖)
利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.7、作業系統

選擇餅圖

利用ELK分析Nginx日志生産實戰(高清多圖)
利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.8、登陸次數

過濾login關鍵字,并做count統計

利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.9、通路地區

利用ELK分析Nginx日志生産實戰(高清多圖)

5.5.10、Dashboard展示

  • IP通路Top5:每日用戶端IP請求數最多的前五個(可分析出攻擊者IP)
  • PV:每日頁面通路量
  • 全球通路圖:直覺的展示使用者來自哪個國家哪個地區
  • 實時流量:根據@timestamp字段來展示機關時間的請求數(可根據異常峰值判斷是否遭遇攻擊)
  • 作業系統:展示用戶端所用裝置所占比重
  • 登陸次數:通過過濾request中login的通路記錄,粗略估算出進行過登陸的次數
  • 通路地區:展示通路量最多的國家或地區
  • 需展示其他名額，可進行***發揮

作者：民工哥技術之路

著作權歸作者所有。轉載請聯系作者獲得授權。

架構之路
上一篇: 從零開始學編碼1
下一篇: 檢策幫｜檢驗檢測統計直報系統常見問題第2期-上報流程操作指南

繼續閱讀