Elasticsearch架構選型指南——不止是搜尋引擎，還有......曾強調：Elasticsearch 三大核心業務場景：
搜尋服務場景。
日志實時分析場景。
商業智能 BI 場景。
2、少啰嗦，先看東西
2.1 日志資料準備
以 Python 日志作為資料源，開搞。
在 Python 中，日志記錄可以分為 5 種不同級别：
Info — 指定資訊性消息，在粗粒度級别突出顯示應用程式的進度。
Debug — 指定對調試應用程式最有用的細粒度資訊事件。
Warning — 指定警告/告警事件。
Error — 指定已出錯，但仍允許應用程式繼續運作的事件。
Critical — 指定可能導緻應用程式中止的非常嚴重的錯誤事件。
日志随機生成 Python 3.X 腳本如下：
import logging
import random
logging.basicConfig(filename="logFile.txt",
filemode='a',
format='%(asctime)s %(levelname)s-%(message)s',
datefmt='%Y-%m-%d %H:%M:%S')
for i in range(0,30):
x=random.randint(0,2)
if(x==0):
logging.warning('Log Message')
elif(x==1):
logging.critical('Log Message')
else:
logging.error('Log Message')
生成日志檔案 logFile.txt 部分内容如下：
2021-07-10 21:57:29 ERROR-Log Message
2021-07-10 21:57:29 CRITICAL-Log Message
2021-07-10 21:57:29 WARNING-Log Message
2.2 Logstash 資料處理
本文 Logstash、Elasticsearch、Kibana 版本均為：7.12.0。
Logstash 三段論核心：
Input：輸入
filter：處理（最最核心）
Output：輸出
結合本文日志場景：
input：日志。
filter：日志處理，擷取各個細分字段核心内容。
output：輸出到 Elasticsearch，以便于後續的 Kibana 資料分析。
input{
file{
path => "/home/elasticsearch/logstash-7.12.0/config/logFile.txt"
start_position => "beginning"
}
}
filter
{
grok{
match => {"message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log-level}-%{GREEDYDATA:message}"}
date {
match => ["timestamp", "ISO8601"]
}
output{
elasticsearch{
hosts => ["172.21.0.14:19022"]
index => "my_log_index"}
stdout{codec => rubydebug}
input、output 基本結合字段含義都能看懂。
就中間部分的 grok、date 處理感覺有點雲裡霧裡，我們下一小節拆解講解。
2.3 資料同步到 Elasticsearch
Logstash 中的 output 環節已經設定輸出的索引名稱：my_log_index。
同步執行隻需要在 logstash 路徑下執行如下指令即可：
./bin/logstash -f ./config/logs.conf
執行成功截圖如下：
"_index" : "my_log_index",
"_type" : "_doc",
"_id" : "FQ_QkHoBnDDRiRgWByxG",
"_score" : 1.0,
"_source" : {
"path" : "/home/elasticsearch/logstash-7.12.0/config/logFile.txt",
"timestamp" : "2021-07-10 21:57:29",
"@version" : "1",
"tags" : [
"_dateparsefailure"
],
"host" : "VM-0-14-centos",
"message" : [
"2021-07-10 21:57:29 ERROR-Log Message",
"Log Message"
"@timestamp" : "2021-07-10T14:26:29.448Z",
"log-level" : "ERROR"
}
},
2.4 Kibana 可視化分析
Kibana 可視化分析就是基于日期次元的資料源做分析。
核心步驟如下：
步驟1：建立 index patterns（最關鍵一步）。
- 步驟2：Discover 檢視資料流（非必須，可直接跳第三步）。
-
幹貨 | ELK 日志實時分析實戰3、filter 環節核心原了解讀 - 步驟3：日志聚合 Dashboard 分析。
3、filter 環節核心原了解讀
filter 中間處理環節用到了兩個核心插件：
3.1 插件一：date 插件
3.1.1 date 插件定義
date 插件也可以稱為：日期過濾器。
用途：用于解析字段中的日期，然後使用該日期或時間戳作為事件的日志記錄時間戳。
如下代碼代表将：timestamp 字段轉換成 ISO8601 資料類型。
date {
3.1.2 date 插件适用場景
日期或時間戳類型轉換。
3.1.3 date 插件核心參數解讀
ISO8601 的本質含義：将日期字段解析為 “2011-04-19T03:44:01.103Z“ 類型。
還有其他類型，諸如：UNIX、UNIX_MS、TAI64N 等。
詳細解釋參考官方文檔：
https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html3.2 插件二：grok 插件
3.2.1 grok 插件定義
将非結構化日志資料解析為結構化和可查詢的日志。
3.2.2 grok 插件适用場景
适合 syslog 日志、apache 日志和其他網絡伺服器日志、mysql 日志，以及通常為人類而非計算機使用編寫的任何日志格式。
3.2.3 grok 插件附帶的 120 + 比對模式
第一次看 filter 處理環節，不了解：
%{TIMESTAMP_ISO8601:timestamp}
類似文法的含義。
實際上：
TIMESTAMP_ISO8601 就是比對模式；
timestamp 解析後存儲 TIMESTAMP_ISO8601 格式資料的變量，且該變量會作為 elasticsearch Mapping 中的一個字段。
比對模式的本質其實是：正規表達式。
120 + 比對模式對應的官方文檔：
https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns本文用到的比對模式對應的正規表達式如下：
字段說明：
第一列：比對類型名稱。
第二列：比對的正規表達式。
TIMESTAMP_ISO8601 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
LOGLEVEL ([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo?(?:rmation)?|INFO?(?:RMATION)?|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)
GREEDYDATA .*
代碼面前，了無秘密。
是以，再回頭看 filter 文法會很通透。
3.2.4 grok 插件測試工具
為了更友善我們的提前測試，官方也提供了比對工具，
工具一：一個網站
http://grokdebug.herokuapp.com/。
工具二：kibana 自帶 Grok Debugger 工具。
顯然，Kibana 自帶 Grok Debugger 更為清爽。
4、小結
日志實時分析是 ELK 元件的核心業務場景之一，而核心中的核心是 Logstash 中間處理 filter 環節。
掌握了 filter 環節，就掌握了 ELK 實時日志分析的精髓。
歡迎大家留言讨論自己的 ELK 實戰遇到的問題。
參考
https://www.elastic.co/guide/en/logstash/current/filter-plugins.html https://medium.com/free-code-camp/how-to-use-elasticsearch-logstash-and-kibana-to-visualise-logs-in-python-in-realtime-acaab281c9de