天天看點

伺服器系統日志是否有相關報錯,排錯:Windows系統異常導緻Filebeat無法正常運作...

windows 下filebeat排錯case執行個體一份,請查收。

問題描述:

windows server下filebeat agent服務無法正常啟動,導緻網絡資料打點無法正常進行,影響大範圍使用者網絡使用等;

報錯資訊如下:

檢視對應log檔案,日志資訊如下:2019-03-04t11:38:14+08:00 info home path: [c:\program files\filebeat] config path: [c:\program files\filebeat] data path: [c:\\programdata\\filebeat] logs path: [c:\program files\filebeat\logs]

2019-03-04t11:38:14+08:00 info setup beat: filebeat; version: 5.1.2

2019-03-04t11:38:14+08:00 info max retries set to: 3

2019-03-04t11:38:14+08:00 info activated logstash as output plugin.

2019-03-04t11:38:14+08:00 info publisher name: "server name"

2019-03-04t11:38:14+08:00 info flush interval set to: 1s

2019-03-04t11:38:14+08:00 info max bulk size set to: 2048

2019-03-04t11:38:14+08:00 info filebeat start running.

2019-03-04t11:38:14+08:00 info registry file set to: c:\programdata\filebeat\registry

2019-03-04t11:38:14+08:00 info loading registrar data from c:\programdata\filebeat\registry

2019-03-04t11:38:14+08:00 err error decoding old state: invalid character '\x00' looking for beginning of value

2019-03-04t11:38:14+08:00 info total non-zero values:

2019-03-04t11:38:14+08:00 info uptime: 42.0006ms

2019-03-04t11:38:14+08:00 info filebeat stopped.

2019-03-04t11:38:14+08:00 crit exiting: could not start registrar: error loading state: error decoding states: invalid character '\x00' looking for beginning of value

環境(軟體/硬體):

windows server 2016 、filebeat 5.1.2

原因分析:

因更新檔更新、系統異常重新開機、服務程序異常中斷、使用者權限、服務目錄權限調整等等原因導緻filebeat agent注冊服務資訊無法正常加載。

1.檢視目前伺服器系統日志,發現有大量filebeat服務意外停止報錯,事件id 7000、7034:

此時我們按照該内容指引排查系統是否有異常日志資訊,發現某時間段有意外關閉操作,如下:

2.檢視filebeat對應logs日志資訊,目錄位置:c:\programdata\filebeat\logs:

預設日志檔案中會記錄整個filebeat安裝配置等資訊,發現有如下錯誤資訊:

info loading registrar data from c:\programdata\filebeat\registry

err error decoding old state: invalid character '\x00' looking for beginning of value

info total non-zero values:

這期間嘗試解除安裝并重新安裝filebeat agent,發現依舊無法重新啟動該服務。

解決步驟:

1.我們按照報錯提示内容檢視filebeat配置路徑檔案變化,發現預設通過powershell解除安裝filebeat并不會删除c:\programdata\filebeat\registry注冊資訊;這裡我們嘗試直接删除c:\programdata\下filebeat目錄資訊;

2.重新安裝filebeat agent并重新開機對應filebeat服務,發現無異常,背景恢複正常。(ps.因第一時間恢複業務,部分内容無備檔,隻能用恢複服務後截圖補充,請知悉。)

注:生産環境建議對核心業務、核心服務等進行進行監控,同時要定時關注對應日志檔案存放目錄、logs檔案大小設定等等,提前預判并規避不必要的業務當機時間等。