windows 下filebeat排錯case執行個體一份,請查收。
問題描述:
windows server下filebeat agent服務無法正常啟動,導緻網絡資料打點無法正常進行,影響大範圍使用者網絡使用等;
報錯資訊如下:
檢視對應log檔案,日志資訊如下:2019-03-04t11:38:14+08:00 info home path: [c:\program files\filebeat] config path: [c:\program files\filebeat] data path: [c:\\programdata\\filebeat] logs path: [c:\program files\filebeat\logs]
2019-03-04t11:38:14+08:00 info setup beat: filebeat; version: 5.1.2
2019-03-04t11:38:14+08:00 info max retries set to: 3
2019-03-04t11:38:14+08:00 info activated logstash as output plugin.
2019-03-04t11:38:14+08:00 info publisher name: "server name"
2019-03-04t11:38:14+08:00 info flush interval set to: 1s
2019-03-04t11:38:14+08:00 info max bulk size set to: 2048
2019-03-04t11:38:14+08:00 info filebeat start running.
2019-03-04t11:38:14+08:00 info registry file set to: c:\programdata\filebeat\registry
2019-03-04t11:38:14+08:00 info loading registrar data from c:\programdata\filebeat\registry
2019-03-04t11:38:14+08:00 err error decoding old state: invalid character '\x00' looking for beginning of value
2019-03-04t11:38:14+08:00 info total non-zero values:
2019-03-04t11:38:14+08:00 info uptime: 42.0006ms
2019-03-04t11:38:14+08:00 info filebeat stopped.
2019-03-04t11:38:14+08:00 crit exiting: could not start registrar: error loading state: error decoding states: invalid character '\x00' looking for beginning of value
環境(軟體/硬體):
windows server 2016 、filebeat 5.1.2
原因分析:
因更新檔更新、系統異常重新開機、服務程序異常中斷、使用者權限、服務目錄權限調整等等原因導緻filebeat agent注冊服務資訊無法正常加載。
1.檢視目前伺服器系統日志,發現有大量filebeat服務意外停止報錯,事件id 7000、7034:
此時我們按照該内容指引排查系統是否有異常日志資訊,發現某時間段有意外關閉操作,如下:
2.檢視filebeat對應logs日志資訊,目錄位置:c:\programdata\filebeat\logs:
預設日志檔案中會記錄整個filebeat安裝配置等資訊,發現有如下錯誤資訊:
info loading registrar data from c:\programdata\filebeat\registry
err error decoding old state: invalid character '\x00' looking for beginning of value
info total non-zero values:
這期間嘗試解除安裝并重新安裝filebeat agent,發現依舊無法重新啟動該服務。
解決步驟:
1.我們按照報錯提示内容檢視filebeat配置路徑檔案變化,發現預設通過powershell解除安裝filebeat并不會删除c:\programdata\filebeat\registry注冊資訊;這裡我們嘗試直接删除c:\programdata\下filebeat目錄資訊;
2.重新安裝filebeat agent并重新開機對應filebeat服務,發現無異常,背景恢複正常。(ps.因第一時間恢複業務,部分内容無備檔,隻能用恢複服務後截圖補充,請知悉。)
注:生産環境建議對核心業務、核心服務等進行進行監控,同時要定時關注對應日志檔案存放目錄、logs檔案大小設定等等,提前預判并規避不必要的業務當機時間等。