ELK中如何搭建用戶端用戶端如何将日志發送給服務端的logstash

【背景】

我們要統一收集日志，統一分析，統一在一個平台上搜尋過濾日志！在上一篇中已經完成了ELK的搭建，那麼該如何将每台用戶端的日志集中到ELK平台中呢？

【本系統介紹】

ELK -- 192.168.100.10  (這個地方要有FQDN 建立SSL證書的時候需要配置FQDN，www.elk.com)

被收集日志的用戶端(也叫 logstash shipper)  --- 192.168.100.13

ELK環境:

[root@master ~]# ifconfig | grep 192.168.100  

          inet addr:192.168.100.10  Bcast:192.168.100.255  Mask:255.255.255.0

[root@master ~]# cat /etc/hosts | grep 192.168.100.10

192.168.100.10 www.elk.com

[root@master ~]# cat /etc/issue 

CentOS release 6.4 (Final)

Kernel \r on an \m

用戶端(logstash shipper)環境:

[root@slave ~]# ifconfig | grep "192.168."  

          inet addr:192.168.100.13  Bcast:192.168.100.255  Mask:255.255.255.0

[root@slave ~]# cat /etc/hosts | grep 192.168.100.10

[root@slave ~]# cat /etc/issue

【client 和 server是如和通信的】

參考:

<a href="http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/full_config.html" target="_blank">http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/full_config.html</a>

【通信架構圖】

server端中的logstash配置檔案(即-f後面指定的檔案)

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf 

一定有一個input端和一個output端

input端可以來自本地檔案，也可以來自其他機器通過網路(端口)傳輸過來的

是以logstash的C/S架構就要通過網絡進行傳輸

<a href="http://s4.51cto.com/wyfs02/M00/7F/ED/wKioL1cx6AjCRDLpAAArxORZbuk807.png" target="_blank"></a>

原了解釋用戶端安裝一個logstash-forwarder軟體，将指定的檔案中的日志輸出到logstash 中(他已經有端口在監控并接收來自forwarder用戶端的輸入)

【client傳輸到server的方案】

【server端的配置】

1 首先需要建立CA憑證為Server

cd /etc/pki/tls/

openssl req -subj '/CN=www.elk.com/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

在将logstash-forwarder.crt拷貝到client端

scp certs/logstash-forwarder.crt 192.168.100.13:/etc/pki/tls/certs/

2 server段的logstash.conf的配置

[root@master tls]# cat /usr/local/logstash/etc/logstash.conf 

input {

  file {

    type =&gt;"syslog"

     path =&gt; ["/var/log/messages", "/var/log/secure" ]

  }

  lumberjack {

    port =&gt; 5000

    type =&gt; "logs"

    ssl_certificate =&gt; "/etc/pki/tls/certs/logstash-forwarder.crt"

    ssl_key =&gt; "/etc/pki/tls/private/logstash-forwarder.key"

}

output {

  stdout { codec=&gt; rubydebug }

  elasticsearch {hosts =&gt; "192.168.100.10:9200" }

(标黃色的是，這種架構中一定要得配置，解釋一下連個字段)

lumberjack 是 logstash-forwarder 還沒用 Golang 重寫之前的名字

type =&gt; "anything"  type任意指定，無所謂

3 啟動logstash

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf &amp;

或者使用screen指令一讓其一直在背景運作

【用戶端的安裝forwarder和配置】

下載下傳軟體

安裝

yum localinstall logstash-forwarder-0.4.0-1.x86_64.rpm 

注意兩個檔案

一個配置檔案 /etc/logstash-forwarder.conf

一個日志目錄 /var/log/logstash-forwarder/

儲存原始檔案

cp /etc/logstash-forwarder.conf  /etc/logstash-forwarder.conf.orig

修改logstash-forwarder.conf為

<code>{</code>

<code>  </code><code>"network": {</code>

<code>    </code><code>"servers": [ "www.elk.com:5000" ],</code>

<code>    </code><code>"ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",</code>

<code>    </code><code>"timeout": 15</code>

<code>  </code><code>},</code>

<code> </code> 

<code>  </code><code>"files": [</code>

<code>    </code><code>{</code>

<code>      </code><code>"paths": [</code>

<code>        </code><code>"/var/log/messages",</code>

<code>        </code><code>"/var/log/secure"</code>

<code>      </code><code>],</code>

<code>      </code><code>"fields": { "type": "syslog" }</code>

<code>    </code><code>}, {</code>

<code>        </code><code>"其他路徑的檔案"</code>

<code>      </code><code>"fields": { "type": "nginx" }</code>

<code>    </code><code>}</code>

<code>  </code><code>]</code>

<code>}</code>

注意:

<code>servers": [ "www.elk.com:5000" ]</code>

一定要寫域名，不能寫server端的IP，因為寫IP不能通過證書的認知

"ssl ca" 一定要正确寫明路徑

【驗證】

用戶端執行

<code>[root@slave ~]</code><code># echo "我是logstash的用戶端，通過forward到server端的" &gt;&gt; /var/log/secure</code>

檢視kibana前端

<a href="http://s2.51cto.com/wyfs02/M02/7F/F0/wKiom1cx667hhTKmAAAxCi84a7g583.png" target="_blank"></a>

【接下來研究啥】

1 elk的index

2 多日志檔案

3 logstash中的配置檔案詳解

本文轉自殘劍部落格51CTO部落格，原文連結http://blog.51cto.com/cuidehua/1771979如需轉載請自行聯系原作者

cuizhiliang