logstash过滤nginx日志logstash,elasticsearch,kibana三件套elk+redis 搭建nginx日志分析平台

http://www.cnblogs.com/yjf512/p/4194012.html

下面我们结合3者来做一个例子。我们通过Logstash收集Nginx的日志，并存储到Elasticsearch，最后用Kibana显示出来。

首先我们配置Logstash，让它能收集Nginx的日志，并输出到Elasticsearch。假设我们的Nginx的access_log的格式为：

<code>log_format  main  '$remote_addr - $remote_user [$time_local] '</code>

<code>                           </code><code>'"$request" $status $body_bytes_sent '</code>

<code>                           </code><code>'"$http_referer" "$http_user_agent" ';</code>

我们在Logstash的安装目录下创建配置文件<code>logstash.conf</code>，并输入以下内容：

<code>input {</code>

<code>    </code><code>file {</code>

<code>        </code><code>type =&gt; "nginx-access"</code>

<code>        </code><code>path =&gt; "/path/to/nginx/access.log"</code>

<code>    </code><code>}</code>

<code>}</code>

<code>filter {</code>

<code>    </code><code>grok {</code>

<code>        </code><code>match =&gt; {"message" =&gt; "%{IPORHOST:source_ip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] %{QS:request} %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}"}</code>

<code>output {</code>

<code>    </code><code>elasticsearch { host =&gt; localhost }</code>

我们可以看到<code>input</code>设为file，<code>output</code>设为elasticsearch，然后我们还用到了<code>filter</code>，它的作用是用来对输入的日志进行过滤处理。

然后我们通过这个配置文件来启动Logstash：

我们可以看到已经一些图表和日志事件显示在Web界面上。

通过对Kibana的定制和Elasticsearcht强大的检索功能，我们可以做出适合于我们系统的日志管理。上面只是作一个简单的了解。希望有时间作更深入的研究

本文转自 liqius 51CTO博客，原文链接：http://blog.51cto.com/szgb17/1670267，如需转载请自行联系原作者