利用 ELK系统分析Nginx日志并对数据进行可视化展示

原创

星哥玩云

发布于 2022-06-18 15:24:39

8680

发布于 2022-06-18 15:24:39

文章被收录于专栏：开源部署

一、写在前面

这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shield），等以后有时间了去搞下。下面开始正文吧。。。

nginx日志文件其中一行：

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx 服务器日志的log_format格式：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

二、配置logstash

1.修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:

[root@log-monitor ~]# vi /etc/logstash/conf.d/nginx_access.conf
input {
    file {
        path => [ "/data/nginx-logs/access.log" ]
        start_position => "beginning"
        ignore_older => 0
    }
}

filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }

    }
    geoip {
      source => "http_x_forwarded_for"
      target => "geoip"
      database => "/etc/logstash/GeoLiteCity.dat"
      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
    }

    mutate {
      convert => [ "[geoip][coordinates]", "float" ]
      convert => [ "response","integer" ]
      convert => [ "bytes","integer" ]
      replace => { "type" => "nginx_access" }
      remove_field => "message"
    }

    date {
      match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]

    }
    mutate {
      remove_field => "timestamp"

    }


}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{+YYYY.MM.dd}"
    }
    stdout {codec => rubydebug}
}

文件内容大致解释： Logstash 分为 Input、Output、Filter、Codec 等多种plugins。

Input：数据的输入源也支持多种插件，如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、

Output：数据的输出目的也支持多种插件，如本文的elasticsearch，当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、

Filter：使用过滤器根据日志事件的特征，对数据事件进行处理过滤后，在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、

Codec：编码插件，改变事件数据的表示方式，它可以作为对输入或输出运行该过滤。和其它产品结合，如rubydebug、graphite、fluent、nmap等等。

具体以上插件的细节可以去官网，介绍的挺详细的。下面说下该篇中的配置文件的含义：

nput段：
　file：使用file 作为输入源
　　path： 日志的路径，支持/var/log*.log，及[ "/var/log/messages", "/var/log/*.log" ] 格式
　　start_position: 从文件的开始读取事件。另外还有end参数
　　ignore_older: 忽略早于24小时（默认值86400）的日志，设为0，即关闭该功能，以防止文件中的事件由于是早期的被logstash所忽略。

filter段：
　grok：数据结构化转换工具
　　match：匹配条件格式，将nginx日志作为message变量，并应用grok条件NGINXACCESS进行转换
　geoip：该过滤器从geoip中匹配ip字段，显示该ip的地理位置
　　source：ip来源字段，这里我们选择的是日志文件中的最后一个字段，如果你的是默认的nginx日志，选择第一个字段即可(注：这里写的字段是/opt/logstash/patterns/nginx 里面定义转换后的)
　　target：指定插入的logstash字断目标存储为geoip
　　database：geoip数据库的存放路径
　　add_field: 增加的字段，坐标经度
　　add_field: 增加的字段，坐标纬度
　mutate： 数据的修改、删除、类型转换
　　convert： 将坐标转为float类型
　　convert： http的响应代码字段转换成 int
　　convert： http的传输字节转换成int
　　replace： 替换一个字段
　　remove_field： 移除message 的内容，因为数据已经过滤了一份，这里不必在用到该字段了。不然会相当于存两份
　date: 时间处理，该插件很实用，主要是用你日志文件中事件的事件来对timestamp进行转换，导入老的数据必备！在这里曾让我困惑了很久哦。别再掉坑了
　　match：匹配到timestamp字段后，修改格式为dd/MMM/yyyy:HH:mm:ss Z
　mutate：数据修改
　　remove_field： 移除timestamp字段。

output段：
　elasticsearch：输出到es中
　　host： es的主机ip＋端口或者es 的FQDN＋端口
　　index： 为日志创建索引logstash-nginx-access-*，这里也就是kibana那里添加索引时的名称

2.创建logstash配置文件之后，我们还要去建立grok使用的表达式，因为logstash 的配置文件里定义的使用转换格式语法，先去logstash的安装目录，默认安装位置：/opt/logstash/下，在该位置创建一个目录patterns:

root@log-monitor ~]# mkdir -pv /opt/logstash/patterns
vi /opt/logstash/patterns/nginx
填写：
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\"

注:该格式的最后有一个http_x_forwarded_for，因为我们日志是启用了cdn代理的。日志的第一段都是cdn的，最后一段才是真正客户的ip。

需要分析的nginx日志路径不在默认的位置，所以我根据logstash 的配置，建个目录先，并将日志文件拷贝进去：

[root@log-monitor ~]# mkdir -pv /data/nginx-logs/
[root@log-monitor ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

3.然后就是logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。

[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
[root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz
[root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/.

测试下logstash 的配置文件吧，使用它自带的命令去测试，如下：

[root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK

注：-t -f 参数顺序不能乱，格式就是定死的，-f 后面要跟配置文件；还有就是该测试只能测试语法，标点符号。如果逻辑上有错误的话，还是能启动的。这里就需要在正式启动运行时，多关注日志文件，位置：/var/log/logstash/logstash.log

三、配置Elasticsearch

1.先修改es的配置文件如下（存放路径：/etc/elasticsearch/elasticsearch.yml）:

[root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

其它内容都保持默认。主要修改了es的数据存放路径，它默认的路径在根目录下，由于容量太小，而/data容量大。根据你的实际情况考虑而定。

创建数据存放目录：

[root@log-monitor ~]# mkdir -pv /data/elasticsearch

修改该文件的权限所属者：

[root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

之后重启es，重启logstash。

[root@log-monitor ~]# systemctl restart elasticsearch
[root@log-monitor ~]# systemctl restart logstash

检查启动状态：

[root@log-monitor ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java
[root@log-monitor ~]# systemctl status logstash

logstash 的日志查看：

[root@log-monitor ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2018-12-29T11:52:30.070000+0800", :message=>"Pipeline main started"}

从上面可以看到启动是正常的，我们在去看下es里的索引，应该已经在导入数据了。

[root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size 
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb 
yellow open   logstash-nginx-access-2018.12.29   5   1        502            0    369.7kb        369.7kb 
yellow open   logstash-2018.12.29                5   1        502            0    580.3kb        580.3kb

从上面看到数据已经在慢慢的导入了。大概需要一段时间，因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。

四、安装nginx 配置kibana代理

1.下载稳定版的nginx，这里使用yum安装。或者也可以选择编译，个人觉得rpm包已经足够可以使用。

[root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm

2.安装，并修改默认的配置文件

[root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm -y

先将默认的default.conf 移动到其它目录中，或者直接删除也可以。我是直接删除了。然后新建一个elk.conf配置文件，内容如下：

[root@log-monitor ~]# mv /etc/nginx/conf.d/default.conf /root/
[root@log-monitor ~]# vi /etc/nginx/conf.d/elk.conf
upstream elk {
    ip_hash;
    server 127.0.0.1:5601 max_fails=3 fail_timeout=30s;
    server 127.0.0.1:5601 max_fails=3 fail_timeout=30s;
}

server {
    listen 80;
    server_name localhost;
    server_tokens off;

    #close slow conn
    client_body_timeout 5s;
    client_header_timeout 5s;

    location / {
        proxy_pass http://elk/;
        index index.html index.htm;
        #auth
        auth_basic "ELK Private,Don't try GJ!";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }


}

3.新建一个http基本认证用户，使用的是httpd的一个工具组件，叫httpd-tools，用于生成加密的用户数据库

[root@log-monitor ~]# yum install httpd-tools -y

新建用户：

[root@log-monitor ~]# htpasswd -cm /etc/nginx/.htpasswd elk
New password:
Re-type new password:
Adding password for user elk

重启nginx，并检查状态

[root@log-monitor ~]# systemctl start nginx
[root@log-monitor ~]# systemctl status nginx

http://192.168.0.2 输入我们建立的elk用户，登陆后，可以正常的访问kibana界面即可，如下图：

添加一个索引，这个索引名字就是我们之前在logstash配置文件中导入es中的那个，本文中是logstash-nginx-access-*,如下图：

查看索引，目前自由一个，设置为加星，即是discover默认突出显示的。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

日志服务

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

登录后参与评论

0 条评论

热度