Logstash 处理多种格式日志1

这里定义了两个输入源，分别在不同端口进行监听

关键是 tags => [“nginx_access_log”] ，这是在对自己这个输入源的日志进行打标

然后在处理和输出配置中使用到了 if “nginx_access_log” in [tags] 进行判断，用来分别处理

相关的配置基础可以参考 Configuring Logstash

Tip: /opt/logstash/bin/logstash 命令的 -f 参数指定的可以是一个文件也可以是一个目录，当是一个目录的时候，目录下面的所有配置文件都会被合并成一个conf，然后再被加载 , 在 /etc/init.d/logstash 的启动脚本中有这么一段定义 LS_CONF_DIR=/etc/logstash/conf.d 就是在读取 /etc/logstash/conf.d 目录下的所有文件，作为自己的默认配置

mysql slowlog的filebeat配置

[hunter@mysql-slow-log src]$ cat /etc/filebeat/filebeat.yml  | grep -v "#" | grep -v "^$"
filebeat:
  prospectors:
    -
      paths:
        - /var/lib/mysql/mysql-slow-log-slow.log
      input_type: log
      fields:
        testdb: flower
      fields_under_root: true 
  registry_file: /var/lib/filebeat/registry
output:
  logstash:
    hosts: ["logstash-server:5088"]
shipper:
logging:
  files:
[hunter@mysql-slow-log src]$

这里指定了日志路径，类型，添加了一个域并赋值，然后输出到指定的logstash中

相关的配置基础可以参考 Filebeat Configuration Options

Tip: 默认情况下，filebeat是全量读取日志内容，除非打开 tail_files: true，打开后只会读到新追加的内容