Linux 安装 logstash 并同步 MySQL 数据库

# 下载压缩包
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.tar.gz

# 解压
tar -xzpvf logstash-6.3.1.tar.gz

# 重命名
mv logstash-6.3.1 logstash

# 进入 logstash 目录
cd logstash

# 安装插件 logstash-input-jdbc
bin/logstash-plugin install logstash-input-jdbc

# 进入config目录
cd config/

# 修改 jvm.options 文件
vim jvm.options

# 修改如下数据，小编这里修改成400m
-Xms400m
-Xmx400m

# 保存退出，返回 logstash 的根目录，重新安装插件
bin/logstash-plugin install logstash-input-jdbc

# 下载 mysql-connector
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar

input{
     stdin {
     }
     jdbc {
         # 驱动方式
         jdbc_driver_library => ""
         # 驱动类名
         jdbc_driver_class => "com.mysql.jdbc.Driver"
         # mysql 数据库链接,blog为数据库名 &useSSL=false 这个是为了防止不支持ssl连接的问题
         jdbc_connection_string => "jdbc:mysql://localhost:3306/blog?characterEncoding=utf8&useSSL=false"
         # 连接数据库用户名
         jdbc_user => "root"
         # 连接数据库密码
         jdbc_password => "root"
         # 是否启用分页
         jdbc_paging_enabled => "true"
         jdbc_page_size => "50000"
         # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含>义为每分钟都更新
         schedule => "* 1 * * * "
         type => "jdbc"
         # 执行sql文路径及名称
         # statement_filepath => "/home/logstash/blog.sql"
         # 直接写sql语句用这个
         statement => "select `article_detail`.article_id,article_title as title,article_detail_content as content from `article` LEFT JOIN `article_detail` ON `article`.`article_id` = `article_detail`.article_id"
         # use_column_value => true
         # tracking_column => "updatetime"
         # 保存上一次运行>的信息(tracking_column)
         # last_run_metadata_path => "./logstash_jdbc_last_run"
       }
}

filter{
    json{
        source => "message"
        remove_field => ["message"]
    }
}
#output插件配置
output{
      elasticsearch {
         #这里可以是数组，可以是多个节点的地址，会自动启用负载均衡
         hosts => ["127.0.0.1:9200"]
         #index名称
         index => "kafei"
         #document_type => "haoyebao" #文档类型
         document_type =>"article"
         #文档id，必须设置，且表达式的变量存在，否则只>能插入一条记录
         document_id => "%{article_id}"
      }
      #控制台打印json
      stdout {
         codec => json_lines
     }
 }

./bin/logstash -f logstash-es-mysql.conf

nohup ./bin/logstash -f logstash-es-mysql.conf > out.log 2>&1 &

curl 'localhost:9200/kafei/article/_search?pretty=true'