lr插入mysql的数据乱码

基础概念

lr通常指的是Logstash，它是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到你需要的“存储库”中。MySQL是一种关系型数据库管理系统，用于存储和管理数据。

问题原因

数据乱码通常是由于字符集（Charset）或校对规则（Collation）不匹配导致的。当Logstash尝试将数据插入MySQL时，如果Logstash使用的字符集与MySQL数据库或表的字符集不一致，就会出现乱码。

解决方法

1. 确认MySQL字符集设置

首先，确认MySQL数据库和表的字符集设置。可以通过以下SQL命令查看：

SHOW VARIABLES LIKE 'character_set_%';
SHOW VARIABLES LIKE 'collation_%';

确保这些设置与你期望的字符集一致，例如utf8mb4。

2. 配置Logstash字符集

在Logstash的配置文件中，确保输入插件（如jdbc插件）和输出插件（如elasticsearch插件）都使用了正确的字符集。例如：

input {
  jdbc {
    ...
    connection_string => "jdbc:mysql://localhost:3306/mydatabase?useUnicode=yes&characterEncoding=UTF-8"
    ...
  }
}

output {
  elasticsearch {
    ...
    hosts => ["http://localhost:9200"]
    ...
  }
}

3. 修改MySQL连接字符集

如果上述方法无效，可以在MySQL连接字符串中显式指定字符集：

jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase?useUnicode=yes&characterEncoding=utf8mb4"

4. 确保数据源字符集一致

确保Logstash读取的数据源（如CSV文件、其他数据库等）的字符集与MySQL一致。

应用场景

这种问题常见于需要将多种来源的数据导入MySQL的场景，例如日志分析、数据迁移等。

示例代码

假设你有一个Logstash配置文件logstash.conf，内容如下：

input {
  jdbc {
    jdbc_driver_library => "/path/to/mysql-connector-java-8.0.23.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase?useUnicode=yes&characterEncoding=utf8mb4"
    jdbc_user => "username"
    jdbc_password => "password"
    statement => "SELECT * FROM mytable"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "myindex"
  }
}