使用JDBC向Kudu表插入中文字符-cast的秘密

Fayson

修改于 2018-04-01 10:58:23

2.5K0

文章被收录于专栏：Hadoop实操Hadoop实操

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.问题描述

使用Impala JDBC向Kudu表中插入中文字符，插入的中文字符串乱码，中文字符串被截断。

继之前文档使用sql拼接方式插入中文字符串乱码解决方法后，此文档描述使用jdbc的PreparedStatement方式插入中文字符串乱码问题。

2.问题复现

测试环境：

CDH5.12.0
Kudu1.4.0
ImpalaJDBC41_2.5.35

1.使用ImpalaJDBC代码进行测试，测试代码

 staticString JDBC_DRIVER ="com.cloudera.impala.jdbc41.Driver";
static String CONNECTION_URL ="jdbc:impala://ip-172-31-10-118:21050/default";

public static void main(String[] args) {
    Connection con = null;
 ResultSetrs = null;
 PreparedStatementps = null;

    try {
        Class.forName(JDBC_DRIVER);
 con =DriverManager.getConnection(CONNECTION_URL);

 Stringsql2 = "insert into my_first_table values(?, ?)";
 ps =con.prepareStatement(sql2);
 ps.setInt(1,81);
 ps.setString(2,"测试中文字符");
 ps.execute();
 ps.close();

 ps =con.prepareStatement("select * from my_first_table order byid asc");
 rs = ps.executeQuery();
        while (rs.next()){
            System.out.println(rs.getLong(1)+ "\t" +rs.getString(2));
 }

    } catch (Exceptione) {
        e.printStackTrace();
 } finally{
 try {// 关闭rs、ps和con
 rs.close();
 ps.close();
 con.close();
 } catch(SQLException e) {
 // TODOAuto-generated catch block
 e.printStackTrace();
 }

    }
}

2.向Kudu表中分别插入测试数据，如“测试”，“测试中文”，“测试中文字符”

String sql2 = "insert into my_first_table values(?, ?)";
ps = con.prepareStatement(sql2);
ps.setInt(1, 73);
ps.setString(2, "测试");
ps.execute();
ps.close();

ps = con.prepareStatement(sql2);
ps.setInt(1, 74);
ps.setString(2, "测试中文");
ps.execute();
ps.close();

ps = con.prepareStatement(sql2);
ps.setInt(1, 75);
ps.setString(2, "测试中文字符");
ps.execute();
ps.close();

通过Hue查询结果如下：

中文字符全部乱码，部分乱码，字符串被截断问题重现。

3.解决方法

修改程序中插入语句，将插入字符串列使用cast函数转成String类型

String sql2 = "insert into my_first_table values(?, cast(?as string))";
ps = con.prepareStatement(sql2);
ps.setInt(1, 60);
ps.setString(2, "测试中文字符");
ps.execute();
ps.close();

ps = con.prepareStatement(sql2);
ps.setInt(1, 61);
ps.setString(2, "测试中文");
ps.execute();
ps.close();

ps = con.prepareStatement(sql2);
ps.setInt(1, 62);
ps.setString(2, "测试");
ps.execute();
ps.close();

修改后重新向Kudu中插入测试数据：“测试中文字符”，“测试中文”，“测试”

使用Hue查询显示如下：