csv导入mysql 中文

CSV 导入 MySQL 中文涉及几个基础概念和技术点：

基础概念

1. CSV 文件：逗号分隔值（Comma-Separated Values）文件，是一种常见的数据交换格式，每行代表一条记录，字段之间用逗号分隔。
2. MySQL：一种流行的关系型数据库管理系统，用于存储和管理数据。
3. 字符编码：计算机中用于表示文本字符的编码方式，常见的有 UTF-8、GBK 等。

相关优势

• 数据导入效率：CSV 文件格式简单，易于解析和导入，适合大量数据的快速导入。
• 数据兼容性：CSV 格式几乎被所有电子表格软件和数据库系统支持，便于数据交换和共享。
• 中文支持：通过正确的字符编码设置，可以确保 CSV 文件中的中文字符正确显示和存储。

类型与应用场景

• 类型：CSV 导入 MySQL 主要涉及数据迁移、数据备份恢复、批量数据更新等场景。
• 应用场景：电商平台商品数据导入、企业信息系统数据整合、日志数据分析等。

遇到的问题及解决方法

问题一：中文乱码

原因：CSV 文件中的中文字符编码与 MySQL 数据库中的字符编码不一致。

解决方法：

1. 确保 CSV 文件以 UTF-8 编码保存。
2. 在导入 MySQL 前，设置 MySQL 数据库和表的字符集为 utf8mb4，以支持更广泛的 Unicode 字符。
3. 使用 LOAD DATA INFILE 命令导入 CSV 文件时，指定字符集，例如：

LOAD DATA INFILE 'path/to/your/file.csv' 
INTO TABLE your_table 
CHARACTER SET utf8mb4 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"' 
LINES TERMINATED BY '
';

问题二：字段匹配错误

原因：CSV 文件中的字段顺序或名称与 MySQL 表中的字段不匹配。

解决方法：

1. 在导入前仔细检查 CSV 文件和 MySQL 表的结构，确保字段顺序和名称一致。
2. 使用 LOAD DATA INFILE 命令的 FIELDS 和 LINES 子句来指定字段和行的分隔符，以及字段的映射关系。

问题三：数据类型不匹配

原因：CSV 文件中的某些数据类型与 MySQL 表中的数据类型不匹配。

解决方法：

1. 在导入前检查 CSV 文件中的数据类型，并根据需要转换数据类型。
2. 使用 SQL 脚本在导入前对 MySQL 表进行数据类型转换或数据清洗。

示例代码

以下是一个简单的 Python 脚本示例，用于将 CSV 文件导入 MySQL 数据库：

import mysql.connector
import csv

# 连接 MySQL 数据库
db = mysql.connector.connect(
    host="localhost",
    user="your_username",
    password="your_password",
    database="your_database"
)
cursor = db.cursor()

# 打开 CSV 文件
with open('path/to/your/file.csv', 'r', encoding='utf-8-sig') as csvfile:
    csvreader = csv.reader(csvfile)
    next(csvreader)  # 跳过标题行
    for row in csvreader:
        # 构造 SQL 插入语句
        sql = "INSERT INTO your_table (field1, field2, field3) VALUES (%s, %s, %s)"
        cursor.execute(sql, row)

# 提交事务并关闭连接
db.commit()
cursor.close()
db.close()

注意：请根据实际情况修改数据库连接信息、CSV 文件路径和表结构。

参考链接

• MySQL 官方文档 - LOAD DATA INFILE
• Python csv 模块文档
• MySQL 官方文档 - 字符集与校对