mysql导入csv文件日期格式

基础概念

MySQL是一种关系型数据库管理系统，CSV（Comma-Separated Values）是一种常见的数据交换格式。将CSV文件导入MySQL时，日期格式的处理是一个常见的问题。

类型

MySQL支持的日期格式包括：

YYYY-MM-DD
YYYYMMDD
DD/MM/YYYY
MM/DD/YYYY

应用场景

在数据迁移、数据备份、数据导入等场景中，经常需要将CSV文件中的日期数据导入到MySQL数据库中。

常见问题及解决方法

问题1：日期格式不匹配

原因：CSV文件中的日期格式与MySQL中的日期格式不匹配。

解决方法：

转换日期格式：在导入之前，使用脚本或工具将CSV文件中的日期格式转换为MySQL支持的格式。

import csv

input_file = 'input.csv'
output_file = 'output.csv'

with open(input_file, 'r') as infile, open(output_file, 'w', newline='') as outfile:
    reader = csv.reader(infile)
    writer = csv.writer(outfile)
    for row in reader:
        # 假设CSV文件中的日期格式为 DD/MM/YYYY
        row[0] = row[0].replace('/', '-')  # 转换为 YYYY-MM-DD 格式
        writer.writerow(row)

使用MySQL的STR_TO_DATE函数：在导入时，使用STR_TO_DATE函数将CSV文件中的日期字符串转换为MySQL支持的日期格式。

LOAD DATA INFILE 'output.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(@date_column)
SET date_column = STR_TO_DATE(@date_column, '%d/%m/%Y');

问题2：日期格式错误

原因：CSV文件中的日期数据存在格式错误，如无效日期、日期范围超出等。

解决方法：

数据清洗：在导入之前，使用脚本或工具对CSV文件中的日期数据进行清洗，去除无效日期。

import csv
from datetime import datetime

input_file = 'input.csv'
output_file = 'output.csv'

with open(input_file, 'r') as infile, open(output_file, 'w', newline='') as outfile:
    reader = csv.reader(infile)
    writer = csv.writer(outfile)
    for row in reader:
        try:
            # 假设CSV文件中的日期格式为 DD/MM/YYYY
            date_obj = datetime.strptime(row[0], '%d/%m/%Y')
            row[0] = date_obj.strftime('%Y-%m-%d')
            writer.writerow(row)
        except ValueError:
            # 处理无效日期
            pass

使用MySQL的DATE_FORMAT函数：在导入时，使用DATE_FORMAT函数检查和转换日期格式。

LOAD DATA INFILE 'output.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(@date_column)
SET date_column = CASE
    WHEN @date_column REGEXP '^[0-9]{4}-[0-9]{2}-[0-9]{2}$' THEN @date_column
    ELSE NULL
END;