pyodbc -使用CSV中的某些列值进行批量插入

基础概念

pyodbc 是一个 Python 的库，用于连接 ODBC 数据库。ODBC（Open Database Connectivity）是一种标准的应用程序编程接口（API），用于访问关系数据库管理系统（RDBMS）。通过 pyodbc，Python 程序可以连接到各种数据库，如 SQL Server、MySQL、Oracle 等。

CSV（Comma-Separated Values）是一种常见的数据交换格式，每行代表一条记录，字段之间用逗号分隔。

类型

批量插入操作通常涉及将 CSV 文件中的多行数据一次性插入到数据库表中。

应用场景

数据迁移：将旧系统的数据迁移到新系统。
数据导入：从外部文件导入数据到数据库。
批量更新：对大量数据进行更新操作。

示例代码

以下是一个使用 pyodbc 和 CSV 文件进行批量插入的示例：

import pyodbc
import csv

# 数据库连接字符串
conn_str = (
    r'DRIVER={SQL Server};'
    r'SERVER=your_server_name;'
    r'DATABASE=your_database_name;'
    r'Trusted_Connection=yes;'
)

# 连接到数据库
conn = pyodbc.connect(conn_str)
cursor = conn.cursor()

# 读取 CSV 文件
with open('data.csv', newline='') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # 跳过标题行
    for row in reader:
        # 假设 CSV 文件的列与数据库表的列一一对应
        cursor.execute("""
            INSERT INTO your_table_name (col1, col2, col3)
            VALUES (?, ?, ?)
        """, row)

# 提交事务
conn.commit()

# 关闭连接
cursor.close()
conn.close()

可能遇到的问题及解决方法

连接失败：
- 原因：可能是数据库服务器地址、端口、用户名或密码错误。
- 解决方法：检查并修正连接字符串中的参数。

SQL 语法错误：
- 原因：可能是 SQL 语句中的表名、列名拼写错误，或者 SQL 语句格式不正确。
- 解决方法：仔细检查 SQL 语句，确保表名、列名拼写正确，并且 SQL 语句格式正确。
数据类型不匹配：
- 原因：CSV 文件中的某些数据类型与数据库表中的列数据类型不匹配。
- 解决方法：确保 CSV 文件中的数据类型与数据库表中的列数据类型一致，或者在插入前进行数据类型转换。
批量插入性能问题：
- 原因：一次性插入大量数据可能导致性能问题。
- 解决方法：可以分批次插入数据，或者使用数据库的批量插入优化功能。