datatable批量插入数据库

基础概念

DataTable 是一种用于存储表格数据的 .NET 类型，通常用于 ASP.NET Web 应用程序中。批量插入数据库是指将多条记录一次性插入到数据库中，而不是逐条插入，这样可以显著提高数据插入的效率。

类型

SQL 批量插入：使用 SQL 语句的 INSERT INTO ... VALUES (...), (...) 语法进行批量插入。
ORM 批量插入：使用 ORM（如 Entity Framework）提供的批量插入功能。
数据库特定批量插入：某些数据库（如 SQL Server）提供了特定的批量插入方法。

应用场景

数据导入：从外部文件或其他数据源导入大量数据到数据库。
数据迁移：在不同数据库之间迁移数据。
批量更新：批量插入新记录或更新现有记录。

示例代码（使用 SQL 批量插入）

假设我们有一个 DataTable 对象 dt，其中包含要插入的数据：

using System;
using System.Data;
using System.Data.SqlClient;

class Program
{
    static void Main()
    {
        string connectionString = "your_connection_string_here";
        DataTable dt = new DataTable();
        dt.Columns.Add("Name", typeof(string));
        dt.Columns.Add("Age", typeof(int));
        dt.Rows.Add("Alice", 30);
        dt.Rows.Add("Bob", 25);

        using (SqlConnection connection = new SqlConnection(connectionString))
        {
            connection.Open();
            string sql = "INSERT INTO Users (Name, Age) VALUES (@Name, @Age)";
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = "Users";
                bulkCopy.ColumnMappings.Add("Name", "Name");
                bulkCopy.ColumnMappings.Add("Age", "Age");

                bulkCopy.WriteToServer(dt);
            }
        }
    }
}

参考链接

SqlBulkCopy Class (System.Data.SqlClient)

常见问题及解决方法

性能问题：
- 原因：批量插入的数据量过大，导致内存或数据库资源不足。
- 解决方法：分批次插入数据，每次插入一定数量的记录。

数据类型不匹配：
- 原因：DataTable 中的数据类型与数据库表中的数据类型不匹配。
- 解决方法：确保 DataTable 中的数据类型与数据库表中的数据类型一致。
事务处理：
- 原因：批量插入过程中发生错误，导致部分数据已插入，部分数据未插入。
- 解决方法：使用事务来确保批量插入操作的原子性，即要么全部成功，要么全部失败。

using (SqlConnection connection = new SqlConnection(connectionString))
{
    connection.Open();
    SqlTransaction transaction = connection.BeginTransaction();

    try
    {
        string sql = "INSERT INTO Users (Name, Age) VALUES (@Name, @Age)";
        using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity, transaction))
        {
            bulkCopy.DestinationTableName = "Users";
            bulkCopy.ColumnMappings.Add("Name", "Name");
            bulkCopy.ColumnMappings.Add("Age", "Age");

            bulkCopy.WriteToServer(dt);
        }

        transaction.Commit();
    }
    catch (Exception ex)
    {
        transaction.Rollback();
        Console.WriteLine("批量插入失败: " + ex.Message);
    }
}

通过上述方法，可以有效解决批量插入过程中可能遇到的问题，并提高数据插入的效率和可靠性。