如何实现数据通过表格批量导入数据库

IT_陈寒

发布于 2023-12-14 11:04:11

3630

发布于 2023-12-14 11:04:11

文章被收录于专栏：开发经验

🎉如何实现数据通过表格批量导入数据库

☆* o(≧▽≦)o *☆嗨~我是IT·陈寒🍹
✨博客主页：IT·陈寒的博客
🎈该系列文章专栏：Java学习路线
📜其他专栏：Java学习路线 Java面试技巧 Java实战项目 AIGC人工智能数据结构学习
🍹文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏
📜 欢迎大家关注！ ❤️

在许多业务场景中，需要将大量数据从表格文件（如Excel、CSV）中导入数据库，以便进行进一步的数据分析和处理。本文将介绍如何通过编程实现数据通过表格批量导入数据库，以提高数据导入的效率和准确性。我们将以 Python 和 MySQL 数据库为例进行讲解，同时提供一些拓展思路和优化建议。

1. 准备工作

首先，确保你已经安装了相关的库和工具：

Python：用于编写数据导入的脚本。
pandas：用于处理表格数据。
MySQL：作为数据库存储数据。

可以通过以下命令安装必要的 Python 库：

pip install pandas
pip install pymysql

2. 创建数据库表

在 MySQL 数据库中，首先需要创建一个表来存储将要导入的数据。以下是一个简单的例子：

CREATE TABLE IF NOT EXISTS `employee` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `name` VARCHAR(255) NOT NULL,
    `salary` DECIMAL(10, 2) NOT NULL
);

这个表格用于存储员工的姓名和薪水信息。

3. 编写导入脚本

接下来，我们将编写一个 Python 脚本，使用 pandas 读取表格数据，并将数据批量插入数据库中。以下是一个简单的脚本：

import pandas as pd
import pymysql

# 配置数据库连接
db_config = {
    'host': 'localhost',
    'user': 'your_username',
    'password': 'your_password',
    'database': 'your_database',
    'charset': 'utf8mb4',
    'cursorclass': pymysql.cursors.DictCursor,
}

# 读取表格数据
file_path = 'path/to/your/data.xlsx'
data_frame = pd.read_excel(file_path)

# 批量导入数据库
def import_to_database(data_frame):
    try:
        connection = pymysql.connect(**db_config)
        with connection.cursor() as cursor:
            for index, row in data_frame.iterrows():
                sql = "INSERT INTO `employee` (`name`, `salary`) VALUES (%s, %s)"
                cursor.execute(sql, (row['name'], row['salary']))
        connection.commit()
    finally:
        connection.close()

# 执行导入
import_to_database(data_frame)

确保替换 your_username、your_password、your_database 为你的数据库连接信息，path/to/your/data.xlsx 为你的表格文件路径。此脚本会读取表格数据，并使用批量插入的方式将数据导入到 MySQL 数据库的 employee 表中。