首页
学习
活动
专区
圈层
工具
发布

如何通过Python将CSV文件导入MySQL数据库?

CSV文件导入数据库一般有两种方法: 1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。...样本CSV文件如下: 总体工作分为3步: 1、用python连接mysql数据库,可参考如何使用python连接数据库?...2、基于CSV文件表格字段创建表 3、使用load data方法导入CSV文件内容 load data语法简介: LOAD DATA LOCAL INFILE 'csv_file_path' INTO...函数,参数分别为csv文件路径,表名称,数据库名称 def load_csv(csv_file_path,table_name,database='evdata'): #打开csv文件...原因是不支持命令 load data 解决方法: 需要更改下配置文件 在mysql安装目录中找到my.ini配置文件,复制以下内容到文件中 [mysqld] #服务端配置 local-infle

13.5K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL导入csv、excel或者sql文件

    1.导入csv文件 使用如下命令: mysql> load data infile "your csv file path" into table [tablename] fields terminated...还有一点需要注意,csv文件或者文本文件的路径要使用绝对路径,否则mysql会默认从数据库存储的目录寻找,找不到就会报如下错误: ERROR 13 (HY000) at line 1: Can't get...直接使用下面的命令: mysql> load data infile "your excel file path" into table [tablename] 注意上面导入文件时,都需要提前建立好与文件内各个段对应好的数据表...本质上使用source执行外部sql脚本,sql脚本会将sql脚本中附带的数据导入到创建的数据表中。...---- 参考文献 [1]关于将EXCEL文件导入到MYSQL数据库的一些方法 [2]linux命令行下导出导入.sql文件 [3]stackoverflow

    10.2K40

    如何把.csv文件导入到mysql中以及如何使用mysql 脚本中的load data快速导入

    1, 其中csv文件就相当于excel中的另一种保存形式,其中在插入的时候是和数据库中的表相对应的,这里面的colunm 就相当于数据库中的一列,对应csv表中的一列。...2,在我的数据库表中分别创建了两列A ,B属性为varchar。 3,在这里面中,表使用无事务的myISAM 和支持事务innodb都可以,但是MyISAM速度较快。... by '\\'' lines terminated by '\\r\\n'  (`A`,`B`) "; 这句话是MySql的脚本在java中的使用,这个插入速度特别快,JDBC自动解析该段代码进行数据的读出...,并且插入到数据库。...");              Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/girlandboy

    9.6K40

    Qt操作Sqlite类封装,及命令行导入csv文件到Sqlite数据库

    或者需要导入其他数据库中的数据,做数据迁移用,比如可以把其他数据库中的表数据导出为csv文件,再把csv文件导入到sqllite。...这里记录下导入csv文件到sqlite数据库的操作方法及sqlite的封装,留作备忘。 浏览sqllite数据库的客户端工具,我常用的是SQLiteSpy,仅4M大小,小巧简单。  ...导入csv到sqlite 使用sqlite3.exe命令行工具。这个sqllite数据库带的有这个工具,可以直接下载使用。...\test.db 2.命令行操作 //查看数据库 .databases // 查看数据 select * from tb_user; 1|yang|10 //查看表 .tables 3.导入csv文件到...// 必须修改为,分隔符 .separator "," // 查看表结构 .schema tb_data // 导入csv数据到表中 (前提 结构必须一致)

    2.7K30

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    后改为"load data infile"大概,10万条数据平均1秒~1.5秒,实际的代码示例如下: query = "LOAD DATA INFILE '/var/lib/mysql-files/es.csv...加上“Concurrency ”可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv...()导出的csv是带标题的,如下: 不需要标题导入到数据库,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.4K11

    导入若依项目数据库脚本到mysql数据库

    使用DBeaver工具连接本地mysql数据库 在之前的文章中,已经介绍过,怎么样去寻找某款软件的替代软件了,如果不知道怎么找的,可以再看看之前的文章: 为大家介绍一个我常用的搜索同类替代软件的网站...DBeaver下载地址:https://dbeaver.io/ 用工具连接本地mysql数据库的步骤:(没安装数据库的可以参考之前的文章:在windows操作系统上安装mysql数据库) 按照上面的配置连接好之后...,点击测试连接,会自动帮你去下载mysql连接所需的jdbc驱动的jar包。...DBeaver连接mysql时出现Public Key Retrieval is not allowed错误如何解决?...到此,我们已经完成了若依项目数据库脚本的导入,接下来就是去看看项目的配置文件,在代码里面去改一下相关的配置,然后试试本地启动项目~

    3.8K30

    logstash 与ElasticSearch:从CSV文件到搜索宝库的导入指南

    logstash 与ElasticSearch:从CSV文件到搜索宝库的导入指南使用 logstash 导入数据到 ES 时,由三个步骤组成:input、filter、output。...mutate 插件 用于字段文本内容处理,比如 字符替换csv 插件 用于 csv 格式文件导入 ESconvert 插件 用于字段类型转换date 插件 用于日期类型的字段处理使用 logstash...文件内容导入 ES 的示例配置模板如下:(csv 文件中的每一行以 SOH 作为分割符)logstash input 插件支持多种数据来源,比如 kafka、beats、http、file 等。...处理成我们想要的字段后,接下来就是导入到 ES,那么就需要配置 ES 的地址、索引名称、Mapping 结构信息 (使用指定模板写入),这由 logstash output 插件实现,在这里我们把处理后的数据导入...文件导入 ES,这里再给个 txt 文件导入 ES 吧。

    4K30

    MySQL 数据库的导入导出

    目录 ---- 目录 导出数据库 导出数据和表结构 只导出表结构 导入数据库 首先建空数据库 导入数据库 ---- 导出数据库: 导出数据和表结构: 格式: mysqldump -u用户名 -...p密码 数据库名 > 数据库名.sql 举例: /usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输入密码 只导出表结构...注:/usr/local/mysql/bin/ —> mysql的data目录 导入数据库 首先建空数据库 mysql>create database abc; 导入数据库 方法一: 选择数据库...mysql>use abc; 设置数据库编码 mysql>set names utf8; 导入数据(注意sql文件的路径) mysql>source /home/abc/abc.sql;...方法二: mysql -u用户名 -p密码 数据库名 数据库名.sql mysql -uabc_f -p abc < abc.sql

    21.6K20
    领券