首页
学习
活动
专区
圈层
工具
发布

使用python将csv文件快速转存到mysql

因为一些工作需要,我们经常会做一些数据持久化的事情,例如将临时数据存到文件里,又或者是存到数据库里。 对于一个规范的表文件(例如csv),我们如何才能快速将数据存到mysql里面呢?...这个数据很简单,只有三个列,现在我们要使用python将它快速转存到mysql。 既然使用python连接mysql,我们就少不了使用pymysql这个模块。...我们这边是将csv批量写到数据库,需要设置local_infile参数,如果不添加会报错。...names utf8") cur.execute("SET character_set_connection=utf8;") 下面我们来打开我们的csv文件,读取里面的内容,我们需要提取第一行列名的信息...: 首先要介绍一下,mysql支持csv数据的导入,以下是sql的语法: LOAD DATA INFILE '文件名' REPLACE INTO TABLE 表名 CHARACTER SET UTF8

8.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    python 统计MySQL表信息

    现在需要将每个表的信息,统计到excel中,格式如下: 库名 表名 表说明 建表语句 db1 users 用户表 CREATE TABLE `users` (...) 二、需求分析 怎么做呢?...使用Python自动录入(Great) 三、获取相关信息 需要利用的技术点,有2个。...结果也是一个大的元组,使用for循环,提取表名 import pymysql conn = pymysql.connect(     host="127.0.0.1",  # mysql ip地址     ...排除多余的表 定义一个排序列表,使用if排除,注意:i[0] 是库名 import pymysql conn = pymysql.connect(     host="127.0.0.1",  # mysql...order_dic[i] = dic[i]  # 写入有序字典中 print(order_dic) 执行输出: OrderedDict([('a', 2), ('d', 4), ('k', 1)]) 注意:将普通字典转换为有序字典时

    6.1K30

    MySQL统计信息相关表介绍

    以前给大家介绍过MySQL中的统计信息,相信大家也都了解了。那么统计信息是存放在哪里呢?我们怎么去查看?...在MySQL中提供了两个表记录统计信息的相关内容,分别是 innodb_table_stats与innodb_index_stats。下面就这两个表的内容,与大家进行一些分享。...n_diff_pfx04 ,通过stat_description我们可以看到n_diff_pfx03,n_diff_pfx04是在原有的(c,d)两列上又多出了 (c,d,a) (c,d,a,b) 这里就是将主键索引添加到了这里...innodb_table_stats与innodb_index_stats两张表我们可以了解统计信息、计算索引的大小、索引的选择性如何,也可以做到监控中。...通过5.7的MySQL中添加了Sys Schema也就是让大家不用通过去查看代码的方式去排查各种问题、故障处理等,可见对系统表的学习在日后会更重要。

    2.9K80

    mysql创建临时表,将查询结果插入已有表中

    我记得学数据库理论课老师说可以创建临时表,不知道mysql有没有这样的功能呢?临时表在内存之中,读取速度应该比视图快一些。然后还需要将查询的结果存储到临时表中。...下面是创建临时表以及插入数据的例子,以供大家参考。...A、临时表再断开于mysql的连接后系统会自动删除临时表中的数据,但是这只限于用下面语句建立的表: 1)定义字段   CREATE TEMPORARY TABLE tmp_table (      ...2)直接将查询结果导入临时表   CREATE TEMPORARY TABLE tmp_table SELECT * FROM table_name B、另外mysql也允许你在内存中直接创建临时表,...TABLE tmp_table (      name VARCHAR(10) NOT NULL,      value INTEGER NOT NULL   ) TYPE = HEAP 那如何将查询的结果存入已有的表呢

    13.7K50

    使用shell脚本抽取MySQL表属性信息

    这是学习笔记的第 1815篇文章 在最近抽取了数据库层级的信息之后,我们可以基于已有的数据做一些分析,比如那些业务属于僵尸业务,可以通过分析binlog的偏移量来得到一个初版的信息,如果在一个周期之后偏移量未发生任何变化...如果某些业务的日增长数据在1000M,结果有一天突然爆发增长到了4000M,则这种情况我们可以基于建立的模型来做出响应,而这些信息在系统层面是无法感知的。这是对于业务探索的第一步。...在这个基础上,如果某些表数据量太大,某些表数据增长过于频繁,某些表中的碎片率很高,表中的索引过度设计等,这些对于业务来说是很欢迎的,如果能够及时发现,从设计上就可以改进和完善,为后期的问题排查也提供一种参考思路...会基于数据字典information_schema.tables采集一些基础信息,对于表中的碎片分析,则是通过和系统层结合来得到的。...为了减少采集到的表数量过多,目前是优先采集数据量在100M以上的表,然后分析碎片率等。 完整的脚本如下,供参考。

    1.5K30

    MySQL查询导出数据表结构信息

    问题描述 最近在写文档,需要用到数据库设计文档,表结构很多,如果一个个去复制黏贴,也是很花时间,所以需要借助INFORMATION_SCHEMA库的表 补充: information_schema数据库是...MySQL自带的,它提供了访问数据库元数据的方式。...元数据是关于数据的数据,如数据库名或表名,列的数据类型,或访问权限等 解决方案 所以,需要借助INFORMATION_SCHEMA的里系统表,通过如下SQL查询: SELECT b.COLUMN_NAME...查询出数据 然后复制一下数据库里的数据,在word文档里,选择,然后黏贴一下就可以 总结归纳 通过这个方法,节省了写文档的时间,可以有更多时间去写代码,补充INFORMATION_SCHEMA是MySQL...数据库系统很重要的库,我们可以通过里面的系统表排查一些性能问题,也可以像本文一样来查出表结构来提高写文档效率,活学活用,学到的知识需要用起来

    7.6K40

    新零售mysql设计(采购表 入库信息表 入库商品表)

    作者:陈业贵 华为云享专家 51cto(专家博主 明日之星 TOP红人) 阿里云专家博主 文章目录 sql(采购表) 解释 你说要采购东西是吧。提供要采购的商品。数量 运去那号仓库。...日期时间 数据 sql(入库信息表) 解释: 解析: 数据 sql(入库商品表) PRIMARY KEY(productin_id,purchase_id) ---- sql(采购表) CREATE table...buyer_id:采购员编号为20 status:完成采购就为1.否则0 数据 sql(入库信息表) CREATE TABLE t_productin( id int unsigned PRIMARY...supplier_id), INDEX idx_payment_type(payment_type), INDEX idx_create_time(create_time) ) COMMENT="入库信息表...这样做是为了采购的和入库的信息对应起来。 PRIMARY KEY(productin_id,purchase_id) 保持唯一性.怕某一个字段出现重复性.这样复合主键极大的缩小这种概率问题.

    2K30

    mysql数据库(7):表中检索信息

    (1)选择所有数据:select * from pet;  (2)修改表内容 方法一:先删除用 DELETE FROM pet;  去修改txt中内容,再LOAD DATA LOCAL INFILE...如果你使用两个操作符,使用圆括号指明如何对条件进行分组是一个好主意: mysql> select * from pet where( owner='思思' and species='dog') ->...SELECT name, birth FROM pet ORDER BY birth DESC; 按升序对动物的种类进行排序,然后按降序根据生日对各动物种类进行排序(最年轻的动物在最前面),使用下列查询: mysql...添加ORDER BY name子句按照名字对输出进行排序则能够实现 mysql> SELECT name, birth, CURDATE(), -> (YEAR(CURDATE())-YEAR(birth...)) -> - (RIGHT(CURDATE(),5) -> AS age from pet;  了按age而非name排序输出,只要再使用一个ORDER BY子句: mysql> SELECT name

    6.8K20
    领券