首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    教你88秒插入1000万条数据到mysql数据库表

    我用到的数据库为,mysql数据库5.7版本的 首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: com.mysql.jdbc.PacketTooBigException...出现上面的错误是因为数据库表的 max_allowed_packet 这个配置没配置足够大,因为默认的为4M的,后来我调为100M就没报错了 set global max_allowed_packet...= 100*1024*1024* 记住,设置好后重新登录数据库才能看的设置后的值 show VARIABLES like '%max_allowed_packet%' 代码如下: package insert...// 结束时间 Long end = new Date().getTime(); // 耗时 System.out.println( "1000万条数据插入花费时间...: " + (end - begin) / 1000 + " s" ); System.out.println( "插入完成" ); } }

    2.4K40

    Golang并发把excel数据插入到数据库

    = nil { return } _, err = io.Copy(localFile, res.Body) //把body里的内容复制到本地excel文件 if err !...每次批量插入100条数据到数据库 func InsertBatch(temp [][]string, length int) error { db := modelUtils.GetDB() //gorm...(path) //从excel读数据,data里存放的就是excel里除去顶部标题的数据 if err !...最终结果: 大概有40多万条数据,每5000条数据一个goroutine,那么大概需要80多个goroutine,总共花费的时间大概是1分钟,因为阿里云服务器为2核4G的性能,所以主要的性能瓶颈在于服务器上的数据库...,虽然开启的数据库池,但是单条数据的插入时间是固定的 我还试了一下把同样40多万的数据插入到亚马逊云的数据库,要16分钟左右,因为服务器在国外,所以受网络影响较大 image.png

    3.6K10

    MySQL 插入数据

    MySQL 表中使用 INSERT INTO SQL语句来插入数据。 你可以通过 mysql> 命令提示窗口中向数据表中插入数据,或者通过PHP脚本来插入数据。...语法 以下为向MySQL数据表插入数据通用的 INSERT INTO SQL语法: INSERT INTO table_name ( field1, field2,...fieldN )...---- 通过命令提示窗口插入数据 以下我们将使用 SQL INSERT INTO 语句向 MySQL 数据表 runoob_tbl 插入数据 实例 以下实例中我们将向 runoob_tbl 表插入三条数据...接下来我们可以通过以下语句查看数据表数据: 读取数据表: select * from runoob_tbl; 输出结果: mysql6.jpg 使用PHP脚本插入数据 你可以使用PHP 的 mysqli_query...$retval ) { die('无法插入数据: ' . mysqli_error($conn)); } echo "数据插入成功\n"; mysqli_close($conn); ?

    8.8K10

    mybatis连接mysql数据库插入中文乱码

    对于mysql数据库的乱码问题,有两中情况: 1. mysql数据库编码问题(建库时设定)。 2. 连接mysql数据库的url编码设置问题。...对于第二个问题,是这样的情况:我建库时设置了数据库默认字符集为UTF-8,通过mysql workbench直接插入中文显示完全正常。但是使用mybaits插入数据时,中文显示成了”???”...但从数据库获取的中文不会乱码。跟踪数据库操作,SQL语句中的中文还是显示正常的,但是插入到mysql数据库后就乱码了,于是判断可能是数据库连接的问题。...后来在网上找了下资料,发现确实可以为mysql数据库的连接字符串设置编码方式,如下: jdbc:mysql://127.0.0.1:3306/test?...例如:假设mysql数据库用的是GBK编码(也可能是其它,例如Ubuntu下就是latin1),而项目数据库用的是utf-8编码。

    8.7K20

    MySQL 数据库表格创建、数据插入及获取插入的 ID:Python 教程

    创建表格 要在MySQL中创建表格,请使用"CREATE TABLE"语句。 确保在创建连接时定义了数据库的名称。...检查表格是否存在 您可以通过使用"SHOW TABLES"语句列出数据库中的所有表格来检查表格是否存在: 示例返回系统中的表格列表: import mysql.connector mydb = mysql.connector.connect...mydb.cursor() mycursor.execute("ALTER TABLE customers ADD COLUMN id INT AUTO_INCREMENT PRIMARY KEY") 插入数据到表格...插入多行 要将多行插入到表格中,使用 executemany() 方法。...executemany() 方法的第二个参数是包含要插入数据的元组列表: 示例填充 "customers" 表格的数据: import mysql.connector mydb = mysql.connector.connect

    2.2K20

    使用shell脚本批量插入数据到MySQL中

    经常会踫到这样的场景需求:批量向MySQL数据库插入数据,显然手工INSERT成千上万条数据是不现实的,所以自己写了这个shell脚本来处理。...1 具体需求 shell脚本批量插入10万条数据到MySQL中,其中对应表唯一索引是用户uid。因此在程序循环1万次数时,每次都使uid自增1就行了。...2 脚本代码 鉴于数据量比较大,我们的shell脚本需要考虑MySQL执行INSERT的效率,所以采用了对次数取模拼接多个VALUES的值来实现。.../bin/bash # FileName: batchinsertmysqlshell1.sh # Description: 使用shell脚本批量插入数据到MySQL中 # Simple...endTime} ====" 3 脚本管理 目前已经把这个脚本放在Github了,地址是https://github.com/vfhky/shell-tools,以后脚本的更新或者更多好用的脚本也都会加入到这个工程中

    2.8K10

    Excel数据插入Mysql数据库可能遇到的问题

    将excel数据保存成txt文件,或者手动复制到txt,默认会以一个tab为列间隔。 2. 在mysql数据库中建表:create table table_name ... 3....使用mysql的load命令导入本地数据: load data local infile"path" into table table_name fields terminated by '\t'; /...为表名 或者 load data local infile"path" into table table_name("field1","field2"...); //field为对应的字段名 注意,如果插入的编码格式不对...如果使用主键自增的方式(auto_increment),当你第一次导入数据错误后,删除(delete),重新导入,会发现key的值不再是从1开始(前面的序号已被用掉)。...此外,导入数据,可能存在格式上的问题,如头尾存在空格,可使用trim函数: update table_name set field = trim(field); 甚至还可选择去掉左或右空格,ltrim,

    2.5K50

    thinkphp5.1中无法插入数据到数据库

    今天的解决的问题困扰了我几天了,期间问舍友也是没有搞清楚原理,现在回想起来,一部分的原因或许是hubilder的问题,暂时不清楚,但是今天我换成sublime text后验证器什么的都运行正常了,然而在注册数据插入数据库的地方还是会报...后面就想着request::post到的数据可以在控制台输出,那我就重写一个数组赋值上去,然后调用Db::table这样的类型将数据插入进数据库中,但随后又发现验证器什么的都没有用了,逻辑混乱·····...最后的方法:查手册,添加数据里发现了 Db::name('zh_user')->strict(false)->insert($data); 不存在的字段会自动抛弃,试试,成功了!!...发现问题所在,基本就是数据库表和request回的数组不匹配的原因吧。。。

    3.1K10

    MySQL批量插入数据库实现语句性能分析

    允许我们在一条sql语句中批量插入数据,如下sql语句: INSERT INTO example (example_id, name, value, other_value) VALUES...第二种方法:使用事务提交,批量插入数据库(每隔10W条提交下)最后显示消耗的时间为:22:56:13 23:04:00 ,一共8分13秒 ,代码如下: echo date("H:i:s"); $...SQL语句:将SQL语句进行拼接,使用 insert into table () values (),(),(),()然后再一次性插入,如果字符串太长,   则需要配置下MYSQL,在mysql 命令行中运行...:set global max_allowed_packet = 2*1024*1024*10;消耗时间为:11:24:06 11:25:06;   插入200W条测试数据仅仅用了1分钟!...->query($sql);   最后总结下,在插入大批量数据时,第一种方法无疑是最差劲的,而第二种方法在实际应用中就比较广泛,第三种方法在插入测试数据或者其他低要求时比较合适,速度确实快。

    4.9K10
    领券