1回答
我有一个包含主auto_increment键的mysql表。
我有500个csv文件，每个文件大约有3 3gb的数据，大部分数据在一列中。
目前，我使用以下命令将文件加载到mysql中：
#!/bin/bash
for file in /files/*.csv
do
mysql -e "load data local infile '$f' into table myTable FIELDS TERMINATED BY ','
ENCLOSED BY '\"' escaped by '\"'
浏览 48提问于2017-07-26得票数 1
1回答
优化nodejs mysql插入
、、、、
我一直在开发一个用于mongodb到mysql转换的ETL工具，该工具托管在github here 上。目前，在转换mongodb文档之后，插入查询将被发送以供执行，但是插入速度最大为每秒600次插入。nodejs的mysql是否有插入查询数/秒的限制？如果是这样，那么如何增加它？否则，有没有框架没有这个限制呢？整个转换的代码在。
为插入查询创建数组是有局限性的，因为所有文档中可能包含不同的键，这将导致查询列名称的差异。
浏览 3提问于2017-10-27得票数 1
嗨，我需要一个方法来插入大量的记录到一个MySQL数据库表。
我使用Linq to Entities，而使用foreach循环并插入每条记录的方法太慢了。
例如：
foreach(var item in items){
context.Add(item);
context.SubmitChanges();
}
.net连接器中是否有类似MySql命令的方法: LOAD DATA INFILE？
浏览 0提问于2012-04-13得票数 4
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
1回答
如何在Riak存储桶中插入百万密钥？
一次一个地插入它们需要太长时间。
理想情况下，我喜欢MySQL的"LOAD DATA INFILE“。
浏览 0提问于2014-05-16得票数 1
我正在开发一个数据收集应用程序，它涉及到对MySQL数据库的常量插入。我正在使用Python和PyMySQL来完成这项工作。我需要每秒在主表中插入大约100行。python进程一直在运行，并维护与驻留在远程服务器上的MySQL数据库的持续连接。
我知道，一般来说，最好是以缓冲区的形式插入数据(一次插入多行)，而不是单独插入。每100次左右的插入进行一次提交(PyMySQL中的connection.commit())是否可以实现与一次性插入大量数据相同的开销减少？
出于语法上的原因，将行插入分离到单独的操作中会更容易。
浏览 2提问于2018-07-01得票数 0
我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。
var sql = require('mssql');
var mysql = require("mysql");
var config = {
user : 'sa',
password : '******',
server : 'serverurl'
浏览 1提问于2015-12-01得票数 0
1回答
我有一个客户端Java7应用程序，它必须向数据库中插入大量的小数据(几列)。数据库(Mysql 5.6)位于我的服务器上。客户端Java应用程序在循环中调用存储过程以插入单行。行很简单，看起来像这样：
int | int | varchar | varchar | int | datetime
现在我这样做是这样的(伪代码)：
try(DbConnection conn = new DbConnection()) {
for(RowModel model : rowModel) {
//inserting row here
}
}
catch(SqlException e) {
//proce
浏览 0提问于2016-04-21得票数 0
1回答
我有一个包含两个进程的系统，其中一个进程执行单个插入，另一个执行批量插入。显然，第二个过程更快，我正在努力将第一个过程迁移到批量插入机制，但是今天早上我被一个同事的问题难住了，这个问题是“为什么批量插入比单个插入更快”。
那么，为什么批量插入比单个插入更快呢？
另外，考虑到MySQL和HBase的数据库架构完全不同，它们的批量插入和单个插入之间有区别吗？我在我的项目中使用了这两种方法，我想知道这两个数据库的批量插入和单个插入是否有区别。
浏览 2提问于2013-02-07得票数 1
回答已采纳
1回答
我是nifi的新手，我正在尝试使用nifi在mysql中进行批量插入，下面是我的示例流程结构。 FetchFile ->
ConvertRecord (covert csv to json) ->
SplitJson ->
EvaluateJsonPath ->
routeOnAttribute ->
JoltTransformJson (adding new key value pair) ->
MergeContent (merge all flowfiles) ->
ConvertJsontoSql (converting jso
浏览 133提问于2019-03-12得票数 1
我在一台服务器上有大约50个脚本，每秒插入3到6组数据。我发现MySQL反过来会独占所有系统资源，有时还会导致服务器崩溃。
我在想，如果我收集5分钟的查询，并对每个脚本执行一次批量插入，这会有帮助，但它会有小幅度还是大幅度的帮助？有没有人有切换到批量插入的经验？
我的表是MyISAM的(如果有必要并且不会丢失数据，我可以更改它们)。MySQL版本: 5.1.56
谢谢
浏览 9提问于2011-08-22得票数 1
回答已采纳
我正在尝试写一个php脚本，它将读取一个包含1000个csv文件的目录中的所有列(所有这些文件都有类似的列)，并从csv文件中获取所有数据，然后将其插入到mysql数据库中。在通过在线教程之后，我已经尝试了3种不同的方法来写这篇文章，但是我就是不能让它工作。
我是PHP的新手，所以我不知道发生了什么。有没有一种简单的方法可以遍历包含1000个csv文件的目录，从文件中读取所有数据，然后将数据插入mysql数据库？
浏览 0提问于2015-04-27得票数 1
我使用MySQL5.6.9-rc和.net连接器6.5.4将数据插入到一个有两个字段(整数ID，整数数据，ID是主键)的表中。将2000行插入到表中非常慢(大约35秒)(对于UpdateBatchSize =1和UpdateBatchSize =500没有太大区别)，我也尝试了连接器6.6.4，问题仍然存在。
然而，在MySQL5.4.3和连接器6.20中速度很快，如果将UpdateBatchSize设置为500，则只需要一秒钟就可以将2000行插入到表中(如果UpdateBatchSize =1，速度也会很慢)。然后我用MySQL5.4.3和连接器6.5.4或6.6.4测试它，它很慢！
我像
浏览 0提问于2012-12-26得票数 1
2回答
我有一个包含数千个条目的PDF文件，如userId，userName等，有没有办法将它们插入到MySQL数据库中？
浏览 1提问于2016-05-02得票数 0
1回答
我有一些CSV数据文件要导入到mySQL中。我想在shell脚本中进行插入，这样它就可以自动化了。然而，我对在脚本中使用明文用户名和密码感到有点厌倦。
我有以下问题：
我对脚本中的明文形式的无名/预告片的想法感到不舒服(不管怎么说，还是我太偏执了)？也许我可以为要插入的表设置一个只有插入优先级的用户？
数据库表(将原始数据导入其中)基于表列具有唯一的键。在我试图导入的数据中也可能存在重复的情况。与其使用mySQL中断(即整个插入失败)，我更希望能够将mySQL告诉或
(a)使用新数据或 (b)更新该行，忽略重复行。
无论我选择哪种设置，都是针对整个导入，而不是逐行进行的。是否有
浏览 4提问于2010-05-11得票数 4
回答已采纳
我正在尝试将csv文件加载到Mysql。该文件有一百万条记录，所以我正在进行1000的批量插入。我使用python库sqlalchemy和pymysql。在第一批插入后，我得到了错误
( pymysql.err.InternalError) (1366年，“不正确的字符串值：‘\xC2\xC2\xB7\xC3\xA5.’
第50行的“FHCNM”栏。我想跳过这个特定的批次，插入剩下的批。我是用python中的try..except..finally块来实现这一点的。在这里，我在不同的批中得到相同的错误(pymysql.err.InternalError)。如何多次处理单个异常？现在，我试着
浏览 1提问于2020-05-02得票数 0
直接到Qeustion ->。
问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)
示例:假设我有40个(可调整的)函数做一些工作(异步)，每次在表中添加一个记录后，它的一次迭代，现在很可能是同时多个函数进行插入调用。考虑到将有一个自动更新字段，MySql能够直接处理它吗？
在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。并为每个函数启动多个线程。
在这种情况下你会建议采取什么方法，
如果我需要处理每个表10,000或4百万行，这种方法会改变吗？AL
浏览 1提问于2012-02-19得票数 0
回答已采纳
2回答
我有一个并行进程，大约有64个孩子，每个孩子都需要将数据插入到一个登陆表中。我目前使用的是MySQL MyISAM引擎，并且在插入之前和之后禁用了键。
然而，这似乎是我的过程中的一个巨大瓶颈。我相信MySQL对每个插入操作都是表锁定的，因此进程总是在等待写入。
插入件是独立的，没有冲突插入件的危险。这也不需要事务或任何类似性质的东西。
是否有不同的引擎或方法来提高MySQL的插入/写入性能？
我考虑过为每个进程实例化一个表，但这会使代码更加复杂，这并不是我的风格……
任何建议都将不胜感激。
谢谢!
浏览 5提问于2012-12-20得票数 6
1回答
我在asp.net页面中有一个带有复选框列的网格视图。我需要将网格视图中选中的那些行插入到mysql表中。
最简单的方法之一是找到选定的行，然后通过循环逐个插入它们。
但是，考虑到在任何时间实例中可能有10000行，这是很耗时的。鉴于这是一个耗时的过程，在插入过程中存在失去连接的风险。
有没有办法加快插入大量行的速度？
谢谢，Balaji G
浏览 1提问于2013-02-28得票数 0
1回答
我有一个名为Customer的mySQL数据库，我正在尝试从图形用户界面中的文本字段插入数据。我运行了下面的代码，在控制台中它显示“连接成功”，没有错误。我检查信息是否已经插入到我的mySQL数据库的Customer表中，但没有插入任何内容。有人知道为什么吗？
button.setOnAction(e -> {
Connection dbConnection = null;
PreparedStatement preparedStatement = null;
try {
Cus
浏览 0提问于2018-04-23得票数 0
我必须使用Python将具有整数值的列表插入到MySQL数据库表的列中。一开始我试着
cur.execute("insert into time_Interval (name, time_interval_list) values (%s, %s)",\
# (user_name, interval_list))
其中"interval_list“是我想要插入到"time_Interval”表的"time_interval_list“列中的值的列表变量。代码工作正常，但未插入值。然后，我尝试使用将代码更改为
var_string =
浏览 17提问于2018-01-30得票数 0
2回答
轻量级内存数据库
、、
我们需要创建一个临时内存数据库，然后执行各种插入/选择/更新。
乍一看，SQLite满足了我们所有的需求。与内存中SQLite DB的连接可以简单地建立如下：
class SQLiteBase < ActiveRecord::Base
self.abstract_class = true
establish_connection(adapter: 'sqlite3', database: ':memory:')
end
不久前，我们开始研究一些性能问题，结果发现我们需要在SQLite表中执行大容量加载(特别是批量插入)数据(请参阅基准测试)。
浏览 5提问于2013-01-24得票数 0
回答已采纳
我需要通过通过mysql客户端/服务器协议对mysql表执行大量的inserts。如何做得更好？是否只有一种方法可以构建查询，就像这样：
insert into my_table (?, ?), VALUES (1,2), (..., ...)....
并发送它或也许mysql客户端/服务器协议支持批量插入？我在mysql文档中找到了，但我不确定它是否是我所需要的。
我在java：上看到了一个例子，里面有一个addBatch方法。这个方法是只构建一个包含多个VALUES子句的insert请求，还是使用mysql协议中的某些内容？
谢谢。
浏览 0提问于2015-06-11得票数 1
我需要将SQL Server2008Express中4个表中的大约200万条记录传输到MySQL。
在C#中，我可以使用在事务中非常快速地插入这些记录。(大约50秒)。
我如何在C#中为MySQL做类似的事情？
浏览 0提问于2009-05-29得票数 0
回答已采纳
嗨，我找不到如何在mamp上使用phpmyadmin插入数据到mysql数据库表中。既没有找到YouTube视频也没有找到谷歌教程。有没有免费的工具/附加组件可以将数据插入到表中？或者我唯一的选择就是在html代码中使用php脚本？对此有何建议？TYSM！
浏览 0提问于2011-06-10得票数 0
1回答
我有一个脚本，它读取XML文件并将数据插入mysql数据库。我的问题是它只插入一条记录，我有60000行数据要插入，我希望它比花一个小时插入行更快。
我的剧本
$db_link = mysql_connect('localhost', 'root', '');
$db = mysql_select_db('my_db');
//SIMPLEXML: Cleaned file is opened
$xml_source='cleanme.xml';
$xml=simplexml_load_file($xml_sour
浏览 3提问于2013-10-02得票数 1
回答已采纳
1回答
我需要在MYSQL中插入文本文件中的记录，这不是问题。
问题是文本文件包含数百万条记录。这意味着处理一个文本文件将导致数百万个插入查询。此外，我不能(不想)使用PHP Infile，因为我必须对文本文件执行一些数据提取。将该文件存储到Blob字段中这不是我想要的。
浏览 0提问于2013-05-08得票数 0
回答已采纳
早些时候，我试图让批量插入在Hibernate中工作。我尝试了所有方法:对于配置，我设置了batch_size(50)、order_inserts(true)、order_updates(true)、use_second_level_cache(false)、use_query_cache(false)。对于会话，我使用了setCacheMode(CacheMode.IGNORE)和setFlushMode(FlushMode.MANUAL)。尽管如此，MySQL查询日志显示每次插入都是单独进行的。
唯一有效的方法是在JBDC连接字符串中设置rewriteBatchedStatements=t
浏览 1提问于2013-02-28得票数 2
回答已采纳
4回答
我需要在Oracle中快速插入许多小行。(5个字段)。
使用MySQL时，我将插入分为100个一组，然后对每100个插入一组使用一条insert语句。
但是对于Oracle，用户的反馈是大容量插入( 1000-30000)太慢。
有没有类似的技巧可以用来加速从Java到Oracle的编程插入？
浏览 3提问于2010-04-27得票数 15
2回答
就性能而言(时间和服务器负载)，多个插入或具有多个值的单个insert更好。
我在这里发现，在堆栈溢出中，每次插入最多可以有1000个值集。
我说的是两种情况.
大约1000-3000值要插入
有时，在mySQL DB中，我将有20000到30000的值集给inser。
浏览 2提问于2014-04-25得票数 2
回答已采纳
我来自MySQL，您可以在单个查询中进行大量的插入和添加(或在重复键更新时)一大堆行，而不是使用针对每行的单独查询的循环。在MongoDB中似乎没有这样的选项。对吗？
我意识到这与MongoDB基于对象的方法并不完全兼容。发送数千条命令似乎有点低效，尤其是当数据库位于单独的服务器上时。
浏览 0提问于2011-08-22得票数 0
回答已采纳
1回答
我正在使用Catalyst构建一个Perl网站。该网站将允许用户上传一个大的(100,000行或更多)文本文件进行处理。我需要将每一行转换为MySQL数据库中的一行。
我一直在使用中详细介绍的Catalyst的非常好的DBIC::Schema模型
$c->model('DB::Book')->create({
title => $title,
rating => $rating,
});
这将在相应的数据库中插入一行。但是，一次插入数万行太慢了。有没有办法使用这个接口在一个查询中插入多行？
从文档中确定应该很
浏览 0提问于2013-03-05得票数 2
回答已采纳
1回答
我正在尝试开发一个应用程序，它可以在数据库中保存很多结构化对象。现在，我正在使用Spring (使用hibernate + MySQL (MyIsam表+外键))编写代码，使用Spring数据存储库为数据服务编写代码很容易，但性能太慢。
例如，我试图在一个表中插入100条记录，耗时8，5秒。
我尝试在MySQL cmd中直接执行相同的插入操作(在一个过程中使用硬编码的“插入字符串”)，它显示了时间- 0,85秒。即使这样的结果对我来说也太慢了，但这是MySQL的问题。
阅读论坛，我发现了，它说Spring不能正确地执行批量插入。
我如何使我的应用程序更快？我希望使用大小类似于1000或1000
浏览 7提问于2013-07-21得票数 1
2回答
我正在使用R在MySQL数据库中插入一个data.frame。我有下面的代码，成功地一次插入1000行。但是，如果我有一个有数万行的data.frame，这是不实际的。如何使用R进行大容量插入？这有可能吗？
## R and MySQL
library(RMySQL)
### create sql connection object
mydb = dbConnect(MySQL(), dbname="db", user='xxx', password='yyy', host='localhost', unix.sock=
浏览 0提问于2016-01-22得票数 1
的情况：我使用(php) cronjob来保持我的数据库的更新。受影响的表包含约40 000条记录。基本上，cronjob删除所有条目，然后插入它们(具有不同的值ofc)。我必须这样做，因为它们都会改变，因为它们都是相互关联的。
问题:实际上，一切都很好。这个任务是在1.5到2秒内完成他的工作(同样，大约40k的插入-我认为这是足够的)。主要是..。但有时，查询最多需要60、90甚至120秒！
我索引了我的数据库。我认为查询是很好的工作，因为它只需要2秒的时间。我通过mysql_close()关闭连接；
你有什么想法吗？如果您需要更多的信息，请告诉我。提前谢谢。
编辑：，似乎插入没有问题。这是
浏览 0提问于2014-05-08得票数 0
MariaDB可以被认为是MySQL的一个分支
我有一些用C语言编写的软件，它使用SQLite进行一些操作。我已经实现了MySQL后端，作为一个加速DB性能的实验。但令人惊讶的是，它并没有太快。基本上，我有一个简单的桌子：
CREATE TABLE `events` (
`id` BIGINT PRIMARY KEY AUTO_INCREMENT,
`type` VARCHAR(24) NOT NULL,
`time` VARCHAR(32) NOT NULL
)
没有显式外键，插入没有触发器等等。然后，简单的插入
INSERT INTO `events` (`type`, `ti
浏览 7提问于2013-04-20得票数 0
回答已采纳
1回答
如何在C#中使用MySQL一次将数据表的多行插入到数据库中的表中
string connectionString = GetConnectionString();
using(var bulkCopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.KeepIdentity)) {
foreach(DataColumn col in dataTable.Columns) {
bulkCopy.ColumnMappings.Add(col.ColumnName, col.ColumnName);
}
浏览 3提问于2020-02-20得票数 0
1回答
我有一个包含大约500,000行的表。每天，我都会尝试将此表与外部API同步。大多数情况下，自上次更新以来很少或根本没有更改。我的问题基本上是，我应该如何构造MySQL查询以获得最佳性能？我曾考虑过使用insert ignore，但感觉不是最好的方法，因为只会插入几行，而且MySQL必须遍历表中的所有行。我还考虑过使用LOAD_DATA_INFILE在临时表中插入所有行，然后选择原始表中没有的行，然后删除临时表。也许其他人有更好的建议？
提前谢谢你！
浏览 1提问于2011-04-21得票数 0
回答已采纳
2回答
我有数组
Array
(
[0] => john
[1] => melinda
)
并拥有数据库表
id_
如何使用php将名称插入数据库？
我可以在mysql_query上使用循环，但这对我的资源没有好处。
我现在做的代码是
foreach( $data as $row ) {
mysql_query("INSERT INTO badwords (word) VALUES('".$row."')");
}
这是可行的，但我认为还有另外一个简单的方法。
谢谢
浏览 6提问于2014-02-08得票数 1
回答已采纳
我正在将csv文件导入到mysql数据库中。我还没有研究过bulk insert，但是我想知道是通过循环遍历值来构造大量INSERT语句(使用PHP)更有效，还是单独插入CSV行更有效？
浏览 4提问于2011-06-10得票数 3
回答已采纳
1回答
我有一个MySQL数据库表，其中包含邮政编码及其相应的lat/lng值。
我有另一张桌子，里面有营业地点(包括lat/lng)。
在为特定业务插入新记录或更新现有记录之前，我需要验证插入或更新的lat/lng值是否在业务位置和邮政编码的特定允许范围内。例如，如果坐标位于业务位置1英里以内，则插入，否则跳过插入或更新。
本质上，触发器或存储过程需要对表中的字段执行计算，并将结果计算值与最大允许公差进行比较，以决定是否允许插入/更新。
我有必要的计算，我只是不知道如何在触发器或存储过程中构造它。
浏览 0提问于2019-11-26得票数 0
3回答
我使用的是JPA3、Hibernate 4和MySQL 5。我的测试代码看起来像...
@Repository
public class TestRepositoryImpl implements TestRepository {
@PersistenceContext
private EntityManager em;
@Override
@Transactional
public void insertBulk() {
Item it;
for(int i= 0; i<1000;i++) {
it = new Item();
浏览 0提问于2014-01-22得票数 6
2回答
我在一台MySQL机器上安装了Linux5.1x实例(768MB内存)。我恢复了一个大约1000行的备份，并通过我的.NET应用程序(部署在不同的Windows were服务器上)执行了某些读操作，考虑到表没有索引，这是很快的。
然后，我从这些行中清除服务器，并在另一台服务器上使用我的web应用程序中的一个功能来插入行(基本上，我从文本文件中读取文本，将数据输入到自定义类的字段中，然后使用每个记录的这些参数调用一个存储过程)。当我在本地机器上同时拥有网站和数据库时，我会立即插入2500行(不到一秒)。然而，现在在“生产”环境中，插入这些相同的2500行需要10分钟。我使用的是安装MySQL时附
浏览 3提问于2009-07-03得票数 1
回答已采纳
我有一段上传xlsx到Mysql表的代码，由于文件太大，加载是用块完成的，所以我必须插入每个块。for循环运行得很好，它已经使用echo语句进行了测试，但是插入只在第一个块中完成。你知道我该怎么解决这个问题吗？这是代码的一部分：
for ($startRow = 2; $startRow <= $totalRows; $startRow += $chunkSize) {
$chunkFilter->setRows($startRow,$chunkSize);
//Load of the data
$objPHPExcel = $objReader->load($n
浏览 8提问于2017-02-03得票数 0
回答已采纳
我有一个mysql数据库，我正在从日志中解析文件并将其输入其中。到目前为止，在数据库中包含一个简单的4mb文件可能需要大约4分钟才能插入！我有大约10.000个这样的文件要处理。起初，我认为这是我的脚本，但经过进一步挖掘，我了解到这可能与索引有关。我有一个表，其中有4列，1个主键和2个外键，它们在默认情况下是索引。由此可以知道索引是否会影响插入性能？我似乎不能在mysql中使用Explain Insert，所以我不知道可以提供的更多信息。我对是否应该删除索引感到困惑，但我不知道如何不造成灾难。
浏览 6提问于2013-12-31得票数 0
2回答
假设我们必须通过java代码在mysql表中插入20行。下列哪一种方法将是有效的，以及原因。
1)使用executeBatch将所有insert语句分成一批，然后使用Preparedstatement的提交方法一次插入所有行。
2)为每个insertion.Each线程创建线程插入一行。
PS:插入是通过web完成的，所以我们需要实时的状态(无论插入失败还是后续)。
浏览 2提问于2017-11-06得票数 0
我试图从csv中将值插入到表中。这是我的代码：
DROP TABLE IF EXISTS Books;
CREATE TABLE Books (
Title VARCHAR(255) NOT NULL PRIMARY KEY,
Author VARCHAR(255) NOT NULL,
Subject VARCHAR(255) NOT NULL,
Pages INT
);
BULK INSERT Books
FROM 'C:\Users\poreb\Desktop\Projects\Book Database\books.csv'
浏览 7提问于2022-09-03得票数 -2
1回答
我需要通过JDBC逐个表地进行批量插入/更新/删除。数据库为Sybase。
因为FK检查，我不能这样做，因为我暂时破坏了完整性。
在MySQL中，我可以通过发出一个简单的命令轻松地关闭和打开约束检查。
在Sybase中有什么方法可以做到这一点吗？
谢谢。
浏览 3提问于2010-06-16得票数 3
请参考我问的这个问题
重申
<tr>
<td><input type="text" name="user[0][name]" value=""></td>
<td><input type="text" name="user[0][address]" value=""><br></td>
<td><input type="text" name="user[0][a
浏览 0提问于2010-11-12得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
