批量插入记录

文章/答案/技术大牛

发布

1回答

ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接

mysql、ruby-on-rails、delayed-job

我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插入到数据库中。我正在运行5

浏览 1提问于2015-12-07得票数 0

1回答

复制时大容量插入到MySQL中

python、mysql、sql、mysql-python

我在MySQL和Python MySQLdb库中有一个问题：我怎么用MySQL语法写它呢？

浏览 1提问于2014-05-13得票数 1

1回答

入站REST服务中记录的数组的顶点批处理类

rest、batch-file、salesforce、apex、bulk-load

我必须每天每晚批量插入大约80K条记录。我在考虑使用REST服务来获取数组中的记录，并创建一个批处理顶点来将它们插入到Salesforce中。我不会得到CSV，这是毫无疑问的。我是否可以在批量顶点开始方法中迭代数组的记录，以批量处理它们？这是正确的方法吗？有没有更好的方法来获取大量记录并批量处理它们？

浏览 1提问于2017-08-16得票数 0

1回答

使用pymongo在mongodb中查找并将大量记录从一个集合移动到另一个集合

python-3.x、mongodb、pymongo

源集合有1000万条记录，我需要从源集合批量获取这些记录，并将这些记录插入到目标集合中。问题是-在python中，如何从源集合中批量获取文档并将这些文档插入到目标集合中？

浏览 4提问于2021-08-27得票数 0

2回答

在SQL Server中，如何在批量更新时获取最后插入的记录ID？

sql-server、mssql-jdbc

在SQL Server中，我使用批量更新将多条记录插入到表中。如何取回批量更新后正在创建的ID(唯一主键)？例如，我有一个学生表，其中有角色NO和NAME。角色编号自动递增1，只要我使用java程序将名称插入数据库。我将使用我的java代码中的批量更新一次添加3行。在DB

浏览 9提问于2014-05-29得票数 2

1回答

当记录包含BLOB时，ODP.net参数数组插入的性能较差

oracle、blob、odp.net

我使用ODP.net参数数组实现记录的批量插入。当记录不包含BLOB列时，这种方法执行得非常好-通常一秒钟可以插入大约10,000条记录。如果一条记录包含BLOB列，那么它的性能就很差--大约1000条记录需要8个sscond。有没有方法可以有效地批量插入包含BLOB列的记录？

浏览 0提问于2012-07-30得票数 0

回答已采纳

1回答

这是在DB中插入巨大记录的有效方法。批量插入或对池使用Akka演员

akka、connection-pooling、actor、slick、batch-insert

我正在读取巨大的文件，并将记录插入到MySql表中，使用slick和akka演员。我的方法是- 谢谢..

浏览 1提问于2014-07-07得票数 0

2回答

发现批量更新失败的记录

java、database、jdbc

我正在使用jdbc在java中批量更新1000条记录。其中800条记录被成功更新，200条记录被伪造。因此，我想从批量更新查询中检查所有200条记录更新失败的情况，并使用批插入将它们插入到数据库中。

浏览 0提问于2016-02-08得票数 0

1回答

如何使用c#在mongodb中批量插入和更新记录

c#、asp.net、mongodb、.net-core

我有一个要求，因为我想从Mongo DB A读取批量记录，并希望插入和更新的记录存在或不在数据库B。让我知道如果任何人有任何使用c#的想法

浏览 2提问于2020-02-28得票数 0

1回答

SQLITE:批量插入或替换(upsert)

python、sqlite、upsert

我有一个应用程序，它将具有唯一键的记录插入(或替换)到SQLite数据库表中。它预计每秒可以处理1500条记录，但由于性能问题，它的速度要慢得多。items:我想要的是批量插入或替换以提高性能我知道有一种方法可以进行批量插入：但是，有没

浏览 4提问于2017-04-24得票数 3

1回答

如何读取目录及其内容

c#、asp.net

我想在Sql Server表中使用批量插入一次读取所有文件。目前我已经完成了：我能够从.xml和.ini文件中读取特定的记录，也可以将特定的记录插入到sql server .But中，我希望在一次拍摄中逐个插入所有记录。如何从Windows目录文件夹中编写用于批量记录插入的代码，如果创建了新文件夹，则应将其自动插入到Sql server中。

浏览 1提问于2012-05-28得票数 1

0回答

postgresql、scala、batch-processing、slick

我想在Task表中插入10行以上的数据，所以我创建了这些记录的列表。除了我的表之外，我还有一个存储库，它具有创建、更新等功能。所以我可以使用create a function来添加一条记录，但是我想使用这个函数来批量插入数据。那么如何为批量插入或更改现有方法创建此方法呢？如果有任何帮助，我将非常感激！

浏览 1提问于2017-11-26得票数 2

回答已采纳

2回答

快速选择100K+记录

sql-server-2005、ado.net

我需要从一个SQL表中选择一些100k+记录并进行一些处理，然后对另一个表进行批量插入。我使用SQLBulkCopy来做批量插入，它运行得很快。为了获取100k+记录，我目前使用的是DataReader。谢谢! 巴拉

浏览 0提问于2011-02-18得票数 2

1回答

在postgreSql上使用ParameterizedPreparedStatementSetter与BatchPreparedStatementSetter进行批量更新？

spring、postgresql、spring-boot、jdbc、jdbctemplate

我计划批量插入大约2000条记录，每次插入使用jdbcTemplate批量更新。每条记录的大小平均在2KB到10KB之间变化。因此，每个批量更新的更新大小将在大约2 MB到10 MB之间变化。

浏览 133提问于2020-11-30得票数 0

回答已采纳

2回答

有没有办法使用jdbctemplate将从文件中读取的sql批量插入到数据库中？

spring-boot、spring-data-jpa、spring-data、jdbctemplate、vertica

我想批量插入大约50000条记录到vertica数据库中。我在我的应用程序中使用了spring JDBC模板，并且我将所有这些sql保存在一个文件中，我知道有一种方法可以通过注入参数来批量插入，比如使用preparedstatement，但是如何通过sql直接批量插入它们呢

浏览 7提问于2021-05-19得票数 0

1回答

mysql批量插入

mysql、insert、bulkinsert、batch-insert

我正在做批量插入插入80k记录和1200记录每批。查询执行得很好。问题是我正在从mssql服务器获取数据，并从中创建一个批处理数组。因此，有一些更改是由于某个批处理插入失败的原因造成的。但是当批量插入失败时，它会对该特定批的所有1200条记录执行插入操作。还有一个问题。在执行这些插

浏览 1提问于2011-12-08得票数 0

回答已采纳

6回答

使用Petapoco进行批量插入/更新

petapoco

我使用Save()方法插入或更新记录，但我想让它在只有一次数据库命中的情况下执行批量插入和批量更新。我该怎么做呢？

浏览 289提问于2011-07-06得票数 20

2回答

使用DBIx::Class::ResultSet::populate()获取插入记录的标识的最佳方法是什么？

sql-server、perl、dbix-class

正如我们所知道的，DBIx::Class::ResultSet中的填充()方法提供了高效的批量插入。} 但是，在非空上下文中使用populate()时，在本例中，它只是充当create()方法的包装器，而不是高效的批量插入鉴于这一限制，您建议使用DBIx::Class::ResultSet::populate()批量<e

浏览 3提问于2014-10-31得票数 1

2回答

实体框架扩展批量插入和复制记录

c#、entity-framework、entity-framework-extensions

我在使用ZZZ项目的EF扩展库批量插入数据时遇到问题，记录对于特定的表(查找表)应该是唯一的，我正在将文件导入数据库以便记录可以重复，我找不到一种方法来使库忽略现有数据当批量插入可能存在多次的记录时，

浏览 36提问于2020-06-06得票数 0

回答已采纳

1回答

批量插入和INSERT and with CrateDB

sql、cratedb

我想要插入大量的数据，我应该使用什么:单个insert into语句，还是必须使用批量插入？还有别的事吗？我问这个问题的原因是，我的CrateDB节点的磁盘平均只以11kb/s的速度繁忙，而使用单次插入的磁盘负载是100%！谢谢!

浏览 15提问于2017-01-15得票数 0

回答已采纳

点击加载更多

ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接

复制时大容量插入到MySQL中

入站REST服务中记录的数组的顶点批处理类

使用pymongo在mongodb中查找并将大量记录从一个集合移动到另一个集合

在SQL Server中，如何在批量更新时获取最后插入的记录ID？

当记录包含BLOB时，ODP.net参数数组插入的性能较差

这是在DB中插入巨大记录的有效方法。批量插入或对池使用Akka演员

发现批量更新失败的记录

如何使用c#在mongodb中批量插入和更新记录

SQLITE:批量插入或替换(upsert)

如何读取目录及其内容