mysql分批查询 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

将3兆数据迁移到MongoDB

node.js、sails.js、sails-mongo

我正在尝试将mysql数据移动到MongoDB。记录超过300万行。全函数 var connection = mysql.createConnection({ host : 'localhost

浏览 4提问于2016-12-06得票数 2

1回答

Mysql/Mariadb删除查询是事务性的吗？而它的表现却大打折扣。一排排？

mysql、performance、mariadb、sql-delete、transactional

Q1:在mysql/mariadb中，删除查询作为一个整体事务运行吗？因此，如果我们有100万行要删除，mysql/mqriadb服务器将作为一个整体删除它，或者如果删除了一些行后出现错误，被删除的行将被恢复。Q2:是需要删除单个delete查询中的行(不管需要删除多少行)，还是需要对delete查询和批量执行delete查询设置限制。如果需要在哪个数字进行分批(否)。要删除的行)我们应该考虑一下。

浏览 1提问于2018-04-01得票数 2

1回答

不使用limit选择表中的每一行？

mysql、jdbc

我正在使用jdbc和mysql。我需要迭代表中的每一行(60,000行，table = InnoDB)，并对每一行执行一些处理。while (rs.next()) {} 当然，我可以实现一个分页查询来分批完成这项工作我想知道mysql是在内部执行此操作，还是尝试先将整个查询结果集加载到内存中？

浏览 0提问于2013-05-13得票数 0

回答已采纳

1回答

如何使用Node在数据库中插入5000万个产品？

node.js、size、heap-memory

我想使用Node在数据库中插入5000万个产品。我用过我已经将最大的旧空间大小增加到6gb，但是它仍然会错误地阻止它在600万左右。

浏览 1提问于2020-11-10得票数 0

1回答

JSP/Servlet:如何上载zip文件、解压缩它并提取CSV文件

java、mysql、servlets、csv、zip

想知道如何在JSP/Servlets中执行以下操作：注意: mySQL

浏览 1提问于2010-09-22得票数 2

回答已采纳

1回答

选择批处理sqlalchemy

python、mysql、sqlalchemy

我有一个有几千个论坛帖子+文本的MySQL数据库。我想分批抓取它们，比如一次1000个，然后用python3对它们做一些事情。我的一个post查询看起来如下： filter(Post.post_id.like(post_id)) 我如何更改它，以便在给定一个

浏览 1提问于2015-09-08得票数 8

回答已采纳

4回答

Cassandra中的原子批处理

cassandra、batch-processing、datastax-java-driver、cassandra-2.0

这是否意味着查询在集群中的节点之间是原子的？例如，我有一个包含100个查询的批处理。如果批处理中的第40个查询失败，那么批处理中执行的39个查询会发生什么情况？我知道有一个批日志创建在引擎盖下，它将照顾到部分批次的一致性。它是否删除了39个条目中的其余条目，并提供了批处理查询所需的原子性质。在MYSQL中，我们将autocommit设置为false，因此可以回滚。cassandra在这些情况下会回滚吗？

浏览 0提问于2014-03-26得票数 6

1回答

MySQL分批更新表

mysql、update、table

我想用批处理更新我的MySQL表。这个表有10000000+记录，所以我想先更新前1000行，然后更新1001到2000行。我要把它变成一个循环。

浏览 0提问于2017-05-20得票数 1

1回答

导出MySQL和Oracle查询的大结果

mysql、oracle、oracle-sqldeveloper

我正在测试数据迁移，我已经为其创建了两个SQL脚本，一个用于Oracle server，一个用于MySQL。我的想法是将他们的结果导出到.txt文件中，然后使用unix DIFF进行比较。它对于小文件非常有效，但是对于大文件，Oracle和MySQL的客户端不支持导出这么大的文件。一种方法是分解查询结果，然后进行比较，但现在是极限时刻consuming.In我的意见是，如果我可以使用某个程序分批分解结果集，它可能是可能的。请给我推荐一种简单的方法。谢谢阿杰

浏览 1提问于2013-07-02得票数 0

1回答

mysql中基于欧氏距离的聚类

python、mysql

我会分批查询(mysql ss游标)，对于每一个批处理，我将数组转换为浮动并计算欧几里得距离，如下所示：其中y是我用来找最接近的数组。X是mysql数组的列表。选择row_id，array_value在N和F之间的数组；(由

浏览 1提问于2021-07-21得票数 0

1回答

如何使用spring从数据库中获取有限的记录？

mysql、spring、jpa、spring-data-jpa

我想从MySQL数据库中分批获取记录。最初，我提取前10行的记录，然后再取下10行的记录，直到找到匹配的每一行为止。我找到了一个限制查询的解决方案，但对我没有帮助。或者这个查询还有其他解决方案吗？如果有的话请提出建议。

浏览 6提问于2020-06-07得票数 1

回答已采纳

1回答

在最短的时间内从数据库获取数据

javascript、mysql、node.js、performance

我使用的是mysql和node.js。我有一个按钮‘加载以前的聊天’加载两个用户的聊天。当我点击那个按钮时，它给出的结果是12行/秒(手动测试).How我能让它更快吗？| NO | NO | NO | > | FEDERATED | NO | Federated MySQL

浏览 2提问于2014-04-30得票数 0

6回答

使用Powershell查询分批任务

windows-7、powershell、scheduled-task

在Windows7机器上，我尝试运行一个查询来使用schtasks.exe查看所有计划的任务schtasks /query | where { $_.TaskName使用Win7查询本地计算机上的分批任务并对其进行过滤的最佳方法是什么？

浏览 0提问于2010-06-18得票数 8

回答已采纳

2回答

for循环结果的批处理

oracle、plsql

看一下下面的查询： For i in (query returning 10k records) statements;End; 我想分批处理查询结果

浏览 3提问于2017-11-22得票数 0

1回答

mysql即使在rewriteBatchedStatements = true之后也不会分批查询

java、mysql、jdbc、spring-boot、amazon-rds

spring.datasource.url=jdbc:mysql://RDS_URL.us-west-2.rds.amazonaws.com/DATABASE?preparedStatement.addBatch(); connection.commit(); 另外，我试图排除准备好的语句的问题，所以我只尝试了硬编码查询

浏览 3提问于2017-06-11得票数 4

回答已采纳

1回答

如何避免在使用DELETE删除无子的父记录时超时.不在的地方(选择)

mysql、sql、database

我在两个非常大的MySQL表之间有许多一种关系，如下所示：tripsBIGINT(20) trippolyline_id--所以我使用了以下查询：问题是它总是用Lost connection to MySQL server during query 600.008 sec我可以增加

浏览 2提问于2016-02-01得票数 1

回答已采纳

1回答

使用hibernate本机查询的批处理插入

java、hibernate、bulkinsert、native-sql

下面是在迭代中执行insert查询的代码： result = "success";在这里，查询一个接一个地执行如何分批执行查询？

浏览 0提问于2017-04-06得票数 3

4回答

Postgres -批量运行查询？

php、postgresql、memory、loops

是否可以遍历查询，以便(例如)找到500,000行，它将返回前10,000行的结果，然后再次运行查询？所以，我想要做的是运行一个查询并构建一个数组，如下所示：while($row = pg_fetch_array$myArray[$i]['id'] = $row['id']; $myArray[$i]['name'] = $row['nam

浏览 0提问于2010-03-28得票数 6

回答已采纳

1回答

是否可以在PHP / Mysql / APC / Memcache中存储PDO准备好的语句以供重用？

php、mysql、rest、caching、pdo

此API的结构使我有10个(将增长到约50)不同的查询将使用不同的输入运行，我预计频率会非常快。我特别不是在问查询的结果缓存，因为我对此有足够的了解，可以单独进行讨论。我特别关注的事实是，95%的应用程序逻辑将是客户端JS，大量的微小REST请求将主要进行小查询，并将它们返回给浏览器处理，最终将为每个请求做大量冗余工作。如果我可以使用持久连接，并检查APC或memcache中的PDO准备好的语句，然后重用它，我就有望大大减少从apache服务器到mysql服务器的开销。

浏览 2提问于2013-02-03得票数 3

回答已采纳

2回答