2回答
我正在尝试使simpe桌面应用程序与电子或nw.js (尚未决定)。但我现在看到数据库有一个很大的问题。
我需要处理大约1-200万条记录，所以我开始搜索和测试。Sqlite看起来不错，它可以处理它，但它很难同时为nw和电子编译。总是有一些错误，我现在放弃了。所以我测试了NeDB。快，小，漂亮。在nw.js上插入200k记录后，数据库从未完全加载，无法执行计数操作。所以我从来没有机会用百万条记录来测试它。键/值数据库要做很多
浏览 4提问于2017-09-22得票数 2
我自学成才，不太确定术语或具体的改进--如果有的话--将对象加载分解为一个循环中的不同部分。find_in_batches所做的是将查询分离成多个子集，所以不是进行一个大型查询，而是创建10个小查询，而不是一次加载这么多对象。def batch_process batch.each(&:start_engine!)
end # at the end of each iteration, is the
浏览 5提问于2015-06-20得票数 1
回答已采纳
然后将这些信息保存到我的数据库中，并将这些数据(通过XML/API)发送到另一个web平台。谢谢我假设100.000 XML数据将在上午10:00至晚上10:00之间的白天发送。这是来自一位顾客的。我将把这些数据保存到我的数据库中(postgresql)
在开始时，我可以使用Amazon的RDS与可能的一个实例。但之后我必须缩
浏览 2提问于2017-10-24得票数 0
1回答
它应该与不同网页的大型MySQL数据库一起工作(可能有2000万个，我希望MySQL能够处理这么多记录)。但是我需要在多个服务器之间共享对数据库的请求，因为一台服务器无法处理这样的负载。我想到了原始方法，如下所示：
MySQL数据库位于独立的独立服务器上。MySQL数据库表包含一个字段，例如" server“字段，该字段具有特定的服务器名称，为此为MySQL服务器分配的记录连接MySQL服务器，并且只使用分配给该服务器的记录(通过查看该表中的”服务器“字段
浏览 1提问于2010-12-11得票数 0
1回答
我对Node.js相对来说还是新手，我正在从事一个以MongoDB为数据库的项目。一些MongoDB查询是昂贵的。例如，我有一个包含数百万条记录的集合，基于搜索条件，查找查询可能需要1-2秒。对MongoDB (使用猫鼬驱动程序)的调用是否阻止Node.js处理其他请求，直到MongoDB返回结果？谢谢。
浏览 3提问于2014-07-23得票数 3
回答已采纳
我们希望在一次批处理中处理三百万条记录。最后，批处理将创建一个包含三百万条记录的文件。
因此，我们想创建一个分区程序，它将查询数据库中的100k条记录并对其进行处理。
浏览 1提问于2020-11-03得票数 0
如果我从数据库读取1000万条记录，那么它在开始写入文件之前读取所有这1000万条记录，还是以批处理模式读取？
提前谢谢。
浏览 2提问于2012-11-26得票数 1
我的数据集驻留在一个数据库中，它包含120万条蜡烛时刻表。
轻量级图表能处理大数据集吗?比如120万条蜡烛时刻表？
浏览 11提问于2022-04-05得票数 0
目前，我们的任务是从外部服务器获取100万条记录，对其进行处理并将其保存在db中。我们使用node.js获取记录，使用mongodb作为数据库。
我们决定将这个过程分成两个任务，获取记录并处理它。现在我们能够获取所有记录并将其转储到mongo中，但是当我们试图处理它时(我的意思是处理几个属性值，做一些简单的计算和更新属性)，我们看到200,000记录周围的mongodb更新的响应非常慢。为了处理数据，我们需要一批1000条记录进行处理
浏览 4提问于2014-12-23得票数 6
1回答
我从来没有试图调整任何数据库的性能，所以我有工厂配置。
我使用equelize.js的方法将数据插入到表中。我必须插入大约400万条记录，而这50万条记录花了28多个小时。
浏览 2提问于2017-10-26得票数 1
1回答
我正在用mysql查询一个有1200万个注册表的表，这些注册表是上述数据的一年。查询必须选择某些类型的数据(硬币、企业、类型等)。然后提供该数据特定字段的日平均值，因此我们可以在之后将其绘制成图表。我的梦想是能够实时完成这项工作，因此响应时间不到10秒，然而目前它看起来一点也不明亮，因为它需要4到6分钟。例如，其中一个where查询得到15万个寄存器，每天拆分大约500个，然后我们使用AVG()和GroupBy平均三个字段(不在where子句中)。SELECT
`Valorizacion`.`fecha`, AVG(tir) AS `tir`, AVG(tirB
浏览 3提问于2012-07-27得票数 3
回答已采纳
我们正在开发一个功能，允许我们的用户将他们自己的客户/营销数据库从他们上传到我们服务器的CSV文件导入到我们的系统中。用户上传CSV文件，我们将其放入S3存储桶中，然后在数据库中的某处将该文件链接到给定用户，或者使用SQS或其他方法让自动化服务器知道要导入该文件，然后我们只需告诉用户他们的记录正在导入，并将在接下来的几分钟
浏览 1提问于2012-06-02得票数 1
1回答
我需要从Server数据库中检索大约100万条记录，并将这些记录写入许多平面文件(每个文件将包含100,000条记录)
你认为这是写这篇文章最有效的方法吗?我如何设置一个循环来确保所有的一百万条记录都被处理了。
浏览 0提问于2018-04-06得票数 3
通过spring message listener在1小时内处理大容量(320万条消息)的最佳方式是什么？在监听消息的同时如何处理异常?在此期间如何写入数据库？
浏览 1提问于2015-10-25得票数 0
2回答
C#缓存大数据表的位置
、、、、
需要以相同的方式处理多个结果集。每个结果集都将有数百万条记录。我的项目是在Web中使用AngularJS。我在Oracle中使用ADO.net，而不是实体框架。
浏览 1提问于2016-10-04得票数 1
回答已采纳
1回答
我想每天从我们的数据库中删除大约500万或更多的记录，这些记录实际上是过期的用户。我已经使用了"find_each“批处理来删除这些记录，但是只需1天就删除了100万条记录，所以删除500万条记录将需要5天的时间:(这太费时了。有没有快速的方法可以安全地从红宝石数据库中删除数百万条记录。now = Date.today
@expired_users = ExportUser.where("status !
浏览 5提问于2015-07-29得票数 0
回答已采纳
我正在构建一个ruby on rails应用程序，它使用原始SQL来查询我的数据库，因为我听说它比使用ActiveRecord执行得更好。我有一个存储BigInts项列表的数组。
浏览 0提问于2020-06-07得票数 4
我们必须在多个表中插入两百万条记录，现在我们正在写入CSV文件，并使用db2导入将其加载到数据库中。哪个框架会更好？
浏览 8提问于2010-12-14得票数 2
5回答
我关心的是我的脚本的处理时间，因为我有十万条记录要插入到数据库中，这是否会影响我的脚本的处理时间？是否有一种方法可以批量处理向数据库中插入数据？
浏览 0提问于2009-05-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
