4回答
PHP MySQL批量运行查询
php、mysql、batch-processing
我对处理大量数据是个新手。我想知道在批量查询数据库时是否有任何最佳实践，或者是否有人可以给出任何建议。
我有一个查询，它将提取所有数据，并使用PHP将数据写入XML文件。可能有10到500,000行数据，因此我使用witten脚本将数据分批提取出来，每批50行，写入文件，然后获取下一行数据，将其附加到文件中，等等。这样可以吗?或者我应该做其他事情吗？我可以增加批处理大小，还是应该减少批处理<
浏览 2提问于2011-11-23得票数 3
回答已采纳
1回答
查询返回速度很好，但是获取速度很慢。
php、postgresql、pdo
PostgreSQL 14我有一个PHP调用，它返回一个可滚动游标(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL)的句柄，其中包含约76万条记录。我在高性能处理器上，内存丰富。每个记录有181个数字字段。我如何提高这方面的性能？在数据库层或应用程序前端中测量返回时间的位置？
从执行查询的时间到返回句柄的时间。拿到手柄就行了。一旦启动，获取循环本身就会花费很长时间。PHP正在测量fetch循环执行时间。：您需要一个接一个地取还是可以分批</e
浏览 3提问于2021-10-29得票数 1
回答已采纳
1回答
tensorflow dataset洗牌示例而不是批
tensorflow
如何在批处理模式下获得tensorflow数据集以对所有样本进行洗牌？只是洗牌而已。
下面是一个程序，它创建了一个包含1000个项目的数据集，并以5个批次的方式通过了其中的10个时代。我可以看到，tensorflow将数据集分组为200批，每个批次包含5个示例，而洗牌是在这些批次之间进行的。我希望每一批新的批次都是原始1000个示例的随机样本，而不是200个原始批次的样本。
浏览 0提问于2018-03-15得票数 0
回答已采纳
1回答
警告:tensorflow:模型是用形状(None，188)构造的，但它是对形状不兼容的输入(188，)调用的。
python、tensorflow、keras
有人能帮我解决这个问题吗？tensorflow真的很烦人
浏览 10提问于2022-07-07得票数 1
回答已采纳
1回答
Galera集群关注事项
mysql、galera
把你的大交易分批分批处理。例如，与其让一个事务插入100,000行，不如将其拆分为较小的块，例如，每个事务插入1000行。
谢谢
浏览 2提问于2017-09-25得票数 0
1回答
我如何训练一个预先保存的重量的模型？
python、neural-network、tensorflow、training、data-science-model
我需要训练一个模型，但预处理后的数据太大，无法适应RAM。是否有可能对数据进行分批预处理，并为小数据集训练模型，然后保存权重，然后再用保存的权重对下一批数据进行训练？工作流程将是这样的：如果是的话，我该怎么做？
浏览 0提问于2020-05-21得票数 1
回答已采纳
1回答
mysql:从客户端导入大量行到服务器
mysql、import、dump
我有一个生成潜在巨大表的应用程序，各种客户端应该能够将数据发送到中央数据库。现在，我正在考虑分批处理请求并通过php发送它们，这可能是典型的方法。
浏览 3提问于2017-09-02得票数 1
回答已采纳
3回答
多核分批处理
python、python-2.7、multiprocessing
我想对多个核心上的文件进行批量处理。我有以下设想：
我怎样才能做到这一点？
浏览 2提问于2013-04-12得票数 5
回答已采纳
1回答
使用BizTalk为使用SqlServer作为传输实现的nservicebus发布消息
biztalk、nservicebus、biztalk-2010
以下是我要做的事：
向NService总线发布消息。
浏览 5提问于2013-08-23得票数 0
1回答
Flink SQL客户端如何区分批处理模式和流模式？
apache-flink、flink-sql
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
1回答
PHP :如何在分页中逐页加载数据
php、mysql、pagination
我有一个500项数据数组，取自合作伙伴数据库。我已经完成了分页。 但是对等库非常弱，如果一次加载500个项目，它是非常重的。有没有办法先下载完30件，然后再下载下一件呢？ 不加载500次项目。
浏览 18提问于2020-11-04得票数 0
回答已采纳
2回答
通过队列减少webhooks对ec2的影响
amazon-web-services、amazon-ec2、webhooks、amazon-sqs
我有一个运行在ec2服务器上的PHP应用程序。该应用程序与另一项服务集成在一起，该服务涉及订阅多个网络钩子。服务器从这些webhooks收到的请求数量已经变得难以管理，我正在寻找一种更有效的方法来处理来自这些webhooks的数据。我最初的想法是使用API网关，将这些请求放到一个SQS队列中，然后分批从这个队列中读取。
但是，我希望ec2实例能够读取这些批次，因为用于处理webhooks的代码在我的应用程序中被重用。
浏览 0提问于2018-10-16得票数 0
回答已采纳
1回答
如何删除Firestore中的大量记录
firebase、google-cloud-firestore、firebase-admin
我需要从Firestore中清除旧记录，所以我需要构建一个批处理作业来查询旧记录并删除它们。我使用SQL的经验告诉我，为了避免大的事务日志，我应该大批量地做这件事，但是Firebase并不像SQL数据库那样试图保持一致性。
浏览 1提问于2018-04-24得票数 0
回答已采纳
1回答
Java集群流WithKmeans:微集群和宏集群的零中心和(半径，权重= 0)
java、machine-learning、cluster-analysis、moa
，首先是：我在java项目中使用moa-release-2019.05.0-bin/moa-release-2019.05.0/lib/moa.jar。我刚开始使用moa，我很难理解如何使用聚类算法。文档缺乏用于常见用法的示例代码，而且实现也没有得到很好的解释。也没有找到任何教程。
import moa.cluste
浏览 6提问于2019-11-17得票数 0
回答已采纳
1回答
在训练NN时，数据加载器是如何在大型数据集中工作的？
data、bigdata
在训练神经网络时，你通常如何组织大型数据集以便于加载？我有一个庞大的数据集，无法装入内存，它由200000个样本组成，10k个样本存储在分组文件中。总的来说，这大约是50 of的数据。训练大量数据集的系统是如何工作的？(例如image-net)。
浏览 0提问于2020-05-05得票数 2
1回答
如何分批处理IEnumerable？
c#、.net、linq、batch-processing
很多时候，我的列表太大了，我不得不把它们分解成成批处理。 skip += TAKE;我想做这样的事-或者任何类似的东西，所以我不必一次又一次地编写这个批处理逻辑
浏览 1提问于2014-10-28得票数 0
回答已采纳
1回答
我想分批处理N个交易。然后，在所有N个事务被处理之后，我想要等待另一个N个调用(等等)。我知道我可以制作一张地址和数量的地图来跟踪转移，但是，我不希望汽油价格高出很多，因为我是分批进行的。Solidity版本为5.0及以上。
浏览 0提问于2019-08-28得票数 1
回答已采纳
3回答
弹簧分批分步重复处理
java、spring-boot、spring-batch
我有成千上万的记录要处理使用春季批处理，这需要太多的时间，我们的业务需求。其逻辑是通过记录读取CSV文件记录并进行处理。CSV文件中的10行5线程每个应处理2条，每条处理10条记录@RequiredArgsConstructor
public class
浏览 4提问于2022-08-27得票数 1
1回答
在这种情况下，为什么model.fit()不接受一个由特性和目标组成的输入？
python、tensorflow、keras
数据集来自一场名为“2021年3月”的Kaggle比赛import tensorflow as tf
# Step 1. loading
浏览 2提问于2021-04-04得票数 0
回答已采纳
1回答
从移动应用程序发送数据到Android磨损延迟
android、wear-os、data-synchronization、android-wear-data-api
我试图同步设置应用程序和手表脸之间的数据，但我没有运气。我尝试在侦听器中使用googleApiClient & onDataChanged和DataMaps，但是磨损设备接收数据的延迟很大。
浏览 0提问于2016-01-10得票数 3
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号