我有一个很大的CSV (53G)，我需要按块并行处理它
对于处理大型CSV文件，可以采用按块并行处理的方式来提高处理效率。具体步骤如下：
- 分块读取：由于CSV文件较大，可以将其分成多个较小的块进行处理。可以使用Python中的pandas库来读取CSV文件，并设置chunksize参数来控制每次读取的数据量。
- 并行处理：使用多线程或多进程的方式，将每个块分配给不同的线程或进程进行处理。可以使用Python中的concurrent.futures库来实现并行处理。
- 数据处理：根据具体需求，对每个块进行相应的数据处理操作，如数据清洗、转换、计算等。
- 合并结果：如果需要将处理后的结果合并为一个文件，可以在处理过程中将每个块的结果保存在内存中，最后再进行合并。
- 存储结果：根据处理结果的大小和格式，选择合适的存储方式。如果结果较小，可以直接保存为CSV文件；如果结果较大，可以考虑使用数据库或分布式文件系统进行存储。
在腾讯云中，可以使用以下产品和服务来支持大规模数据处理：
- 腾讯云对象存储（COS）：用于存储大型CSV文件和处理结果。COS提供高可靠性、高可扩展性的对象存储服务，支持海量数据的存储和访问。产品介绍链接：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：用于部署数据处理的应用程序和并行处理的线程或进程。CVM提供弹性计算能力，可根据需求灵活调整计算资源。产品介绍链接：https://cloud.tencent.com/product/cvm
- 腾讯云弹性MapReduce（EMR）：用于大规模数据处理和分析。EMR提供基于Hadoop和Spark的分布式计算框架，支持并行处理和分布式存储。产品介绍链接：https://cloud.tencent.com/product/emr
- 腾讯云数据库（TencentDB）：用于存储和查询处理结果。TencentDB提供多种数据库类型，如关系型数据库（MySQL、SQL Server）、NoSQL数据库（MongoDB、Redis）等，可根据需求选择合适的数据库产品。产品介绍链接：https://cloud.tencent.com/product/cdb
总结：按块并行处理大型CSV文件可以提高处理效率，腾讯云提供了多种产品和服务来支持大规模数据处理，如腾讯云对象存储、云服务器、弹性MapReduce和数据库等。具体选择和配置根据实际需求和数据规模来确定。
相关·内容
1回答
我有一个很大的CSV (53G)，我需要按块并行处理它
python、pandas、csv、multiprocessing
我尝试了类似答案中给出的pool.map方法，但最终得到了8个文件，每个文件23G，这更糟糕。不确定多处理是否有帮助！目前，我通过以下代码读取CSV文件： import pandas as pdimport numpy as np
for chunk in dd.read_csv('Final_Output/'+output_name, encoding='utf-8',
浏览 36提问于2021-04-11得票数 2
回答已采纳
1回答
DF: OutOfMemoryError的联合:请求的数组大小超过VM限制
scala、apache-spark、azure-databricks
我在存储帐户中有10 in的CSV文件。 我尝试调用HTTP GET并获取字节范围的内容，例如在第一个循环中，获取0到500MB，然后是501MB-1000MB等等。如果我注释DF部分的Union，下面的代码工作正常。如何才能以不同的方式编写它来解决此错误？它在第五个循环中完全失败，我猜是在处理(500MB x 4个循环)2 2GB (这是一些交叉的堆空间)之后
浏览 18提问于2021-06-24得票数 1
回答已采纳
7回答
如何优化这个文件系统I/O绑定程序？
python、performance、optimization、file-io
我有一个python程序，可以这样做：
从第一步读取整个文件(或至少以非常大的
浏览 7提问于2009-10-20得票数 3
回答已采纳
1回答
如果hadoop mapreduce中至少有一个拆分失败，如何停止处理其他拆分或文件本身
java、hadoop、mapreduce、hdfs、hadoop2
我有一个很大的CSV文件，比如2 2GB (或10k行)，需要使用map-reduce进行处理。知道每个块都是128MB，我有16个块，因此有16个拆分。因为它是一个文本文件，所以我可以让多个映射器同时处理文件的不同部分(不同的拆分)。映射器计数默认为4，因此文件的4个部分是并行</e
浏览 0提问于2018-02-28得票数 0
1回答
在java中编写异步调用序列的更好方法是什么？
java、asynchronous、future
假设我正在编写一个类，它使用远程调用控制第三方远程服务器。每个调用都是异步的，即它的答案返回到单独的函数中。
还有别的吗？
浏览 2提问于2012-07-03得票数 0
1回答
如何等到所有的celery任务完成后再继续我的代码？
python、celery
我有一个很大的csv文件，我将其拆分成一个100000行的块列表，将每个块传递给一个函数进行复杂的计算，并将结果附加到一个global_list中。当最后一个块完成时，我使用global_list并对其进行一些统计。在global_list上执行函数complex_calc之前，我</
浏览 17提问于2019-03-26得票数 4
1回答
GNU并行-如何理解“块大小”设置，并猜猜将其设置为什么？
grep、gnu-parallel
如何在一台具有多个核的机器上使用GNU并行运行grep时，根据"large_file“文件大小、"small_file”文件大小和我用来获得最快性能的机器来设置块大小参数(或者请纠正我这里缺少的其他东西我理解块的大小，因为它以块的形式阻塞large_file，并将这些块发送到每个作业，但我仍然没有找到影响执行速度的方式和原因的
浏览 2提问于2019-12-27得票数 2
回答已采纳
1回答
Apache camel - EIP设计查询
apache-camel、jms、jbossfuse、enterprise-integration
我有一个与EIP设计相关的查询。我需要按块处理csv文件，并调用Rest API.After完成整个文件的处理。我需要调用另一个Rest API来通知处理已完成。我希望路由被处理，以便在终端系统不可用的情况下在两者之间有队列，重试将在broker级别发生。
我</em
浏览 8提问于2017-11-14得票数 0
2回答
将大批处理分解为异步操作是否更快？
c#、asynchronous
假设我有一个包含一千万项的数组。我想在foreach循环中对每个项目执行一些操作，然后返回该项目。实际的场景是需要使用自动映射程序将一堆对象从mongoDb bson值映射到.NET对象。在此过程中不会进行数据库调用，.NET只是将bsonString转换为字符串，等等。一方面，在我看来，“是的，它会更快，因为多个批次将同时处理，而不是按顺序处理。”另一方面，这似乎很可笑，因为它不会已经在优化它。
浏览 2提问于2016-02-17得票数 1
2回答
并行流前后CSV数据的有效预处理
java、csv、java-8、java-stream
我正在寻找一种有效的方法，在(或)将CSV数据转储到java流之前对其进行预处理。, siamese, toby在我的示例CSV中，物种列只有在从一个记录更改到另一个记录时才会被填充。我知道简单的答案是修复我的CSV输出，但在这种情况下，这是不可能的。
我正在寻找一种合理有
浏览 3提问于2017-09-28得票数 1
回答已采纳
1回答
使用Sidekiq、Resque等导入CSV行块
ruby-on-rails、postgresql、sidekiq、resque
我正在编写一个导入程序，它将数据从CSV文件导入DB表中。为了避免将整个文件加载到内存中，我使用将文件解析为100块，以便一次加载每个块。我将把100的每个块传递给后台作业处理器，比如Resque或Sidekiq，以便批量导入这些行。
将100行作为作业参数传递，将产生一个大约5000字符长的字符串。这是否会在一般情况下造成任何问题，特别是后端存储(例如，Sidekiq使用Re
浏览 3提问于2015-12-01得票数 0
2回答
使用Rails 3.2从CSV进口大量联系人
csv、ruby-on-rails-3.2
我正在构建一个rails 3.2应用程序，它允许用户从CSV文件中导入联系人。如果CSV文件中的任何联系人行包含验证错误，则不会导入任何联系人，并且这些错误将在CSV文件中显示给用户。例如，如果联系人CSV有20行，其中4行和15行有错误，则不会导入任何联系人，并且用户将显示CSV的第4行和第15行的错误。我通过一次读取每一行并使用'Contact.ne
浏览 3提问于2012-12-26得票数 0
回答已采纳
2回答
HTTP请求占用10+秒
excel、vba、web-scraping、xmlhttprequest
我已经在浏览器中试过了，加载它只需要大约4秒。有什么方法可以让我在VBA网络刮刮中禁用图像加载吗？
(请注意，等待是在send行上进行的，加载时间超过10秒，对我来说，这是过分的吗？)
浏览 2提问于2016-03-26得票数 1
回答已采纳
1回答
具有内部状态的并行生产者和使用者
c#、.net、task-parallel-library
例如，这可能是上一次计算的最后一个值，例如，如果我想将所有一个原点的值加起来。我想并行处理每一个原点。来自一个来源的所有文件都需要按顺序(或更具体的时间顺序)处理，并且不能并行处理。我认为TPL数据流可能是一个合适的解决方案。
这就是我想出
浏览 2提问于2016-03-24得票数 0
1回答
保证并行后的打印顺序
ios、multithreading、parallel-processing、grand-central-dispatch、nsoperationqueue
我有X数量的核心并行地做独特的工作，然而，他们的输出需要按顺序打印。Object { int order我试着在对象完成并行工作后将它们放在一个最小堆中，然而，即使这样也是一个很大的瓶颈。有没有办法让我的工作并行完成，并保证打印顺序？有没有一个已知
浏览 4提问于2020-01-13得票数 1
1回答
有办法让熊猫read_csv功能更快吗？
python、pandas、multithreading、multiprocessing
目前，我正在处理一个很大的文件(大约45 am )，我试图使用熊猫read_csv函数加载该文件，但是加载文件要花费很长时间。有办法加快这一过程吗？我正在考虑将文件分割成几个块，并使用多处理加载它们。编辑:我认为在read_csv()中使用块大小param是最好的</em
浏览 3提问于2019-11-13得票数 1
2回答
Rails:导入数据的脚本
ruby-on-rails、activerecord
我有几个脚本来生成和收集大量数据，我需要这些数据来播种我的数据库，并在将来向其中添加大量数据。在生产过程中，将大量关系数据作为种子数据和间歇性数据导入rails数据库的最佳方式是什么？我还没有确定我的脚本的输出格式，但是数据的结构在很大程度上反映了我的rails模型，并且包含我希望导入保留的has_many关联
浏览 2提问于2009-03-17得票数 1
2回答
是否有一种简单的方法可以并行运行DataFrames::by？
dataframe、julia
我有一个很大的数据，我想并行计算。我想并行化的调用是有什么方法可以很容易地并行化吗？最好不要抄袭。此外，我想使用的并行化类型应该是不同的，这取决于由。在答案中使用的最小可重现性示例：
using DataFrames
浏览 0提问于2018-09-28得票数 2
1回答
用Dask处理大型压缩csv文件
python、csv、compression、dask
设置是我有8个大的csv文件(每个32 8GB )，这些文件都是用Zip压缩到8GB的。我无法处理未压缩的数据，因为我希望节省磁盘空间，并且没有32*8GB的空间。我不能用例如pandas加载一个文件，因为它不适合内存。
我认为达斯克对于这项任务来说是一个合理的选择，但是如果你认为它适合这个目的的话，你可以自由
浏览 0提问于2018-06-07得票数 3
回答已采纳
1回答
并行化递归python
python、python-3.x、parallel-processing、multiprocessing、python-multiprocessing
我现在正在处理一个大数据集。我的输入将是4个不同的数据集，我必须对每个数据集应用特定的函数。因此，我所做的就是读取所有四个数据集，并使用pool.map并行地应用该函数。所以现在我有了一个父母和4个孩子的过程。在这之前一切都很好。
Q1。现在，在每个过程中发生了什么。在对每个数据集应用的函数中，我</e
浏览 0提问于2014-09-21得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
