如何将数据帧重新划分为固定大小的分区？
将数据帧重新划分为固定大小的分区可以通过以下步骤实现：
- 确定分区大小：首先，确定每个分区的大小。分区大小可以根据具体需求进行设置，通常以字节为单位。例如，可以将数据帧划分为每个分区大小为1000字节。
- 检查数据帧大小：检查要划分的数据帧的大小。如果数据帧的大小小于分区大小，则无需进行划分。
- 划分数据帧：将数据帧按照分区大小进行划分。可以使用编程语言提供的相关函数或算法来实现数据帧的划分。例如，可以使用Python中的切片操作来划分数据帧。
- 处理最后一个分区：如果数据帧的大小不能被分区大小整除，最后一个分区可能会小于分区大小。可以根据具体需求决定如何处理最后一个分区。例如，可以将最后一个分区填充到分区大小，或者将其保持为原始大小。
- 处理分区数据：根据具体需求，可以对每个分区的数据进行进一步处理。例如，可以对每个分区进行压缩、加密或其他操作。
- 存储或传输分区数据：根据具体需求，可以将分区数据存储到本地磁盘或云存储中，或者通过网络传输到其他系统。
总结：将数据帧重新划分为固定大小的分区可以通过确定分区大小、检查数据帧大小、划分数据帧、处理最后一个分区、处理分区数据以及存储或传输分区数据等步骤来实现。这种方法可以用于处理大型数据集、网络传输、数据存储等场景。腾讯云提供了多种云计算产品和服务，如云服务器、云数据库、云存储等，可以根据具体需求选择适合的产品和服务来支持数据帧的重新划分和处理。
参考链接：
相关·内容
1回答
我有一个由延迟函数创建的dask数据帧，它由随机大小的分区组成。我想将数据帧重新分区为大小为(大约) 10000的区块。我可以用np.ceil(df.size/10000)计算正确的分区数量，但这似乎可以立即计算出结果？
IIUC为了计算结果，它必须将所有数据帧读取到内存中，这将是非常低效的<
浏览 15提问于2017-03-17得票数 4
回答已采纳
0回答
Dask的文档谈到了重新分区以减少开销。有没有一种明智地重新划分而不做假设的好方法？目前，我只是使用npartitions = ncores * magic_number重新分区，并在需要时将force设置为True以扩展分区。这种单一大小适用于所有方法，但由于
浏览 5提问于2017-06-20得票数 27
回答已采纳
1回答
我在代码中发现了一个bug，其中一个数据帧被分割成比预期更多的分区(超过700个)，当我试图将它们重新分区到只有48个时，这会导致太多的随机操作。我不能在这里使用coalesce()，因为在进行重新分区之前，我希望首先有更少的分区。
我正在寻找减少分区数量的方法。假设我有一个spark数据帧(包含多个列)划分为
浏览 2提问于2017-09-13得票数 1
我正在尝试修复在我的spark设置中看到的一个外存问题，在这一点上，我无法得出一个具体的分析，为什么我会看到这个。在将数据帧写到parquet或kafka时，我总是会遇到这个问题。我的数据帧有5000行。|-- K: array (nullable = true)其中，列G可以具有高达16MB的单元大小我<em
浏览 0提问于2017-09-14得票数 0
我正在研究一种新的技术，使用已经编码的H264运动矢量从一个预先编码的视频。
在这种情况下，块有多个引用(我不知道这是否可能)。这些引用是如何
浏览 3提问于2015-01-16得票数 1
回答已采纳
是否有将数据帧行拆分为固定大小并在每一行上应用grep的方法？如果没有方法，如何将函数grep应用于每个子列表？编辑：a=c("cagtcccaaccataacagaagctggcctcctgaagcttacagtcaaaaac")
b=c("aatgattaa
浏览 2提问于2014-11-10得票数 0
回答已采纳
获取50K行表的结果。
})
将table2 (作为参数传递大数据帧)发送给这样的执
浏览 2提问于2017-07-14得票数 0
1回答
我在读取spark数据帧时发现了这个奇怪的问题。我将数据帧重新划分为50k个分区。但是，当我读取数据帧并对其执行计数操作时，我发现当我使用spark 2.0时，底层rdd只有2143个分区。因此，我转到保存重新分区的数据的路径，发现
hfs -ls /repartitionedData/ |
浏览 11提问于2017-08-11得票数 4
回答已采纳
我使用Spark EMR处理数据并将其写入S3。数据按日期进行分区。在重新处理相同日期数据的情况下，我使用了一个定制的函数，该函数将正在处理的数据帧与S3中已有的数据进行比较。这两个数据被融合，因此不会丢失任何数据。 我的问题是，在S3中，相同数据的第一次写入和第二次写入之间，数据的<
浏览 12提问于2020-01-29得票数 0
我在HDFS上有许多拼花文件目录，每个目录包含几千个小的(大多数都是<100 of )的拼花文件。他们拖慢了我的火花工作，所以我想把它们结合起来。使用下面的代码，我可以将本地拼花文件重新划分为较小数量的部件：
val pqFile = sqlContext.read.parquet("file:/home/hadoop/data/file.parquetpqFile.coalesce(4).write.save("file
浏览 5提问于2015-11-29得票数 6
回答已采纳
1回答
假设我有一个1.2GB的文件，因此考虑到128 MB的块大小，它将创建10个分区。现在，如果我将它(或合并)重新划分为4个分区，这意味着每个分区肯定会超过128 MB。在这种情况下，每个分区必须容纳320 MB的数据，但块大小为128 MB。我在这里有点困惑。这怎麽可能？如何创建一个大于块大小的分区？
浏览 1提问于2022-02-04得票数 1
回答已采纳
1回答
尝试重新划分我的数据帧，以实现并行性。有人建议每个分区的大小应该小于128MB，为了实现这一点，我需要计算我的数据帧中每行的大小。那么，如何计算/查找我的数据帧中的每一行大小？
谢谢。
浏览 0提问于2018-12-05得票数 1
3回答
我正在处理大型数据框(>100,000行和多列)。我需要对数据帧进行排序，然后将其分成预定义大小的相等大小的组。如果有剩余的行(即，如果行数不能被组的大小整除)，则需要从数据帧中删除任何较小的组。例如，应将组大小为3的1, 2, 3, 4, 5, 6, 7, 8, 9, 10拆分为[1, 2, 3]，应丢
浏览 5提问于2019-04-09得票数 2
回答已采纳
根据数据大小或其他值计算重新分区(值)的基础是什么？
如果假设在一个特定的数据帧中有1亿条记录，那么在重新分区中我们必须给出什么值？以及如何计算该值？
浏览 2提问于2019-12-06得票数 0
2回答
当我将数据帧写到csv时，会为每个分区创建一个.csv文件。假设我想将每个文件的最大大小限制为1MB。我可以多次执行写操作，并增加每次重新分区的参数。有没有一种方法可以提前计算使用什么参数进行重新分区，以确保每个文件的最大大小小于指定的大小。
我想可能会有一些病态的情况，所有的数据最终都在一个分区</e
浏览 1提问于2018-08-28得票数 12
回答已采纳
1回答
在Databricks中，我有一个如下所示的pyspark数据帧。数据帧由4844472行组成。如果我显示数据帧，则需要2.70分钟 mp.show()Command took 2.70 minutes 如果
浏览 32提问于2020-07-24得票数 1
2回答
我在hdfs中保存了一个带有120个分区的拼花文件/df。hdfs上每个分区的大小约为43.5M。130.7 M /df/pid=0...我希望将该文件加载到Spark中，并保持相同数量的分区_jsc.hadoopConfiguration().get("dfs.blocks
浏览 0提问于2019-06-14得票数 0
在我的例子中，我执行了如下查询from A ...在没有使用UDF的情况下，我可能想要将查询结果保存到Python数据框或hdfs上的Parque表中，然后通过数据帧读取，并逐个处理数据帧将Spark SQL结果填充到另一个服务<
浏览 1提问于2019-03-07得票数 0
6回答
据我所知，页面来自于由虚拟内存生成的存储空间集群。但我不明白什么是框架或者它们之间有什么关系。
有人能解释什么是页面和帧以及它是如何工作的吗？
浏览 5提问于2017-02-15得票数 16
回答已采纳
在火花中执行联接时，或者一般情况下，对于洗牌操作，我可以设置分区的最大数量，在其中，我希望spark执行此操作。根据文件：
spark.sql.shuffle.partitions 200配置用于联接或聚合的数据洗牌时使用的分区数。如果我想降低在每个任务中必须完成的工作量，我必须估计数据的总大小并相应地调整这个参数(更多的分区意味着在单个任务中完成的工作量更少，
浏览 0提问于2018-12-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
