pyspark :如何按年/月/日/小时子目录写入dataframe分区？
在Pyspark中，可以使用partitionBy()方法将DataFrame按照指定的列进行分区存储。要按照年/月/日/小时子目录写入DataFrame分区，可以按照以下步骤进行操作：
- 首先，确保你已经导入了必要的模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import year, month, dayofmonth, hour- 创建一个SparkSession对象：
spark = SparkSession.builder.appName("Partitioning Example").getOrCreate()- 加载或创建一个DataFrame，假设DataFrame名为
df：
df = spark.read.format("csv").option("header", "true").load("path_to_csv_file")- 添加一个新的列，用于存储年/月/日/小时的信息：
df_with_partitions = df.withColumn("year", year(df["timestamp_column"])) \
.withColumn("month", month(df["timestamp_column"])) \
.withColumn("day", dayofmonth(df["timestamp_column"])) \
.withColumn("hour", hour(df["timestamp_column"]))这里假设timestamp_column是DataFrame中包含时间戳信息的列名。
- 使用
partitionBy()方法将DataFrame按照年/月/日/小时进行分区存储：
df_with_partitions.write.partitionBy("year", "month", "day", "hour").format("parquet").save("output_path")这里假设你想将DataFrame以Parquet格式存储，并将输出路径指定为output_path。
这样，DataFrame将按照年/月/日/小时的子目录结构进行存储，每个子目录对应一个分区。
推荐的腾讯云相关产品：腾讯云EMR（Elastic MapReduce），是一种大数据处理和分析的云服务，支持使用Pyspark进行数据处理和分析。你可以通过腾讯云EMR来运行上述代码，并将DataFrame分区存储到腾讯云对象存储（COS）中。详情请参考腾讯云EMR产品介绍：腾讯云EMR。
相关·内容
我想按年、月、日、小时写目录组。//dest/2019/11/24/01/xxxx.csvhdfs://dest/2019/11/25/02/xxxx.csv 如何通过yyyy/mm/dd&
浏览 28提问于2019-12-11得票数 2
回答已采纳
我有一个带有分区的表。只有第一个分区包含4个月的数据，其他分区按天，分区设置为左侧。
我想按天拆分第一个分区，边界是2016年4月2日到2016年5月15日。例如，如果我切换到2016年5月2日，系统将写入2016年4月2日</em
浏览 0提问于2016-05-15得票数 1
回答已采纳
1回答
更改单元表的分区规范并移动数据
、、、、
1 abc 2019-05-17 00:00:00我试图通过extract_time删除分区，并将其更改为年、月和日分区。1.创建一个新的表employee_new，其分区为年份、月和日(empid int,)
partitioned
浏览 0提问于2019-05-18得票数 1
回答已采纳
我的azure帐户存储有json文件，按年/月/日/小时进行分区。我需要列出两个日期之间的所有json，例如。20200505到20201220，所以我有url/dir的列表。我需要使用它的天蓝色数据库与pyspark。
浏览 15提问于2020-12-23得票数 0
我有一个pyspark dataframe df：| timestamplast||2019-08-|2019-08-01 00:01:09||2019-08-03 00:00:27|我想通过列表理解将列‘年’、‘月’、‘日’、‘小时’添加到现有的数据帧中。) for i in L)
df =
浏览 4提问于2020-05-27得票数 0
回答已采纳
2回答
我有一些数据，其中的时间戳列字段是长的和它的纪元标准，我需要保存为分割格式的数据，如yyyy/mm/dd/hh使用spark scala这只是按时间戳拆分数据，如下所示timestamp=1458444061198└── YYYY └── DD
浏览 1提问于2018-09-27得票数 12
回答已采纳
1回答
我正在使用PySpark进行经典的ETL工作(加载数据集、处理它、保存它)，并希望将我的数据集保存为由“虚拟”列划分的文件/目录；我的意思是“虚拟”是指我有一个列时间戳，它是一个包含ISO 8601编码日期的字符串，我希望按年/月/日进行分区；但我实际上在Dataframe中没有一个年份、月份或日列；我有这个时间戳，可以从中派生这些列，但我不希望这些列中有一个列序列化。将DataFrame保存到磁盘后产生的文件结构应该如下
浏览 3提问于2016-02-16得票数 13
回答已采纳
1回答
如何按范围分区:一个分区用于小于2000年1月1日的pubdate值；一个分区用于大于或等于2000年1月1日且小于2010年1月1日的pubdate值；第三个分区用于大于或等于2010年1月1日的所有如何编写分区部分的查询？我尝试过查找示
浏览 1提问于2012-02-24得票数 4
回答已采纳
A表具有以下列，并根据Day进行分区。我们需要提取2016年1月1日到2016年12月31日的数据。我刚才提到了样本，但这些记录在一年内以百万计。性能一点也不好，因为结果是处理20天的分区需要1个小时，你能弄清楚并优化查询吗？from pyspark.sql import sparksessionfro
浏览 14提问于2019-05-25得票数 2
回答已采纳
这是用于使用Spark2.3.2的Python/PySpark。我正在寻找最佳实践方法，将一个数据框架的列复制到另一个数据框架，使用PySpark对一个非常大的10+十亿行数据集(按年/月/日平均划分)。每一行都有120列要转换/复制。输出数据帧将被写入另一组文件中，日期分区。
浏览 1提问于2018-12-19得票数 5
1回答
S3结构是按年/月/日/小时/Messages.json组织的，所以我查询的所有实际json文件都是‘小时’级别的，所有年、月、日目录都只包含子目录。有没有一种简单的方法可以在'day‘目录级别查询并返回子目录中的所有文件，而不必运行2020/06/15/00,2020/06/15/01,2020/
浏览 23提问于2020-06-25得票数 0
2回答
我现在被一个问题困住了几个小时。33 678 95604/05/2012 27 678 956我需要得到2012年5月5日的结果与该月的第一天的比率例如，2012年5月5日的未偿还余额除以2012年1月5日的未偿还余额(24 678 956&#
浏览 0提问于2012-06-17得票数 0
回答已采纳
2回答
我有按年份、月份和日期划分日期的表。“‘ABC”划分select * from ABC where dt>='2011-03-01' and dt<='2012-02-01';
如何使用上述分区方案按年、月和日运行此查询？
浏览 2提问于2012-02-17得票数 0
1回答
我希望能够使用Athena轻松地查询这些数据，并对其进行适当的分区，以便进行廉价/快速的读取。
我想按(年/月/日/主题)元组进行分区。我已经通过使用每日分区程序解决了年/月/日部分。现在，year=YYYY/month=MM/day=DD被添加到path中，因此任何基于配置单元的查询都会被及时优化/分区。我可
浏览 4提问于2021-05-12得票数 0
数据框有4列:年、月、日、嗯 嗯-小时和分钟连接在一起例如: 10:30等于1030 dd=spark.createDataFrame([(2019,2,13,1030),(2018,2,14,1000),(2029,12,13,0300)],["Year","month","date","hhmm"])
dd.collect() pyspark dataframe dd格式的预期输出 dd.collect
浏览 123提问于2019-05-11得票数 4
我们需要的是有一个比较好的方法，按小时，日，周，月，年？其中有些很简单，比如年份：time1.getYear() === time2.getYear()，但是对于日、月、小时，它更复杂，因为它需要多个验证或分区。
浏览 3提问于2017-05-08得票数 68
回答已采纳
如何获取任务、功能id、按日期完成的小时数。假设有一个任务123，它是在一个sprint上创建的，开始日期是7月1日，结束时间是7月10日7月5日的工作是3小时完成2小时
7月10日的工作量是1小时，完成的时间是4<em
浏览 2提问于2018-07-09得票数 2
我正在查看nifi以将文件写入HDFS。我希望将文件写入基于文件名/年/月/日/小时的目录结构中提前谢谢。K
浏览 1提问于2019-07-23得票数 0
1回答
我有一个表，它包含关于时间的信息，所以这个表有诸如年份、月、日、小时等列。
如果我在年份列上创建分区，并且在同一列上也有一个索引，那么分区和索引将如何协同工作？如果我只有一年的索引列，而表没有分区，那么它将<e
浏览 2提问于2017-07-07得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
