有没有一种方法可以在Apache Arrow parquet文件中指定分区，而不在文件路径中使用hive样式的"=“？
是的，可以在Apache Arrow parquet文件中指定分区，而不使用Hive样式的"="。Apache Arrow parquet文件是一种列式存储格式，可以通过分区来提高查询性能和数据管理。以下是一种方法可以实现这一目标：
- 使用ParquetWriter类创建一个新的parquet文件，指定文件路径和模式。
- 使用ParquetWriter类的withPartition方法，指定分区列和分区值。例如，如果要在"date"列上分区，可以使用withPartition("date", "2022-01-01")。
- 将数据写入parquet文件。
- 关闭ParquetWriter。
这样，你就可以在parquet文件中指定分区，而不使用Hive样式的"="。这种方法适用于需要在parquet文件中手动指定分区的场景，例如在数据仓库中进行数据分析和查询。
腾讯云提供了一系列与Apache Arrow parquet文件相关的产品和服务，例如腾讯云对象存储（COS）和腾讯云数据仓库（CDW）。腾讯云对象存储（COS）是一种可扩展的云存储服务，可以用于存储和管理parquet文件。腾讯云数据仓库（CDW）是一种高性能、弹性扩展的数据仓库服务，支持使用Apache Arrow parquet文件进行数据分析和查询。
更多关于腾讯云对象存储（COS）的信息，请访问：腾讯云对象存储（COS）
更多关于腾讯云数据仓库（CDW）的信息，请访问：腾讯云数据仓库（CDW）
相关·内容
我正在处理一个项目，在该项目中我需要使用Apache Arrow创建和分析拼图文件。我使用的环境不允许在文件路径中使用"=“，这是配置单元的命名约定所强制执行的，例如"year=2007”。有没有一种方法可以使用Arrow创建分区
浏览 35提问于2021-09-27得票数 0
回答已采纳
2回答
当我在没有指定保存模式的情况下将数据帧写入现有位置时，它会返回一个错误。df.write.partitionBy("column").option("path", <EXISTING PATH>).format("parquet").save
但是，当我只使用saveAsTable选项执行相同的命令时，如果表不存在，Spark似乎会覆盖数据。df.write.partitionBy("column"
浏览 3提问于2019-11-26得票数 0
我正在制作一些自动过程来创建Cloudera上的表。为此，我使用我给出的show create table语句(例如)如下：
CREATE TABLE clsd_core.factual_player ( player_name STRING,PARTITIONED BY ( player_name STRING ) WITH SERDEPROPERTIES ('serialization.format'='1') STORED AS PARQUETLOCATION
浏览 7提问于2020-02-26得票数 1
回答已采纳
我正在使用Pyspark，我想读取Apache类型的文件，这些文件的扩展名是".arrow“。不幸的是，我找不到任何办法来做这件事，我会感激你的帮助。
浏览 44提问于2022-12-04得票数 0
我正在尝试动态地(不列出Hive DDL中的列名和类型)在拼图数据文件上创建一个Hive外部表。我有底层拼图文件的Avro模式。我尝试使用下面的DDL：ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe/myAvroS
浏览 0提问于2015-12-09得票数 3
回答已采纳
2回答
我在HDFS中有一堆json快速压缩文件。它们是HADOOP压缩的(不是python，cf其他类似的问题)，并且有嵌套结构。以前的参考资料(没有有效答案)
浏览 5提问于2020-10-14得票数 5
回答已采纳
1回答
我必须删除“依赖-检查”中的所有“高严重性”-Vulnerabilities，它们是通过maven-plugin生成的。很难消除"hive-exec“的漏洞。hive-exec-3.1.0.jar (阴影: org.apache.parquet:parquet-hadoop:1.10.0)
文件路径: C:\Users\MYNAME.m2\repository我可以<em
浏览 0提问于2018-08-07得票数 1
1回答
我使用相同的分区文件结构，将多个数据集存储在分区拼花格式中，例如，目录结构如下：1/a/summary.parquet
2/a/predictions.parquet我想使用arrow::open_dataset()独立地阅读这两个数据集。我知道我可以<
浏览 1提问于2022-03-04得票数 2
例如，假设我在目录树中有一个拼花数据集，hive样式：dataset/field1=A/field2=Y/data.parquetdataset/field1=B/field2=X/data.parquet
dataset/field1=B/field2=Y/data.parquet
浏览 6提问于2022-07-06得票数 1
回答已采纳
1回答
start()[clsadmin@xxxxx ~]$ hdfs dfs -ls s3a://streaming-data-landing-zone-partitioned' 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT'org.apache</e
浏览 2提问于2018-09-25得票数 1
4回答
我知道我们可以使用Spark和Impala加载拼花文件，但不知道我们是否可以使用Hive完成同样的工作。我读了很多文章，但仍然很困惑。如果我遗漏了一些明显的东西，请给我建议或指出正确<em
浏览 2提问于2015-12-16得票数 25
回答已采纳
1回答
使用spark读取数据框后，我正在尝试创建拼图文件格式的配置单元表格- spark-sql .Table已在hive中以顺序文件格式创建，而不是拼图文件format.But在表格路径中，我可以看到拼图文件已创建我无法从hive.This查询此文件是我使用的代码。df.write.option(
浏览 37提问于2019-08-29得票数 0
当我尝试在没有显式路径的情况下保存表时，hivemetastore将有一个虚假的" path“属性，指向”/user/hive/仓库“而不是”/hive/仓库“。如果我使用.option(" path“、”/ Hive /仓库“)显式地将路径设置为我想要的，那么一切都正常，但是Hive创建了一
浏览 3提问于2017-03-10得票数 1
回答已采纳
我在Hive中有一个表，我想要删除它的分区键，以便以后使用其他分区键。 STORED AS INPUTFORMAT
'org.apache.hadoop.hive.q
浏览 2提问于2021-11-24得票数 0
回答已采纳
我试图在相当大的数据集中使用Spark的bucketBy功能。) .saveAsTable("my_table");那是500x500=250000装桶的地板文件
浏览 1提问于2019-07-04得票数 4
回答已采纳
1回答
我想从按年/月/日/小时划分的S3存储桶中拉取指定的天数。这个存储桶每天都会添加新的文件，并且会变得相当大。我想做spark.read.parquet(<path>).filter(<condition>)，但是当我运行它时，它花费的时间(1.5小时)比指定路径(.5小时)要长得多。我不明白为什么要花更长的时间，我应该在从存储桶中</em
浏览 16提问于2021-03-09得票数 1
虽然这不是一个购物者，但由于Python是区分大小写的，所以它无法读取由雪花生成的Parquet数据集。在“雪花”中是否有一种方法/选项可以在较低的情况下在卸载的文件中生成标题？雪花包括输出数据集/卸载文件中的分区列。Redshift就像Hive一样工作，默认情况下它从输出
浏览 1提问于2021-01-22得票数 1
3回答
我使用spark和scala来读取一个特定的Hive分区。分区是year、month、day、a和b。：：由于阶段失败而中止作业:阶段0.0中的任务236失败4次，最近一次失败:在阶段0.0中丢失任务236.3 (TID 287，服务器，执行器17)：inode="/path-to-table/tablea='y' and b='z';
为什么斯派
浏览 2提问于2019-05-22得票数 14
回答已采纳
2回答
如果我有一个用多级分区创建的表，即包含两列(state，city)，如下所示： state=Texas,city=Houston state=CA,city=SanDiegoselect * from table_name where city=Houston
也就是说，在使用第二个分区列的地方，它会只扫描state=Texas中<e
浏览 17提问于2019-11-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
