有没有可能在不依赖Hadoop和HDFS的情况下使用Java读写Parquet？
在不依赖Hadoop和HDFS的情况下，使用Java读写Parquet是可能的。Parquet是一种列式存储格式，它被设计用于高效地存储和处理大规模数据集。以下是一种可能的解决方案：
- 使用Apache Parquet库：Apache Parquet是一个开源的列式存储格式和工具集，它提供了Java API用于读写Parquet文件。你可以使用Parquet库中的类和方法来读取和写入Parquet文件。
- 使用Java的文件IO操作：Java提供了丰富的文件IO操作API，你可以使用这些API来读取和写入Parquet文件。你可以使用Java的FileInputStream和FileOutputStream类来读取和写入二进制文件，然后使用Parquet库的类和方法来解析和处理Parquet文件。
- 使用第三方库：除了Apache Parquet库，还有一些第三方库可以帮助你在不依赖Hadoop和HDFS的情况下使用Java读写Parquet。例如，Apache Arrow是一个跨语言的内存数据结构库，它提供了Java API用于读写Parquet文件。
需要注意的是，虽然可以在不依赖Hadoop和HDFS的情况下使用Java读写Parquet，但这可能会限制一些高级功能，如分布式处理和大规模数据处理。如果需要这些功能，建议使用Hadoop和HDFS等分布式计算和存储解决方案。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云大数据计算服务（TencentDB for Big Data）：https://cloud.tencent.com/product/tcdb-bigdata
相关·内容
我一直在寻找这个问题的答案。我想在Hadoop集群之外的客户机上进行读写。我开始对Apache Drill感到兴奋，但它似乎必须作为一个单独的进程运行。我需要的是一个进程内的能力，以读取和写
浏览 65提问于2017-02-07得票数 7
回答已采纳
1回答
我正试图通过Apache (分布式模式)查询hdfs集群中存在的拼花文件。我已经创建了一个名为“hdfs”的新存储插件，它包含以下配置 "type": "file", "connection": "hdfs://<my-name-node-host": {
"type": "parq
浏览 1提问于2017-01-17得票数 0
还配置了必要的参数，以便python可以从hdfsh读取：export HADOOP_COMMON_LIB_NATIVE_DIR代码：pd.read_parquet('hdfs:///tmp/data/test.parquet&
浏览 22提问于2020-06-04得票数 2
我试图让许多线程写入同一个输出文件夹，这将与org.apache.spark.sql. parquet.DirectParquetOutputCommitter一起工作，因为它不使用_temporary我得到了以下错误，这就是我知道它不工作的原因：
Caused by: java.io.FileNotFoundException: File hdfs://path/to/stuff/_temporaryorg.apache.hadoop.
浏览 22提问于2016-06-28得票数 7
2回答
我下载并构建了的1.5.0。cd ~/parquet-mr/parquet-tools/src/main/scripts我得到了
浏览 1提问于2018-11-14得票数 0
我试图使用带有parquet和pig版本0.15.0.2.4.2.0258的org.apache.parquet.pig.ParquetLoader()将parquet-pig-bundle-1.8.1我的脚本是一个非常简单的加载和转储，以确保一切正常运行。我的剧本是：dat = LOAD &#x
浏览 1提问于2016-08-19得票数 2
回答已采纳
1回答
我正在使用spark-sql-2.4.1v和使用java 1.8的kafka 0.10.x。] WARN org.apache.hadoop.hdfs.DataStreamer - Caught exception at org.apache.hadoo
浏览 31提问于2019-11-22得票数 1
6回答
我想在我的一个项目中使用地板作为柱状存储。但是我不想依赖hadoop/hdfs库。是否可以在hdfs之外使用地板？或者，最小依赖是什么？
浏览 6提问于2015-03-26得票数 28
回答已采纳
我正在尝试动态地(不列出Hive DDL中的列名和类型)在拼图数据文件上创建一个Hive外部表。我有底层拼图文件的Avro模式。我尝试使用下面的DDL：ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe/myAvroSchema.avsc');
我的Hive表使用正确的<
浏览 0提问于2015-12-09得票数 3
回答已采纳
2回答
坚持星火
、、、、
我是星火世界的新手。如何持久化一个Dataframe，以便我们可以跨组件使用它。我希望通过sqlContext访问另一个类中的数据，并使用查询结果进行进一步计算。
浏览 8提问于2016-10-26得票数 4
回答已采纳
我已经在这个测试集群上使用"haoop fs - copyFromLocal“和RS-6-3-1024k编码器策略复制了一些拼图格式的文件。at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:984)
at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.
浏览 3提问于2019-08-14得票数 2
目前，在不使用Spark的情况下，试图在Java中读取拼板文件。以下是我到目前为止基于所做的工作。<init>(CodecFactory.java:96)
at org.apache.parquet.hadoop.CodecFactory.createDecompressor(CodecFactory.javaat org.apache.parquet.hadoop.Co
浏览 20提问于2021-03-30得票数 0
回答已采纳
我使用的是来自docker swarm的Hadoop，有1个namenode和3个数据节点(在3台物理机上)。我还使用kafka和kafka connect + hdfs连接器将消息以parquet格式写入HDFS。
我可以使用HDFS客户端(hdfs put)将数据写入HDFS。(DFSOutputStream.java:12
浏览 0提问于2018-05-23得票数 1
1回答
我不能使用sqoop import --hive-import，因为sqoop会将数据从--target-dir移动到配置单元的metastore目录。因此，我必须创建hive模式sqoop create-hive-table，将hive表转换为parquet SET FILEFORMAT parquet，将hive表的位置更改为指向HDFS中合适的文件，最后使用sqoop import --as-parquet-file将数据导入到
浏览 1提问于2017-05-12得票数 0
1回答
://localhost:19000/testCSV.csv")
hdfsCSV.write.parquet("s3a://test/parquet/abcCSV")我尝试使用hadoop-common和aws的2.7
浏览 114提问于2021-02-26得票数 0
我使用的是presto 0.136和10个节点的设置，但是尽管我将core-site.xml和hdfs-site.xml放入正确的hive.properties文件中，我仍然得到下面的错误。:310) at org.apache.had
浏览 280提问于2016-08-05得票数 1
当我尝试读取拼花文件夹时，目前正在使用另一个火花流作业编写该文件夹，使用"mergeSchema":"true“选项，我得到一个错误：在没有模式合并的情况下，我可以很好地读取文件夹，但是否有可能通过模式合并来读取这样的文件夹，而不管可能的边作业是否会对其进行更新？完全例外：
java.io.IOException: Could not
浏览 2提问于2019-07-27得票数 5
回答已采纳
1回答
(FsShell.java:304) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop</
浏览 0提问于2018-04-12得票数 0
回答已采纳
1回答
我想从我的mapreduce脚本中引用hadoop中hdfs集群上的一个文件。有没有可能在不使用完整路径(hdfs://ip / path / to /file )而使用本地/path/to/file引用的情况下执行此操作？我正在使用java，并尝试了如下内容：
File fi
浏览 2提问于2012-01-31得票数 2
回答已采纳
我有一个调度器，它可以获取集群指标，并使用旧版本的Cloudera API将数据写入HDFS文件。但最近，我们更新了JAR和原始代码错误，但出现了一个异常。.io.ParquetHiveRecordat parquet.ha
浏览 1提问于2017-04-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
