1回答
我试图在我本地的Ubuntu20.04上设置hadoop-connectors，并运行测试命令hadoop fs -ls gs://my-bucket，但我总是收到类似以下的错误： $ hadoopfs -ls gs://my-bucket
2020-08-22 03:29:06,976 WARN fs.FileSystem: Cannot load filesystem: j
浏览 75提问于2020-08-22得票数 1
回答已采纳
在我的机器上，我将hadoop core-site.xml配置为识别gs://方案，并将GCS-连接器-1.2.8.jar添加为Hadoop。我可以运行hadoop fs -ls gs://mybucket/并获得预期的结果。但是，如果我尝试使用以下方法从java进行模拟：FileSystem
浏览 3提问于2015-11-06得票数 2
回答已采纳
当我试着，比如说，但是，当我在Pig (在mapreduce模式下)尝试以下内容时：如果出现以下错误，猪就会失败： at org.apache.ha
浏览 4提问于2016-04-13得票数 0
回答已采纳
1回答
引发了以下异常: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found这个异常的典型解决方案是确保环境变量HADOOP_CLASSPATH指向gcs-
浏览 2提问于2017-11-20得票数 2
我正在尝试将Hadoop集群中的现有数据(JSON)迁移到。
从本地Hadoop集群向GCS移动数据的推荐方法是什么？在GSUtil的情况下，它可以直接将数据从本地Hadoop集群转移到GCS，还是首先需要在运行GSU
浏览 8提问于2014-08-13得票数 6
回答已采纳
3回答
FileSystem for gs: (GCS) uris.</description><property> <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value>
浏览 2提问于2018-08-15得票数 2
回答已采纳
1回答
尝试使用本地PySpark会话写入，得到以下错误： at org.apache.hadoop.fs.FileSystem.access$300(FileSystem.java:174)
at org.apache.hadoop.fs.FileSystem</
浏览 10提问于2021-12-09得票数 0
2回答
Apache连接器的速率限制
、、、、
我在Google集群上使用Google连接器(而不是HDFS，作为)，并得到许多“速率限制”错误，如下所示： at com.google.cloud.hadoop.gcsio.GoogleCloudStorageImpl.wrapException(GoogleCloudStorageImpl.java:1600)
at com.google.cloud.hadoop.gcsio.Go
浏览 13提问于2015-08-06得票数 4
回答已采纳
问题很简单:您有一个本地星体实例(集群或者只是在本地模式下运行)，并且希望从gs://读取
浏览 8提问于2016-11-21得票数 4
回答已采纳
(ReflectionUtils.java:135) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:121)
at org.apache.hadoop.fs.FileSystem$C
浏览 21提问于2020-08-20得票数 0
对于google云存储，我使用带有密钥文件的服务帐户。但是，它会抱怨在"write“步骤中没有找到密钥文件。我试过这么多方法，但都不管用。如果没有数据管道，应用程序就可以正常运行。/gs_test.json#gs_test.json, /home/hadoop/app.jar,s3://myBucket/app.confjava.io.FileNotFoundExceptio
浏览 0提问于2017-10-27得票数 3
1回答
:2811) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2848)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.ja
浏览 0提问于2017-10-10得票数 1
当我在主节点上运行SparkR时，我试图在我的GS桶服务器上指向一个目录：> file <- textFile(sc, "gs://xxxxx/dir/") at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.j
浏览 1提问于2015-05-27得票数 2
回答已采纳
1回答
我已经将“gcs-连接器-最新的-hadoop2.jar”添加到我的星星之火/lib文件夹中。我还将core-data.xml文件添加到spark/conf目录中。当我运行我的火花放电外壳时，我会得到一个错误： Traceback (most recent: Class com.google.cloud.
浏览 5提问于2014-10-02得票数 1
回答已采纳
Apache钻取功能列表提到，它可以从查询数据，但我找不到任何关于如何做到这一点的信息。我在S3上做得很好，但怀疑我错过了的一些非常简单的东西。谢谢
浏览 6提问于2015-10-01得票数 3
1回答
Hive似乎安装得很好，但是当我运行hive时，我得到了以下错误的输出：
Logging initialized using configuration in jar:file:/home/michael_w_sherman_gmail_comSLF4J: Found binding in [jar:file:/home/hadoop/hadoop-install/share/hadoop/common/lib/slf4j-
浏览 0提问于2015-01-28得票数 1
回答已采纳
5回答
fs -ls s3://some-url/bucket/ls:无FileSystem用于方案: s3<property>-ls: Fatal internal error
java.lang.RuntimeException: java.lang.ClassNotFoundExceptio
浏览 1提问于2015-01-19得票数 34
回答已采纳
我正在使用和Spark的Google连接器。 "fs.AbstractFileSystem.gs.impl": "com.google.cloud.hadoop.fs
浏览 9提问于2020-06-18得票数 7
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号