我已经通过一些网站(，)总结了使用Hadoop谷歌云存储连接器进行这种过程，并需要基础设施级别的配置，这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从云存储直接复制到Hadoop。
浏览 0提问于2018-06-15得票数 1
在机器中，A卡夫卡正在运行，在机器B中安装了 hadoop。现在我想从kafka写数据给hadoop。我已经在机器A中安装了汇流平台。
浏览 0提问于2018-03-29得票数 2
我想知道的是如何将它们直接下载到HDFS中(我正在‘ssh’进入)？有人做过这个吗?理想情况下，这是第一部分，第二部分是为谷歌云存储数据创建Hive表，这样我们就可以使用HiveQL和Pig了。
浏览 0提问于2015-12-11得票数 2
GCP dataproc -当您终止dataproc集群时，HDFS会自动删除。如何使其持久化HDFS即使您删除了dataproc集群，它也不应该删除HDFS？有可能吗？
浏览 7提问于2021-05-12得票数 2
1回答
我们计划使用REST调用从端点摄取数据，并将数据存储到HDFS。其余的电话是以周期性的方式(每天或每小时)完成的。
浏览 0提问于2017-03-07得票数 2
1回答
我想用gzip压缩保存一个CSV文件。代码成功运行，但它正在悄无声息地失败--也就是说，我在提供的路径上没有看到任何文件。我编写csv文件的代码是：DataFrame[id: int, name: string, alignment: string, gender: string, eyecolor: string, race: string, haircolor: string, publisher: string,
浏览 0提问于2019-07-11得票数 2
1回答
我想构建一个包含twitter数据的数据管道，将其存储在HDFS或HBASE中，然后对存储的数据进行某种分析。我还希望使用实时流数据，而不是历史/批处理数据。我的数据流如下所示：这看起来是一个很好的方法来获取我的数据并分析它吗
浏览 2提问于2017-12-01得票数 1
回答已采纳
1回答
我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。
浏览 0提问于2019-10-12得票数 1
3回答
我正在尝试在亚马逊EC2中配置Yarn 2.2.0的whirr。然而，我遇到了一些问题。我已经修改了whirr服务以支持yarn 2.2.0。因此，我能够启动作业并成功地运行它们。然而，我在跟踪工作进展时遇到了n个问题。2014-04-20 21:57:24,544 INFO [main] mapred.ClientServiceDelegate (ClientServiceDelegate.java:getPro
浏览 2提问于2014-04-20得票数 1
我想探索HDFS，以便能够取代昂贵的SAN。你能提供一些关于这方面的信息，或者是关于这方面的好文章吗？
浏览 1提问于2013-06-27得票数 0
user=zeppelin, access=WRITE, inode="/mnt/tmp/temporary-e0cf0f09-a6f4-44d6-9a72-324660085608/metadata":hdfs:190)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728at org.apache.hadoop.hdfs.server.nam
浏览 5提问于2017-05-28得票数 8
2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
浏览 1提问于2014-09-15得票数 0
1回答
我使用Dataproc创建了一个星火库集群，并将Jupyter Notebook附加到其中。然后，我删除了集群，我以为笔记本已经不见了。但是，在创建了另一个集群(连接到同一个Bucket)之后，我可以看到我的旧笔记本。这是否意味着笔记本(或他们的检查点)存储在我的桶里？或者它们存储在哪里，以及如何确保它们被删除？
浏览 4提问于2022-02-09得票数 0
回答已采纳
然而，我在将hdfs加入到这个组合中时遇到了问题。我的MR作业需要hdfs中的文件。如何在MRUnit测试用例中模拟hdfs部分？此文件位于HDFS中。我如何模拟这个文件？
我试着使用mockito，但它不起作用。
浏览 4提问于2015-09-03得票数 0
2回答
我可以使用gcs文件系统作为hbase在google云上的备份存储吗？
我知道有一个google的大表，假设用gcs作为文件系统来建立我们自己的集群将降低成本。同意吗？
浏览 12提问于2022-05-18得票数 0
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。我知道一个解决办法
节点-> hdfs (使用hdfs命令)
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://
浏览 2提问于2016-06-17得票数 0
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
