我已经通过一些网站(，)总结了使用Hadoop谷歌云存储连接器进行这种过程，并需要基础设施级别的配置，这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从云存储直接复制到Hadoop。
浏览 0提问于2018-06-15得票数 1
GCP dataproc -当您终止dataproc集群时，HDFS会自动删除。如何使其持久化HDFS即使您删除了dataproc集群，它也不应该删除HDFS？有可能吗？
浏览 7提问于2021-05-12得票数 2
我可以读取我的Google Cloud Storage文件并将它们复制到其他存储桶中(我不需要这样做)。我想知道的是如何将它们直接下载到HDFS中(我正在‘ssh’进入)？有人做过这个吗?理想情况下，这是第一部分，第二部分是为谷歌云存储数据创建Hive表，这样我们就可以使用HiveQL和Pig了。
浏览 0提问于2015-12-11得票数 2
1回答
我们计划使用REST调用从端点摄取数据，并将数据存储到HDFS。其余的电话是以周期性的方式(每天或每小时)完成的。
浏览 0提问于2017-03-07得票数 2
1回答
这是否意味着笔记本(或他们的检查点)存储在我的桶里？或者它们存储在哪里，以及如何确保它们被删除？
浏览 4提问于2022-02-09得票数 0
回答已采纳
我目前正在使用Airflow中的DataProcPySparkOperator和云存储中的脚本启动PySpark project_id=PROJECT_ID, region='europe-west4'有没有办法从云源存储库中传递脚本对于给定的存储
浏览 6提问于2020-01-13得票数 0
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我担心它会在公共网络上传播。安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
1回答
()hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
2回答
根据谷歌云文档，
云存储可能会增加I/O变化。在许多情况下，云存储比HDFS具有更大的I/O差异。如果您有一致的I/O需求，例如由HBase或另一个NoSQL数据库支持的应用程序，这可能会有问题。
浏览 0提问于2021-01-29得票数 0
回答已采纳
3回答
我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。
浏览 20提问于2017-06-28得票数 0
回答已采纳
1回答
我在谷歌云网站上读了几篇文章，但没有得到一个清晰的答案来存储文件。
我可以手动地将外部模块复制到我的每个工作节点，但是当我要处理至少100个节点时，无法在生产中做到这一点。
浏览 1提问于2019-06-04得票数 1
回答已采纳
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。然而，我意识到，当目标是云时，基于快照差异的复制不能工作。-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。命令
hadoop distcp --conf hdfs.conf -update -delete hdfs</
浏览 16提问于2022-07-29得票数 0
不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在Hadoop中使用这些数据，但很快就会使用这些数据。
我正在寻找建议，以决定根据某人的经验选择哪个云商店。提前谢谢。
浏览 0提问于2012-05-08得票数 2
回答已采纳
2回答
我可以使用gcs文件系统作为hbase在google云上的备份存储吗？
我知道有一个google的大表，假设用gcs作为文件系统来建立我们自己的集群将降低成本。同意吗？
浏览 12提问于2022-05-18得票数 0
project delcure-firebase \我检查并确认我正在使用的存储桶能够在存储桶中创建默认文件夹
浏览 16提问于2018-09-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
