腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
GCP | dataproc |如何
创建
持久的
HDFS
卷意味着即使你删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
、
、
、
、
GCP dataproc -当您终止dataproc集群时,
HDFS
会自动删除。如何使其持久化
HDFS
即使您删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
浏览 7
提问于2021-05-12
得票数 2
1
回答
GCP dataproc在哪里存储笔记本实例?
、
、
、
我使用Dataproc
创建
了一个星火库集群,并将Jupyter Notebook附加到其中。然后,我删除了集群,我以为笔记本已经不见了。但是,在
创建
了另一个集群(连接到同一个Bucket)之后,我可以看到我的旧笔记本。这是否意味着笔记本(或他们的检查点)存储在我的桶里?或者它们存储在哪里,以及如何确保它们被删除?
浏览 4
提问于2022-02-09
得票数 0
回答已采纳
3
回答
Aazon EC2纱线的纺纱
、
、
、
我正在尝试在亚马逊EC2中配置Yarn 2.2.0的whirr。然而,我遇到了一些问题。我已经修改了whirr服务以支持yarn 2.2.0。因此,我能够启动作业并成功地运行它们。然而,我在跟踪工作进展时遇到了n个问题。2014-04-20 21:57:24,544 INFO [main] mapred.ClientServiceDelegate (ClientServiceDelegate.java:getPro
浏览 2
提问于2014-04-20
得票数 1
1
回答
Cloudera到HDP solr (版本5.5.2)在solr
云
上恢复后,数据迁移区更新solr索引失败
、
、
、
、
SOLR版本- 5.5.2 sudo -u
hdfs
hadoop dfs -createSnapshot /user/solr/CollectionName/ 3) 在HDP集群上
创建
solr集合:同名、相同数量的碎片和副本4) 使用“di
浏览 0
提问于2018-06-03
得票数 1
1
回答
将文件从Google
云
存储加载到本地Hadoop集群
、
、
我已经通过一些网站(,)总结了使用Hadoop谷歌
云
存储连接器进行这种过程,并需要基础设施级别的配置,这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从
云
存储直接复制到Hadoop。
浏览 0
提问于2018-06-15
得票数 1
1
回答
从
云
源启动Dataproc PySpark作业
、
、
我目前正在使用Airflow中的DataProcPySparkOperator和
云
存储中的脚本启动PySpark project_id=PROJECT_ID, region='europe-west4'有没有办法从
云
源存储库中传递脚本
浏览 6
提问于2020-01-13
得票数 0
1
回答
将文件从Google
云
存储直接下载到
HDFS
和Hive表
、
、
、
我想知道的是如何将它们直接下载到
HDFS
中(我正在‘ssh’进入)?有人做过这个吗?理想情况下,这是第一部分,第二部分是为谷歌
云
存储数据
创建
Hive表,这样我们就可以使用HiveQL和Pig了。
浏览 0
提问于2015-12-11
得票数 2
1
回答
NAS与分布式文件系统
、
、
、
、
什么时候我们应该比
HDFS
这样的分布式文件系统更喜欢用例呢?如何决定使用哪一种或任何其他类似的替代方案?
浏览 3
提问于2015-02-09
得票数 1
2
回答
创建
dataproc集群时DataNodes报告数量不足
、
、
在使用gs://作为默认文件系统
创建
dataproc集群时,我收到“DataNodes reporting的数量不足”错误。下面是我正在使用的dataproc cluster命令。delcure-firebase \我检查并确认我正在使用的存储桶能够在存储桶中
创建
默认文件夹
浏览 16
提问于2018-09-10
得票数 0
3
回答
创建
表/数据库时配置单元抛出权限错误
、
、
我在配置单元中遇到权限错误。hive> create table a(key INT); FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException org.apache.hadoop.security.AccessControlException: Permission denied: user=nehpraka, access=WRITE, inode="warehouse
浏览 1
提问于2014-04-17
得票数 8
回答已采纳
1
回答
摄入Hadoop中的定期REST调用
、
、
我们计划使用REST调用从端点摄取数据,并将数据存储到
HDFS
。其余的电话是以周期性的方式(每天或每小时)完成的。
浏览 0
提问于2017-03-07
得票数 2
3
回答
当底层
HDFS
群集不再存在时,如何从配置单元元存储中删除数据库
、
、
、
我在一个这样的集群上
创建
了一个数据库,并将其位置设置为‘
HDFS
:/ database _name’,如下所示: -e"create database db_name LOCATION '
hdfs
:///db_name'" \然后my-first-ephe
浏览 4
提问于2018-11-03
得票数 2
1
回答
对于clickstraem dynamodb还是
hdfs
,什么更好呢?
、
、
、
、
我们需要考虑哪种选择更好 我们想要在很大的范围内
创建
点击流,场景是:事件-运动-lambda-DB。一切都需要实时或接近实时,
云
是:AWS我们的选项:
HDFS
或Dynamodb
浏览 8
提问于2022-11-24
得票数 -2
2
回答
用Hadoop / HDInsight替换SAN?
、
我想探索
HDFS
,以便能够取代昂贵的SAN。你能提供一些关于这方面的信息,或者是关于这方面的好文章吗?
浏览 1
提问于2013-06-27
得票数 0
2
回答
拒绝权限:在AWS集群中使用user=zeppelin解释器时
、
、
、
、
我已经
创建
了吡咯烷酮结构化流媒体程序,并试图在齐柏林飞艇笔记本上执行: query_window = windowedCounts \user=zeppelin, access=WRITE, inode="/mnt/tmp/temporary-e0cf0f09-a6f4-44d6-9a72-324660085608/metadata":
hdfs
at org.apache.hadoop.
hdfs
.server.namenode.FSNamesyste
浏览 5
提问于2017-05-28
得票数 8
1
回答
在
hdfs
上保存Keras模型
、
、
、
我们公司的
云
服务器只允许我们将文件保存到
hdfs
。是否有方法在
hdfs
上保存Keras模型。我试过model.save,但它不起作用。
浏览 0
提问于2019-10-12
得票数 1
2
回答
openshif
云
计算配置,在
云
上可以完成吗?
、
、
、
有没有可能用RED的‘PaaS在
云
上构建一个大数据应用程序?我正在研究如何在
云
上构建一个使用Hadoop (
HDFS
),Spark,一个Apache Mahout的Scala应用程序,但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西,但不清楚如何在openshift环境中安装它,以及如何在
云
too.Is中添加
HDFS
节点使用OpneShift?
浏览 1
提问于2014-09-15
得票数 0
1
回答
S3上的LZO文件问题
、
、
、
、
我在
HDFS
中有3个LZO压缩文件和它们对应的索引文件。00002.lzo我们将这些文件复制到亚马逊S3,并
创建
了用于分析的配置单元外部表
浏览 3
提问于2015-12-04
得票数 0
2
回答
使用google
云
存储(桶)的hbase
、
、
、
我可以使用gcs文件系统作为hbase在google
云
上的备份存储吗? 我知道有一个google的大表,假设用gcs作为文件系统来建立我们自己的集群将降低成本。同意吗?
浏览 12
提问于2022-05-18
得票数 0
1
回答
将文件从haddop集群(远程windows机器)上传到
hdfs
,就像hue上载一样
、
、
我正试图找到一种解决方案,将文件从本地windows机器或本地linux机器复制到
云
上的
hdfs
。我知道一个解决办法 节点->
hdfs
(使用
hdfs
命令)
hdfs
文件:://<‘本地-主机’>:<‘本地-路径’>
hdfs
://
浏览 2
提问于2016-06-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
hdfs auditlog
云上大数据存储:探究 JuiceFS 与 HDFS 的异同
HDFS体系架构
Hadoop HDFS操作
HDFS概念笔记
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券