我使用Google Dataproc和一个Java应用程序来管理集群的供应和作业的提交。 最近我注意到了一个有趣的测试版功能“预定删除”。我现在正在研究如何利用它。我使用的是1.25.0 Java API，并不奇怪它没有为这些beta特性定义getters/setters/object。所以我想我可以使用GenericJson上的set(字段，值)来解决这个问题。 但是..。发现似乎没有方法将<e
浏览 19提问于2019-02-22得票数 1
回答已采纳
我正在尝试使用terraform资源google_dataproc_cluster在GCP中创建数据proc集群。我想在此同时创建组件网关。在查看这些文档后，已经说明了如何使用下面的代码片段进行创建： endpoint_config {
enable_http_port_access = "true"想要理解，在调用Terraform文档中给出的文件时是否存在问题，我是否可以<
浏览 11提问于2022-07-25得票数 2
回答已采纳
在创建集群之后，我尝试检索其他组件的URL地址(不使用GCP仪表板)。我使用的是de Dataproc python API，更具体地说是get_cluster()函数。from google.cloud import dataproc_v1
region = 'europe-west4'
client= dataproc
浏览 16提问于2020-01-06得票数 3
回答已采纳
在数据处理程序()中启动作业时，我正在尝试设置驱动程序日志级别。启动是使用dataproc SDK通过Java程序完成的。LoggingConfig();
com.google.api.services.dataproc.model.SparkJob
浏览 0提问于2018-05-24得票数 0
我正在尝试使用Python mrjob库在Google Cloud Dataproc上运行Hadoop Map Reduce字数计算示例。", line 376, in cluster_clientTypeErrorGoogle Cloud上启用了API，并为服务帐户设置了所有必需的角色。<e
浏览 36提问于2020-11-01得票数 2
1回答
无法导入气流供应商软件包
、、、
编辑:当我按照答案中的建议将python版本升级到3.6+时，上面的问题就解决了。但现在，面临一个新的价值错误问题。导入DataprocInstantiateWorkflowTemplateOperator后，我将使用airflow.providers.google.cloud.operators.dataproc。/cloud/operators/dataproc.py", line 36, in <module>
from googl
浏览 4提问于2020-08-12得票数 5
回答已采纳
我尝试使用python 创建一个Dataproc集群，该集群的生存期为1天。为此，Dataproc的v1beta2引入了，它是ClusterConfig对象的子对象。我在传递给create_cluster方法的JSON文件中使用了这个对象。要设置特定的TTL，我使用字段auto_delete_ttl，该字段的值应为86,400秒(一天)。:预期的google.protobuf.Duration获得str
from
浏览 4提问于2020-02-11得票数 4
回答已采纳
我遵循这个，通过Dataproc将作业提交给现有的Dataproc集群。: 'com.google.api.gax.core.GoogleCredentialsProvider$Builder com.google.api.gax.core.GoogleCredentialsProvider$Builder.setUseJwtAccessWithScope(boolean)'] with root cause
java.lang.NoSuchMeth
浏览 27提问于2022-01-09得票数 3
回答已采纳
我编写yaml是为了从YAML文件实例化一个DataProc集群。我想在集群中添加lzo压缩，这样我就可以覆盖文件中的属性。diskConfig: machineTypeUri: n1-standard-4当我尝试使用以下命令运行此文件时gcloud dataproc workflow-templates instantiate-from-file --file ${FILE_NAM
浏览 14提问于2019-10-23得票数 1
回答已采纳
我想为我正在运行的所有dataproc集群创建一个空闲或正常运行时间度量，从我在堆栈驱动程序中看到的情况来看，我无法这样做。我的场景是，我对每天运行的dataproc作业进行了计时，在完成作业后，我删除了集群。如果有空闲的dataproc集群在一个小时内什么都不做，或者一个dataproc集群的正常运行时间超过24小时(甚至20小时)，我想通过电子邮件创建一个警报。
谢谢。
浏览 0提问于2018-05-23得票数 1
回答已采纳
我正在为一个类项目编写一些代码，该类项目将作业发送到GCP中的dataproc集群。我最近遇到了一个奇怪的错误，我很难把头绕在上面。at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java:160)
at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java</e
浏览 14提问于2021-11-27得票数 3
回答已采纳
.
* You need to create a service account before creating the Cloud Dataproc cluster that will be associated这是否意味着我不能创建一个服务帐户，该帐户具有创建dataproc集群的角色？目前，我只能通过自己的帐户“gcloud auth登录”创建dataproc集群，但我希望通过安装程序从jenkins创建dataproc集群。
浏览 0提问于2018-09-18得票数 0
回答已采纳
在Google Cloud命令行CLI运行的情况下，您可以使用--jars标志指定本地jar。但是，我想使用Python API提交一个作业。我让它正常工作，但是当我指定jar时，如果我使用file:前缀，它将在Dataproc主集群上查看，而不是在我的本地工作站上。有一个简单的变通方法，那就是先使用GCS库上传jar，但是我想检查一下Dataproc客户端库是否已经支持这个方便的特性。
浏览 10提问于2021-02-26得票数 2
回答已采纳
最初我在那里放了一个字符串，现在我给了它它想要的对象：ERROR - Parameter to MergeFrom() must be instance of same class: expected google.cloud.dataproc.v1beta2我正在尝试使用airflow.provide
浏览 4提问于2021-07-06得票数 1
回答已采纳
2回答
错误：(gcloud.beta.dataproc.clusters.create) INVALID_ARGUMENT：“DISKS_TOTAL_GB”配额不足。要求3000.0，可用2048.0。我正在使用GCP免费层。我正在尝试遵循Google codelab - 的步骤。gcloud beta dataproc clusters create ${CLUSTER_NAME} \
-
浏览 0提问于2019-08-13得票数 4
回答已采纳
我正在尝试使用YAML文件中提到的配置创建dataproc集群(使用import)： 我已经成功使用的命令： $ gcloud beta dataproc clusters import $CLUSTER_NAMEavailable optional components的一部分 $ gcloud beta dataproc clusters import $CLUSTER_NAME --optional-components=HBASE --regi
浏览 6提问于2020-10-17得票数 2
回答已采纳
1回答
尝试将google-cloud-dataproc-serveless与spark.jars.repositories选项结合使用spark.jars.packages='com.spark.mypackage:my-module-jar',spark.dataproc.driverEnv.j
浏览 9提问于2022-03-09得票数 3
回答已采纳
我正在尝试使用最新版本的youtube API (V3)，但由于某些原因，在调用列表函数(针对不同的实体)时，我得到了强制转换异常代码：-beta.jar:1.11.0-beta]
at com.google.api.client.json.JsonParser.parse(JsonParser.java:352) ~[google-http-cli
浏览 2提问于2012-10-12得票数 1
回答已采纳
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback我还尝试了安装包python3 -m pip install google-cloud-dataproc。--
cachetools
浏览 21提问于2020-09-11得票数 1
GceClusterConfig对象具有属性，但是没有关于如何通过指定标志的明确文档。有什么办法可以通过那个地方吗？
浏览 3提问于2017-05-19得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号