首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何使用Java API在Google Dataproc Cluster上设置可选属性?

在Google Dataproc Cluster上使用Java API设置可选属性可以通过以下步骤实现:

  1. 导入必要的Java类和库:
代码语言:txt
复制
import com.google.api.services.dataproc.DataprocScopes;
import com.google.api.services.dataproc.model.Cluster;
import com.google.api.services.dataproc.model.SoftwareConfig;
import com.google.api.services.dataproc.model.ClusterConfig;
import com.google.api.services.dataproc.model.NodeInitializationAction;
import com.google.auth.oauth2.GoogleCredentials;
import com.google.auth.oauth2.ServiceAccountCredentials;
import com.google.cloud.dataproc.v1.*;
import com.google.protobuf.Empty;

import java.io.IOException;
import java.util.Arrays;
  1. 创建谷歌凭证对象:
代码语言:txt
复制
GoogleCredentials credentials = ServiceAccountCredentials.fromStream(credentialsStream)
        .createScoped(Arrays.asList(DataprocScopes.CLOUD_PLATFORM));

注意:credentialsStream是你的凭证文件流。

  1. 创建一个Dataproc集群管理器客户端:
代码语言:txt
复制
DataprocClusterManagerSettings settings =
        DataprocClusterManagerSettings.newBuilder()
                .setEndpoint(endpoint)
                .setCredentialsProvider(FixedCredentialsProvider.create(credentials))
                .build();
DataprocClusterManagerClient client = DataprocClusterManagerClient.create(settings);

注意:endpoint是Dataproc集群的端点。

  1. 创建一个可选属性Map并设置属性值:
代码语言:txt
复制
Map<String, String> optionalClusterProperties = new HashMap<>();
optionalClusterProperties.put("property_name1", "property_value1");
optionalClusterProperties.put("property_name2", "property_value2");
// 添加其他可选属性
  1. 创建ClusterConfig对象并将可选属性设置为其属性之一:
代码语言:txt
复制
ClusterConfig clusterConfig = ClusterConfig.newBuilder()
        .setGceClusterConfig(gceClusterConfig)
        .setMasterConfig(instanceGroupConfig)
        .setWorkerConfig(instanceGroupConfig)
        .setSecondaryWorkerConfig(instanceGroupConfig)
        .setSoftwareConfig(softwareConfig)
        .putAllConfig(optionalClusterProperties)
        .build();

注意:这里的gceClusterConfiginstanceGroupConfigsoftwareConfig是你自己的配置。

  1. 创建Cluster对象并将ClusterConfig设置为其属性之一:
代码语言:txt
复制
Cluster cluster = Cluster.newBuilder()
        .setClusterName(clusterName)
        .setConfig(clusterConfig)
        .build();

注意:clusterName是你的集群名称。

  1. 调用Dataproc API创建集群并等待集群创建完成:
代码语言:txt
复制
CreateClusterRequest request = CreateClusterRequest.newBuilder()
        .setProjectId(projectId)
        .setRegion(region)
        .setCluster(cluster)
        .build();
OperationFuture<Cluster, ClusterOperationMetadata> createClusterAsyncRequest =
        client.createClusterAsync(request);
createClusterAsyncRequest.get();

注意:projectId是你的项目ID,region是你要创建集群的地区。

这样,你就可以使用Java API在Google Dataproc Cluster上设置可选属性了。根据你的需求,可以添加更多的可选属性,并通过putAllConfig方法将其添加到ClusterConfig对象中。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

GCP 的人工智能实用指南:第一、二部分

这使得群集的使用非常容易且安全。 Dataproc 集群下,Google 实际运行计算实例。...请在使用 Spark 的 Dataproc 集群尝试相同的示例。 总结 本章中,我们学习了 GCP 构建 AI 应用时对我们有帮助的所有组件。...profanityFilter boolean 这是一个可选属性,如果设置为True,则会过滤出亵渎或淫秽的语言表达式。...Keras 的高级 API 处理我们如何创建模型,定义级别或设置各种输入输出模型。 它允许相同的代码 CPU 或 GPU 无缝运行。 Keras 具有一些主要的重要特征。...使用 Google AI 平台训练模型 在上一节中,您学习了如何使用 Keras 框架训练模型。 本节中,我们将在 Google Cloud AI Platform 训练相同的模型。

17.2K10
  • 没有三年实战经验,我是如何在谷歌云专业数据工程师认证中通关的

    而且,我们需要知道如何构建能够处理和利用数据的系统。Google Cloud提供了构建这些系统的基础架构。 你可能已经掌握了使用Google Cloud的技能,但如何向未来的雇主或客户证明这一点呢?...如果你还不具备这些技能,那么通过认证的学习材料,你将学习如何Google Cloud构建世界一流的数据处理系统。 谁需要获得Google Cloud专业数据工程师认证? 你已经看到这些数字了。...如果你不熟悉Google Cloud的数据处理,那这门课算是领你入门。你将使用名为QwikLabs的迭代平台进行一系列实践练习。...在此之前,将由Google Cloud从业者讲授如何使用Google BigQuery、Cloud Dataproc、Dataflow和Bigtable等不同的项目。...Google机器学习(ML)API Google Cloud 机器学习引擎 Google Cloud TPU(Google专为ML培训而构建的自定义硬件) Google ML术语表 最新的考试更新主要集中

    4K50

    2019年,Hadoop到底是怎么了?

    目前云驱动数据处理和分析呈上升趋势,我们本文中来分析下,Apache Hadoop 2019 年是否还是一个可选方案。...本文中,我们来分析下从那之后发生了什么,以及它在 2019 年与高效的托管云服务相比又如何。...大概 2014/2015 年,Hadoop 有很多其他平台所不具备的优势—开源,突破了基于 Java 的 Map/Reduce 程序的限制,支持 Batch 和 Real-time 应用程序,能运行在所有能找到的旧硬件...Java、Scala、Python 和 R 中可以使用 Spark,从而为有 SME 的组织提供多种流行语言的支持。...而且,Spark 框架从 Hadoop 剥离后,可以用在AWS EMR、Google Cloud Dataproc和 Azure HDInsights,开发者可以直接把现有的 Spark 应用程序直接迁移到完全托管服务的云

    1.9K10

    Linode Cloud中的大数据:使用Apache Storm进行流数据处理

    创建Storm集群,这些脚本使用Linode的应用程序编程接口(API)以编程方式创建和配置大型集群。...文本编辑器中打开新创建的文件并设置LINODE_KEY为API密钥。.../storm-cluster-linode.sh destroy storm-cluster1 api_env_linode.conf Storm Cluster 所有节点运行命令 您可以Storm...请注意,使用此方法时,命令将root每个节点执行。 要在所有节点执行命令,请使用该run命令,指定群集名称和要运行的命令。...更新和升级软件,下载资源或更改新文件的权限时,这非常有用。请注意,使用此方法时,命令将root每个节点执行。 要在所有节点执行命令,请使用该run命令,指定群集名称和要运行的命令。

    1.4K20

    「首席看容器云架构」设置高可用性Kubernetes Master

    您可以使用kube-up或kube-down脚本为Google Compute Engine复制Kubernetes masters 。...本文档介绍了如何使用kube-up / down脚本来管理高可用性(HA) masters,以及如何实现HA masters以与GCE一起使用。...将此值设置为true是可选的:读取将更可靠,但也将更慢。 (可选)您可以指定要在其中创建第一个主副本的GCE区域。...为了使区域失效,还要将节点放置多个区域中(有关详细信息,请参阅多个区域)。 不要将群集与两个主副本一起使用。更改永久状态时,两副本群集的共识要求两个副本同时运行。...总览 每个主副本将在以下模式下运行以下组件: etcd实例:将使用共识将所有实例聚在一起; API服务器:每个服务器都将与本地etcd通信-群集中的所有API服务器将可用; 控制器,调度程序和集群自动缩放器

    80210

    对比Hadoop和 Spark,看大数据框架进化之路

    Google 发出三大论文后,Yahoo用相同的框架开发出JAVA语言的project,这就是Hadoop。...Spark比Hadoop使用更简单; Spark对数据科学家更友好(Interactive shell); Spark有更多的API/language支持(Java, python, scala)。...RDD拥有五个主要属性: 分区列表 计算每个分片的函数 依赖其他RDD的项目列表 面向键值RDD的分区程序(比如说RDD是散列分区),这是可选属性 计算每个分片的首选位置的列表(比如HDFS文件的数据块位置...),这是可选属性 RDD可能具有持久性,以便将数据集缓存在内存中。...Spark安全方面带来的好处是,如果你HDFS运行Spark,它可以使用HDFS ACL和文件级权限。此外,Spark可以YARN运行,因而能够使用Kerberos身份验证。

    66420

    Cluster API简介

    它在核心Kubernetes之上,提供可选的附加功能来管理Kubernetes集群的生命周期。 目标 使用声明式API管理Kubernetes一致性的的集群的生命周期(创建、扩展、升级、销毁)。...可以不同的环境中工作,包括本地环境和云环境。 定义共同的操作,提供默认实现,并提供将实现替换为其它可选实现的能力。...强制所有Kubernetes生命周期产品(kops、kubespray、GKE、AKS、EKS、IKS等)支持或使用这些API。...管理不是通过Cluster API配置的Kubernetes一致性集群。 管理跨多个基础设施提供者的单个集群。 创建或升级之外的任何时间配置计算机。...社区、讨论、贡献和支持 与我们Slack聊天,#cluster-api频道 http://slack.k8s.io/ 加入SIG Cluster Lifecycle谷歌组来访问文档和日历 https

    3.9K10

    面经:Storm实时计算框架原理与应用场景

    如何理解Tuple、Ack机制、可靠性保证?Storm编程模型与API:能否熟练使用Storm的Java/Scala API编写Spout、Bolt?...如何设置Topology的并行度、消息分发策略、故障恢复策略?Storm部署与运维:如何在本地、集群环境中部署、启动Storm Topology?...如何利用Nimbus、Supervisor、UI进行监控、管理与故障排查?应用场景与最佳实践:能否列举并解释Storm日志处理、实时推荐、金融风控等领域的应用?...通过TopologyBuilder创建Topology,设置Spout、Bolt的并行度、分组策略(如shuffleGrouping、fieldsGrouping)等属性。...使用高效的序列化方式:如Protocol Buffers、Avro替代Java默认序列化,降低网络传输与存储成本。

    27010

    (十)Dubbo性能调优参数

    建议多在provider端配置属性,原因如下: 作为服务的提供方,比服务消费方更清楚服务的性能参数,如调用的超时时间、合理的重试次数等 Provider 端配置后,Consumer 端不配置则会使用...否则,Consumer 会使用 Consumer 端的全局设置,这对于 Provider 是不可控的,并且往往是不合理的。...方法配置 dubbo:method 则针对该方法进行并发限制,接口上配置 dubbo:service,则针对该服务进行并发限制 1.2、dubbo:protocol dubbo协议缺省端口为20880...Dubbo 2.4.0+,分配的端口协议缺省端口的基础增长,确保端口段可控。 建议使用固定端口暴露服务,而不要使用随机端口。...每服务消费者最大并发调用限制 2.0.5以上版本 executes .executes int 可选 0 性能调优 每服务每方法最大使用线程数限制,此属性dubbo:method作为dubbo:service

    87720

    如何在Ubuntu 14.04设置生产Elasticsearch集群

    如果您更喜欢使用CentOS,请查看本教程:如何在CentOS 7设置生产Elasticsearch集群 假设 本教程假设您的服务器正在使用V**网络,无论您的服务器使用何种物理网络,这都将提供专用网络功能...这将允许您通过从每个服务器向localhost发送请求,以本地使用Elasticsearch HTTP API 。如果您不包含此项,Elasticsearch将仅响应对V** IP地址的请求。...本教程中,我们将命名我们的集群“production”: cluster.name: production 设置节点名称 接下来,我们将设置每个节点的名称。...请务必需要更高文件描述符限制的任何Elasticsearch服务器重复此步骤。 配置专用主节点和数据节点(可选) Elasticsearch节点有两种常见类型:master和data。...注意:确保仲裁计算中包括所有符合条件的节点,包括符合主条件的任何数据节点(默认设置)。 可以通过Elasticsearch HTTP API动态设置最小主节点设置

    1K11

    谷歌发布 Hive-BigQuery 开源连接器,加强跨平台数据集成能力

    这个新增选项支持 Hive 中使用类 SQI 查询语言 HiveQL 对 BigQuery 进行读写。...Apache Hive 是一个构建在 Hadoop 之上的流行的分布式数据仓库选项,它允许用户大型数据集执行查询。...它还支持使用 Storage Read API 流和 Apache Arrow 格式从 BigQuery 表中快速读取数据。...Phalip 解释说: 这个新的 Hive-BigQuery 连接器提供了一个额外的选项:你可以保留原来的 HiveQL 方言的查询,并继续集群使用 Hive 执行引擎运行这些查询,但让它们访问已迁移到...但是,开发人员仍然可以使用 BigQuery 支持的时间单位列分区选项和摄入时间分区选项。 感兴趣的读者,可以从 GitHub 获取该连接器。

    32020

    Nacos 系统参数介绍

    Nacos Server 对于Server端来说,一般是设置{nacos.home}/conf/application.properties里,如果参数名后标注了(-D)的,则表示是 JVM 的参数,...例如像设置 nacos.home 的值,可以{nacos.home}/bin/startup.sh进行如下设置JAVA_OPT="${JAVA_OPT} -Dnacos.home=${BASE_DIR...本机IP,该参数设置后,将会使用这个IP去cluster.conf里进行匹配,请确保这个IP的值cluster.conf里是存在的 本机IP null >= 0.3.0 Naming模块 参数名...里配置的属性,还有一些可以在运行时调用接口来进行调节,这些参数都在Open API里的查看系统当前数据指标这个API里有声明。...Nacos从1.3版本开始使用HikariCP连接池,但在1.4.1版本前,连接池配置由系统默认值定义,无法自定义配置。1.4.1后,提供了一个方法能够配置HikariCP连接池。

    1.1K30

    ElasticSearch介绍

    如果使用数据库做搜索会怎样? 什么是全文检索和Lucene 什么是ElasticSearch1. 什么是搜索? 百度、google查询任何需要的内容信息。这种是通用的搜索。...es的核心概念 vs 数据库核心概念 1. lucene和ES的前世今生 lucene,最先进、功能最强大,基于lucene开发非常复杂,api复杂(实现一些简单的功能,写大量的java代码),需要深入理解原理...(各种索引结构) ES,基于lucene,隐藏了复杂性,提供了简单易用的restful api接口、java api接口(还有其他语言的api接口) 分布式的文档存储引擎 分布式的搜索引擎和分析引擎 分布式...、支持PB级数据 开箱即用,优秀的默认参数,不需要任何额外设置,完全开源。...优点: 横向扩展,比如说数据增加,可以重新建立多shard的索引 数据分布多个shard,多台服务器,所有的操作,就会在多台服务器并行分布式执行,提升吞吐量和性能。

    74750

    Android 系统架构及HAL层概述

    .aidl文件中指定的接口为例,各种构建系统都会使用aidl二进制文件构造C++或Java绑定,以便跨进程使用该接口(无论其运行时环境或位数如何) AIDL可以Android中的任何进程之间使用...系统属性API 系统属性系统范围内共享信息(通常是配置)的一种便捷方式。...每个分区都可以在内部使用自己的系统属性 从Android 10版本开始,跨分区访问的系统属性已架构化为Sysprop说明文件,并且用于访问属性API会生成为C++具体函数和Java类 2.2.1....定义系统属性库 可以使用Sysprop说明文件定义sysprop_library模块。 sysprop_library用作C++和JavaAPI。...示例 下面的示例显示的是 Pixel 提前装载 /vendor。

    10.6K75

    1-Kubernetes入门体系架构学习

    此类组件可以 Kubernetes 运行,或者可以被运行在 Kubernetes 的应用程序访问; 4.不限定日志、监控、报警的解决方案: k8s提供一些样例展示如何与日志、监控、报警等组件集成,...译者注:在这个级别上,可选的组件有 puppet、ansible、open stack 等 7.实际 Kubernetes 不是一个纯粹意义的容器编排系统, 因为它消除了容器编排的需求。...(或者说绑定相应的资源);该方法类似于SQL对象查询机制; 那如何使用标签以及选择器?...为nginx的标签 enviroment: test spec: #这是关于该Deployment的描述,可以理解为你期待该Deploymentk8s中如何使用...,可以理解为你期待该Deploymentk8s中如何使用 replicas: 2 #使用该Deployment创建一个应用程序实例(动态扩容) selector: #标签选择器,与上面的标签共同作用

    83931
    领券