我是Google API的新手，我正在尝试将我的网站连接到运行在Django上的另一台谷歌云服务器上的谷歌DataProc集群。到目前为止，除了错误之外的所有错误。下面是我的代码： <script>
浏览 5提问于2017-07-14得票数 0
2回答
我试图在google dataproc集群上运行星星之火作业，如--jarhadoop-mapreduce-examples.jar \--arg1 \但是“工作”抛出错误
(gcloud.dataproc.jobs.submit.spark如何添加运行作业的auth作
浏览 6提问于2017-04-12得票数 9
回答已采纳
我在gcp中设置了一个composer环境，它正在运行一个DAG，如下所示 with DAG('sample-dataproc-dag', bash_command="ls -la")
submit_pyspark.set_upstream(simple_bash) 这是我的dataprocjob.pyprojct.dataset.txn_w
浏览 37提问于2020-09-24得票数 2
我们正在GKE上运行一个名为Airflow ()的开源产品。在这个吊舱中运行的进程需要与GCP的Dataproc服务进行交互，以便创建Dataproc集群。我们使用运行我们的GKE应用程序。iam.workloadIdentityUser serviceAccount:mygcpproject.svc.id.goog[static11-dsp-dp-airflow/dp-airflow]
并且GSA已经被授予了一个
浏览 3提问于2020-09-17得票数 1
回答已采纳
我想在使用一个简单的shell脚本创建一个dataproc集群后，将jars添加到该集群的特定位置。一旦创建了dataproc集群，下一步就是执行bash脚本，该脚本将把jar添加到data proc集群中。 您能建议使用哪个airflow操作符在dataproc集群上执行bash脚本吗？
浏览 21提问于2019-05-08得票数 2
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc&#x
浏览 41提问于2020-07-01得票数 0
在创建集群之后，我尝试检索其他组件的URL地址(不使用GCP仪表板)。我使用的是de Dataproc python API，更具体地说是get_cluster()函数。from google.cloud import dataproc_v1
region = 'europe-west4'
client= data
浏览 16提问于2020-01-06得票数 3
回答已采纳
我是Google云和评估Dataproc集群的新手，其核心需求之一是动态创建集群并处理作业。对于各种文档读取和，我尝试创建一个服务帐户并添加以"Dataproc“开头的角色。gcloud auth activate-service-account --key-file=<Key File>
我想我在最初的
浏览 4提问于2020-05-07得票数 2
回答已采纳
2回答
我目前有一个PySpark作业，部署在DataProc集群上(一个主节点&4个具有足够核心和内存的工作节点)。这项工作在数百万条记录上运行，并执行昂贵的计算(多边形中的Point)。然而，我想把这个工作安排在每个月的第七天。
我正在寻找的是在DataProc集群上设置cron作业的最有效方法。我试着阅读cluster，但它并没有确切地解释如何将它与DataProc集群结合使用</em
浏览 1提问于2019-11-18得票数 6
我是Python和Airflow的新手，我已经使用pythonoperator在Python脚本中创建了4个任务。第一个和第二个任务从GCP Bucket检索压缩文件，然后读取数据，另一个任务合并这两个文件数据。现在我需要再创建一个任务，这个任务可以用Dataproc Cluster来创建。我看过Airflow API，但我没有得到足够的信息和线索。有没有什么对你有帮助的例子？
提
浏览 28提问于2019-08-05得票数 2
我们正在使用GoogleCloudPlatform进行大数据分析。对于处理，我们目前使用的是google cloud dataproc & spark-streaming。我想使用REST API提交一个Spark作业，但是当我使用api-key调用URI时，我得到了以下错误！caller does not have permission",
"status": "PERMISS
浏览 2提问于2016-06-13得票数 0
3回答
对于已经创建的(Yarn/Hadoop)集群，是否可以禁用其中所有服务器的日志记录？
我找不到类似的东西。Dataproc或Compute Engine中有什么可以帮助我禁用日志的吗？
浏览 25提问于2019-11-18得票数 1
回答已采纳
我正在尝试使用库在Dataproc中创建一个集群，然而，当设置region = 'us-central1'时，我得到以下异常：for additional informa
浏览 9提问于2018-11-21得票数 2
我需要触发Spark使用API调用从JSON文件聚合数据。我使用spring引导来创建资源。因此，解决方案的步骤如下：
使用指定的jars、类从REST方法中触发聚合spark作业，参数是json文件链接。我希望使用Dataproc的Java客
浏览 1提问于2016-02-24得票数 5
回答已采纳
我正在使用Terraform模板来配置Google Cloud Dataproc集群。在此之后，我将创建防火墙规则，以限制进入这些计算引擎实例的流量。我正在寻找一种自动创建防火墙规则和dataproc集群的方法。似乎没有一种简单的方法，因为我必须在防火墙规则中提到I，这只能通过查看创建的集群来获得。我想的另一种方式是创建一个具有安全性的<
浏览 18提问于2021-02-24得票数 2
在Google Cloud命令行CLI运行的情况下，您可以使用--jars标志指定本地jar。但是，我想使用Python API提交一个作业。我让它正常工作，但是当我指定jar时，如果我使用file:前缀，它将在Dataproc主集群上查看，而不是在我的本地工作站上。有一个简单的变通方法，那就是先使用GCS库上传jar，但是我想检查一下Dataproc客户端库是否
浏览 10提问于2021-02-26得票数 2
回答已采纳
我是python的新手，这里我想使用http请求创建dataproc集群。我遵循下面的dataproc文档，它们在REST API部分中提到。请参阅下面的Endpoint_URL = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1requests.
浏览 20提问于2019-08-09得票数 2
1回答
我想把我的火车模型安排在dataproc上，我需要：我想为这个创造一个cron，我怎么能做这个
浏览 0提问于2016-10-30得票数 2
我需要运行一个同时安装了Dataproc和cluster连接器的BigQuery集群。我使用的一个变体(因为我无法访问一般使用的存储桶)，一切正常工作，但是当我运行一个作业时，当集群启动并运行时，它总是导致一个Task was not acquired错误。我可以通过简单地在每个节点上重新启动dataproc代理来修复这个问题，但是我确实需要这样做才能在集群创建后
浏览 2提问于2018-09-04得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
