我可以通过命令行向dataproc提交作业。gcloud dataproc jobs submit pyspark --cluster=my_cluster --region=myregion --py-files file1.py script.py我想将此命令行转换为对rest api https://cloud.google.com/dataproc/docs/guides/submit
浏览 16提问于2020-04-23得票数 3
回答已采纳
我正试图在上运行Spark作业。然而，正如它通常所看到的，星火驱动程序的初始化占用了执行时间的很大一部分。我想知道使用相同的JavaSparkContext实例在Google上运行多个Spark作业的好方法，这样我就不会因为火花驱动程序初始化而失去每个作业的性能。
浏览 2提问于2016-03-01得票数 1
回答已采纳
我需要在Dataproc集群中运行数百个并发作业，每个作业都是非常轻量级的(例如，获取表元数据的Hive查询)，不需要占用太多资源。但是似乎有一些未知的因素限制了最大并发作业数。
浏览 22提问于2021-09-09得票数 0
1回答
目前，我正在使用Dataproc的Java客户端API通过Spring服务触发火花作业。火花工作的基本知识是：
我之所以存储这些数据，是因为当我的火花作业完成并将结果存储在JSON文件中时，我可以从REST服务读取存储的结果但是，Dataproc的Java客户端API只是触发作业，而不是等待作业完成。因此，等待火花
浏览 0提问于2016-02-29得票数 1
回答已采纳
这是对的跟进17/05/16 17:39:02 INFO org.apache.hadoop.yarn.client.RMProxyResourceManager at stream-event-processor-m/10.138.0.3:8032
17/05/16 17:39:03 INFO org.apache.hadoop.yarn.clie
浏览 0提问于2017-05-16得票数 4
回答已采纳
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs&#
浏览 41提问于2020-07-01得票数 0
1回答
gcloud应用程序日志到桶
、、、、
在GCP中有每天运行的Scala应用程序火花作业。我正在尝试设置一个通知，以便在运行时发送。因此，我想这样做的一种方法是从日志和grep中获取特定的完成消息(不确定是否有更好的方法)。但我发现日志只是显示在控制台中，在作业详细信息页面中，而不是保存在文件中。我试着用这个提交一个作业gcloud
浏览 3提问于2022-07-08得票数 2
回答已采纳
我需要使用rest检索dataproc作业输出文本。只能通过云日志记录找到日志。有人能让我知道是否可以通过rest检索作业输出文本吗？如果是，怎么做？
浏览 2提问于2022-09-13得票数 2
我们正在使用GoogleCloudPlatform进行大数据分析。对于处理，我们目前使用的是google cloud dataproc & spark-streaming。我想使用REST API提交一个Spark作业，但是当我使用api-key调用URI时，我得到了以下错误！caller does not have permission",
"status": "PERMISS
浏览 2提问于2016-06-13得票数 0
1回答
在Python语言编写的Airflow operator (DataprocWorkflowTemplateInstantiateInlineOperator)的帮助下，我使用Dataproc工作流模板提交了一个Hive作业。提交作业后，一些名称将被指定为jobId (例如：job0-abc2def65gh12)。 由于我无法获取jobId，所以我尝试将jobId作为参数从REST API传递，但这并不起作用。
浏览 17提问于2019-02-06得票数 2
回答已采纳
我试图使用REST服务来使用Dataproc客户端触发Spark作业。但是，dataproc集群中的每个作业都需要10-15秒来初始化星火驱动程序并提交应用程序。我想知道是否有一种有效的方法来消除gs桶中的JAR文件触发的Spark作业的初始化时间？我正在考虑的一些解决办法是：
启动单个作业，并在单个作业</e
浏览 6提问于2016-03-02得票数 0
回答已采纳
通常情况下，如果我将Scala用于Spark作业，我将编译一个jarfile并使用gcloud dataproc jobs submit spark提交它，但有时对于非常轻量级的作业，我可能在笔记本中使用未编译的Scala代码，或者使用spark-shell REPL，在这里我假设SparkContext已经可用。对于其中的一些轻量级用例，我可以等效地使用PySpark并与gcloud dataproc jobs submit pyspark一起提交，
浏览 2提问于2020-03-08得票数 5
回答已采纳
我使用的一个变体(因为我无法访问一般使用的存储桶)，一切正常工作，但是当我运行一个作业时，当集群启动并运行时，它总是导致一个Task was not acquired错误。我可以通过简单地在每个节点上重新启动dataproc代理来修复这个问题，但是我确实需要这样做才能在集群创建后立即运行作业。relies on undocumented and not officially supported Dataproc Agent
# &qu
浏览 2提问于2018-09-04得票数 0
回答已采纳
我需要触发Spark使用API调用从JSON文件聚合数据。我使用spring引导来创建资源。因此，解决方案的步骤如下：
使用指定的jars、类从REST方法中触发聚合spark作业，参数是json文件链接。我希望使用Dataproc的Java客户机而不是控制台或命令行来触发作业。
浏览 1提问于2016-02-24得票数 5
回答已采纳
我正在尝试将hadoop管道作业添加到GCP中的工作流模板中，但没有给出这样的示例。google的官方文档指定了如何提交hadoop作业，但是没有可用于提交hadoop管道作业的参数。
浏览 15提问于2020-07-22得票数 1
回答已采纳
2回答
我正在尝试从Dataproc集群访问存储在Google存储桶中的数据。然而，到目前为止，即使我声明我的存储桶文件是公开的，我的作业也会退出，并返回一个错误，即该文件不存在。为此，我已经成功地在我的初始化脚本中安装了gcsfuse包，并且当我ssh进入集群时，我能够成功地使用gcsfuse将文件添加到我的根文件夹。但是，当我退出ssh时，我的作业仍然声明本地文件夹不存在。我如何解决这个问题，以便从我的Dataproc集群访问公共存储桶中的文件？
浏览 0提问于2018-05-01得票数 0
过去，我可以通过Yarn杀死命令而不是通过命令(这要慢得多)来杀死在Dataproc上运行的Spark作业。然而，我不再能够这样做--只有GCP UI才能工作。
是什么改变了还是我现在做错了什么？我使用的是Dataproc版本1.2 (这在过去曾经起过作用)。
浏览 2提问于2019-07-10得票数 2
回答已采纳
1回答
我启动一个Dataproc集群并在其上服务Hive。远程从任何机器，我使用Pyhive或PyODBC连接到蜂巢和做事情。这不仅仅是一个查询。它可以是一个有间歇查询的长会话。即使在一个单一的活动查询期间，操作也不会显示为仪表板上的“作业”(我猜是Yarn)。相反，当我通过Pyspark“提交”任务时，它们就会显示为“乔布斯”。除了缺乏任务可见性之外，我还怀疑集群可能无法可靠地检测到Python客户端是否“连接”到它，因此集群的自动删除可能会过早启动。是否有办法“注册”一个作业</e
浏览 5提问于2021-03-13得票数 1
回答已采纳
作业启动。我正在尝试使用以下命令启动脚本 gcloud dataproc jobs submit pyspark --cluster=$CLUSTER_NAME --region=$REGION \
run/上启动这项工作吗？我找到的唯一方法是删除绝对路径，将此更改为script.py from lib import add_two 并将作业启动为 gcloud dataproc jobs submit pyspark
浏览 27提问于2020-04-23得票数 4
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
