我有一个具有2个工作节点(n1s2)的Dataproc集群。有一个外部服务器，它在一小时内提交大约360个spark任务(每次提交之间有几分钟的间隔)。第一个作业成功完成，但随后的作业被卡住，根本不能继续。 每个作业处理一些时间序列数字并写入Cassandra。当集群完全空闲时，通常需要3-6分钟。
浏览 11提问于2020-11-04得票数 2
回答已采纳
我需要在Dataproc集群中运行数百个并发作业，每个作业都是非常轻量级的(例如，获取表元数据的Hive查询)，不需要占用太多资源。但是似乎有一些未知的因素限制了最大并发作业数。如果我想增加最大并发限制，该怎么做？
浏览 22提问于2021-09-09得票数 0
在GCP中，我们希望在一个data[proc集群]上以集群模式运行一个spark作业。目前，我们使用以下命令：-
gcloud dataproc jobs submit spark --cluster xxxx-xxxx-dataproc-cluster01 --region us-west2:spark.submit.deployMode=cluster --properties=spark.dr
浏览 14提问于2020-03-16得票数 2
1回答
是否可以使用VertexAI自定义容器模型构建来训练spark/pyspark ML库模型？我在vertex ai文档中找不到任何关于spark模型训练的参考。对于分布式处理模型构建，可用的选项只有PyTorch或TensorFlow。
浏览 30提问于2021-09-03得票数 0
我在Google dataproc集群版本1.4和spark版本2.4.5中运行spark作业，它从GS存储桶中读取路径中具有正则表达式的文件，并获取以下错误。)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasourc
浏览 219提问于2020-08-07得票数 1
我试图提交一个火花作业使用'gcloud数据提交作业提交火花‘，我已经设置为纱线的spark.master。当作业在dataproc集群上执行时，是否可以使用我在gcloud中通过身份验证的google用户或在命令中设置代理用户来运行它？示例命令：- --
浏览 0提问于2019-10-14得票数 1
通常情况下，如果我将Scala用于Spark作业，我将编译一个jarfile并使用gcloud dataproc jobs submit spark提交它，但有时对于非常轻量级的作业，我可能在笔记本中使用未编译的Scala代码，或者使用spark-shell REPL，在这里我假设SparkContext已经可用。对于其中的一些轻量级用例，我可以等效地使用PySpark并与gcloud dataproc jobs s
浏览 2提问于2020-03-08得票数 5
回答已采纳
1回答
我有一个在执行期间输出一些日志的DataProc作业。我可以在作业输出中看到这些日志。我的集群是根据创建的，参数如下：dataproc:dataproc.logging.stackdriver.enable=true
我可以在日志中看到所有系统日志，但看不到我工作的输出。我
浏览 1提问于2021-03-15得票数 1
详细说明：
SparkSession.builder .appName(SPARK_APP_NAME) .config("spark.executor.memory"，"1G")
我想知道的是:在使用时，
浏览 1提问于2019-02-12得票数 1
1回答
由于我将在Google平台上为 analysis执行火花工作，所以我决定使用Dataproc。是否值得使用Dataproc或有任何建议。我需要对来自twitter的庞大数据集进行情感分析。也就是说，我决定使用Google云平台作为我的大数据和分布式环境。
浏览 3提问于2020-08-27得票数 1
1回答
目前，我们要求通过气流在Dataproc上运行火花作业。
我们能够通过气流在Dataproc上运行Spark，并能够在GCP控制台上检查日志。但是想知道是否有一种方法可以从气流中获取Dataproc作业id并将Dataproc作业日志下载到GCS桶中？
浏览 5提问于2022-03-09得票数 2
我正在尝试最大限度地减少代码更改，所以我想知道是否有一种方法可以从我的个人PC/VM提交spark-streaming作业，如下所示：谢谢
浏览 1提问于2019-01-22得票数 2
我希望在我的dataproc集群的每个节点上设置一个环境变量，以便它可以用于将运行在该集群上的pyspark作业。做这件事最好的方法是什么？我想知道是否有一种使用Compute Engine元数据的方法(虽然到目前为止我的研究表明Compute Engine元数据可以通过Compute Engine实例上的元数据服务器获得，而不是通过环境变量除此之外，除了在dataproc
浏览 1提问于2020-04-14得票数 4
回答已采纳
当我试图向google dataproc集群提交火花流作业时，我得到了以下例外： at org.apache.spark.storage.BlockManager
浏览 13提问于2016-12-13得票数 2
回答已采纳
我正在寻找一种在python spark流作业中捕获dataproc作业终止信号的方法:我在dataproc上有一个特定的作业，它打开几个到PostgreSQL DB的连接，而它本身在池中的连接数量是有限的目前，如果重新启动作业，连接将不会正确关闭，因此此作业的下一个实例没有足够的</
浏览 1提问于2016-08-09得票数 0
回答已采纳
我在dataproc集群上运行pyspark作业。如果我不设大师的话，一切都会好的。但是，我想知道，我们怎样才能让师父。我不会得到主节点的url地址。我只是试图复制主节点、计算引擎、Ip地址和setMaster('spark://<MASTER_COMPUTE_ENG_ADRESS>:7077')，但是它的抛出错误。有人能告诉我，在哪里可以找到GCP数据协议上的主节点url，以及如何
浏览 3提问于2022-08-09得票数 2
我有一个初始化脚本，它从本地人工存储库下载一个.jar，并将它放到集群上每个节点的/usr/local/bin中。我可以用 --region=us-central1 --jar=file:///usr/local/bin/myjar.jar -- arg1 arg2
但是，如果我的最终用户不需
浏览 3提问于2020-05-28得票数 3
回答已采纳
1回答
我有一系列问题(很抱歉，Google文档太糟糕了，而且不方便用户使用)：
您可以将ssh放入头计算机并在整个集群中运行星火，还是使用Google的gcloud dataproc jobs submit ...命令？当我在本地运行Spark作业并尝试访问时，
浏览 3提问于2019-01-18得票数 3
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。total_seconds()如果使用deployMode作为cluster属性触发作业，则无法看到相应的日志。但是，如果作业是
浏览 23提问于2021-12-07得票数 3
回答已采纳
如何能够向Google (PySpark)提交多个作业，并将不适合当前执行器的作业排队？只有提交作业才不适用于排队，这里是下列任何作业的输出： ...但是，我找不到与dataproc一起使用它的文档.？
浏览 0提问于2016-04-08得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
