提交Google Dataproc Hadoop作业时找不到Hadoop流jar？
Google Dataproc是Google Cloud提供的一项托管式的Apache Hadoop和Apache Spark服务。它可以帮助用户快速、高效地处理大规模数据集。
当在Google Dataproc上提交Hadoop作业时，如果找不到Hadoop流jar，可能是由于以下原因：
- 未正确配置作业参数：在提交Hadoop作业时，需要指定作业的参数，包括输入路径、输出路径、主类等。如果未正确配置这些参数，就可能导致找不到Hadoop流jar。可以检查作业参数是否正确设置。
- 未正确上传Hadoop流jar：Hadoop流jar是用于在Hadoop集群上运行流式作业的关键文件。在提交作业之前，需要将Hadoop流jar上传到Google Cloud存储桶中，并在作业参数中指定正确的存储桶路径。如果未正确上传Hadoop流jar或指定了错误的路径，就会找不到Hadoop流jar。
解决此问题的步骤如下：
- 确保正确配置作业参数：检查作业参数是否正确设置，包括输入路径、输出路径、主类等。可以参考Google Dataproc的官方文档，了解如何正确配置作业参数。
- 确保正确上传Hadoop流jar：将Hadoop流jar上传到Google Cloud存储桶中，并在作业参数中指定正确的存储桶路径。可以使用Google Cloud Console或命令行工具（如gsutil）来上传jar文件。确保指定的路径与上传的路径一致。
如果以上步骤都正确执行，但仍然找不到Hadoop流jar，可以考虑以下可能的原因：
- Hadoop流jar文件损坏：检查上传的Hadoop流jar文件是否完整且未损坏。可以尝试重新上传jar文件，或者使用其他可靠的来源获取Hadoop流jar。
- 网络连接问题：检查网络连接是否正常。如果网络连接不稳定或存在问题，可能导致无法找到Hadoop流jar。可以尝试使用其他网络连接或联系网络管理员解决网络问题。
总结起来，当在Google Dataproc上提交Hadoop作业时找不到Hadoop流jar，需要确保正确配置作业参数和上传Hadoop流jar，并排除文件损坏和网络连接问题。如果问题仍然存在，可以参考Google Cloud的官方文档或联系Google Cloud支持团队获取进一步的帮助。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云大数据产品：https://cloud.tencent.com/product/cdp
- 腾讯云对象存储 COS：https://cloud.tencent.com/product/cos
- 腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
- 腾讯云人工智能 AI：https://cloud.tencent.com/product/ai
- 腾讯云区块链 BaaS：https://cloud.tencent.com/product/baas
- 腾讯云物联网平台 IoT Hub：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发平台 MDP：https://cloud.tencent.com/product/mdp
相关·内容
所以我想在Dataproc集群上运行一个Python map reduce作业，问题是我找不到需要提交到主类或jar输入中的Hadoop流jar文件。
我在Hadoop 2.7上使用Dataproc image，Hadoop 2.8的答案也可以。
谢谢
浏览 19提问于2019-11-13得票数 2
回答已采纳
1回答
我有一系列问题(很抱歉，Google文档太糟糕了，而且不方便用户使用)：
在Google，Dataproc上，亚马逊的EMR相当于什么？我正在使用这个文档来运行一个火花作业：
您可以将ssh放入头计算机并在整个集群中运行星火，还是使用Google的gcloud dataproc jobs submit ...命令？
当我在本地运行Spark作业并尝试访问时，我这样做是没有问题的。当我尝试使用Dataproc时，它会崩溃。
我读过：
到目前为止，我已经尝试过：
我已将gcs-connector-hadoop2-latest.jar和my_proj
浏览 3提问于2019-01-18得票数 3
2回答
我试图在google dataproc集群上运行星星之火作业，如
gcloud dataproc jobs submit hadoop --cluster <cluster-name> \
--jar file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
--class org.apache.hadoop.examples.WordCount \
--arg1 \
--arg2 \
但是“工作”抛出错误
(gcloud.dataproc.jobs.submit.spark) PERMISSION_DEN
浏览 6提问于2017-04-12得票数 9
回答已采纳
当尝试以编程方式(从使用dataproc库的MapReduce应用程序)提交Hadoop作业时，作业立即失败。当通过UI提交完全相同的作业时，它工作得很好。 我在Dataproc集群上尝试了SSHing，以确认该文件是否存在，检查权限，并更改了jar引用。到目前为止，一切都还没有奏效。 我得到的错误是： Exception in thread "main" java.lang.ClassNotFoundException: file:///usr/lib/hadoop-mapreduce/hadoop-streaming-2.8.4.jar
at java.lang.Clas
浏览 22提问于2019-01-02得票数 0
回答已采纳
我正在尝试通过jupyter运行一个PySpark作业，我需要创建一个函数来运行该作业。我需要传递一个jar文件，我正在试图弄清楚如何做到这一点。我确实在上面找到了一些文档：https://cloud.google.com/dataproc/docs/reference/rpc/google.cloud.dataproc.v1#google.cloud.dataproc.v1.SubmitJobRequest https://cloud.google.com/dataproc/docs/reference/rest/v1beta2/HadoopJob 但是我不能确切地知道如何将URI添加到函
浏览 16提问于2019-10-07得票数 3
我提交给spark cluster的作业还没有完成。我看到它永远挂起，然而日志显示甚至spark jetty连接器也被关闭了：
17/05/23 11:53:39 INFO org.spark_project.jetty.server.ServerConnector: Stopped ServerConnector@4f67e3df{HTTP/1.1}{0.0.0.0:4041}
我在yarn上运行最新的cloud dataproc v1.1 (spark 2.0.2)。我通过gcloud api提交spark作业：
gcloud dataproc jobs submit spark --pr
浏览 0提问于2017-05-24得票数 2
@dennis-huo
作为上述问题的延续
我想为多用户设置一个dataproc集群。由于Dataproc集群的计算引擎使用默认的服务或自定义服务帐户凭据来使用--properties core:fs.gs.auth.service.account.json.keyfile连接到存储桶，这与提交作业的用户主体没有任何关系，或者我找不到控制它的选项，这使得dataproc集群不安全，并造成了一个问题，它在多用户环境中引入了另一层间接方向，当使用的密钥文件与不对应时。
在我的例子中，我们使用gcloud dataproc jobs submit hadoop提交作业，因为我的思想是使用IAM角色
浏览 2提问于2018-10-29得票数 3
我正在尝试测试GCP上下文中的Spark连接器，并尝试遵循 (它要求本地包 )，并且在Dataproc上提交作业时(在完成之后)得到以下错误。
命令
(base) gcloud dataproc jobs submit spark --cluster $SPARK_CLUSTER --class com.example.bigtable.spark.shc.BigtableSource --jars target/scala-2.11/cloud-bigtable-dataproc-spark-shc-assembly-0.1.jar --region us-east1 -- $BIGTABL
浏览 0提问于2020-12-28得票数 2
回答已采纳
我希望修改提交到Google集群中的火花作业。这些作业将在AWS EMR集群上运行。
gcloud dataproc jobs submit spark \
--cluster "${HADOOP_CLUSTER_NAME}" \
--properties "${SPARK_PARTITIONS}${SPARK_PARALLELISM}spark.master=yarn,spark.app.name=${APP},spark.sql.parquet.mergeSchema=false,spark.driver.memory=${D_MEMORY},spark.ui.po
浏览 3提问于2022-04-08得票数 0
我试图使用以下命令运行hadoop作业
hadoop -jar myjob.jar
在本例中，我无法看到使用网页(端口50030)提交的jar及其状态。
但如果我做了
hadoop myjob.jar
我可以看到同一端口(50030)的进展情况。
这两个命令有什么区别，我搜索了一下，发现
提交管道作业的hadoop -jar
hadoop提交流作业
任何洞察力都会有很大帮助。
浏览 3提问于2014-09-08得票数 0
回答已采纳
在向Dataproc提交作业时，我无法解决GCS桶权限问题。
以下是我正在做的事情：
创建了一个项目
创建了一个桶xmitya-test
创建了一个集群：
gcloud dataproc clusters create cascade --bucket=xmitya-test \
--master-boot-disk-size=80G --master-boot-disk-type=pd-standard \
--num-master-local-ssds=0 --num-masters=1 \
--num-workers=2 --num-worke
浏览 0提问于2019-01-14得票数 0
回答已采纳
我试图提交一个火花作业使用'gcloud数据提交作业提交火花‘，我已经设置为纱线的spark.master。当作业在dataproc集群上执行时，是否可以使用我在gcloud中通过身份验证的google用户或在命令中设置代理用户来运行它？
示例命令：-
gcloud dataproc jobs submit spark \
--cluster gov-demo --region europe-west4 \
--class org.apache.spark.examples.WordCount \
--jars gs://governance-demo/spa
浏览 0提问于2019-10-14得票数 1
在将星星之火数据文件写入文件后，我试图使用如下代码重命名该文件：
val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
val file = fs.globStatus(new Path(path + "/part*"))(0).getPath().getName()
fs.rename(new Path(path + "/" + file), new Path(path + "/" + fileName))
这里运作的很好.但是，当我在Dataproc上运行jar时，会得
浏览 8提问于2022-07-19得票数 2
可以将Talend连接到Google Cloud Dataproc吗？有没有可用的连接器？在上，它说有，但找不到任何与它相关的文档。
如果上述情况属实，我也想知道是否可以使用Talend在Dataproc中的Spark/Hadoop上运行作业。
谢谢。
浏览 1提问于2017-05-16得票数 0
我有一个Hadoop作业，我试图在集群上运行它。作业采用一个参数，即文件名，用于配置作业的某些方面。我似乎找不到一种方法来成功地使用gcloud CLI (虽然我可以在气流中成功地运行这项工作)。我尝试过使用本地文件、中的文件和集群本身上的文件。
下面是我工作中读取文件的代码：
File inFile = null;
Properties appProps = new Properties();
inFile = new File(args[0]);
try (FileInputStream inFileStream = new FileInputStream(inFile)) {
浏览 3提问于2020-01-17得票数 1
回答已采纳
我正在使用气流中的DataprocSubmitJobOperator来安排火花放电作业，而且当我无法将pyfiles传递给火花放电作业时
下面是我使用的代码：
达格
# working - passing jars
PYSPARK_JOB = {
"reference": {"project_id": PROJECT_ID},
"placement": {"cluster_name": CLUSTER_NAME},
"pyspark_job": {
"main_pyt
浏览 10提问于2022-07-17得票数 1
回答已采纳
我在1个集群上使用1个作业的Dataproc。 我希望在创建群集后立即开始我的作业。我发现实现这一点的最佳方法是使用如下所示的初始化脚本提交作业。 function submit_job() {
echo "Submitting job..."
gcloud dataproc jobs submit pyspark ...
}
export -f submit_job
function check_running() {
echo "checking..."
gcloud dataproc clusters list --region=
浏览 54提问于2021-09-03得票数 3
回答已采纳
我正在提交一个火花作业到数据处理使用gcloud或谷歌云Dataproc应用程序接口。其中一个参数是'--jars‘(或其Java API等效项)，其中我提供了要提供给executor和驱动程序类路径的jar文件的逗号分隔列表：
gs://google-storage-bucket/lib/x1.jar，gs://google-storage-bucket/lib/x2.jar等...
每次我提交作业时，都会将相同的JAR文件从Google storage bucket复制到executor节点上每个SparkContext的工作目录中，这需要大约2分钟的时间，然后作业才真正开始执行(
浏览 2提问于2018-03-24得票数 1
嗨，我想知道如何部署一个非jar文件时，我提交我的jar地图减少作业使用hadoop jar ..args..。
对于hadoop流，有发送文件的--file选项，对于spark，我们有--files，但是我在文档中找不到这样的选项。
在提交hadoop地图减少作业时，是否可以将非jar文件随jar一起发送？
浏览 3提问于2016-07-14得票数 1
回答已采纳
我是apache sqoop的新手。我已经在GCP中创建了dataproc集群，并尝试使用以下命令提交sqoop作业：
gcloud dataproc jobs submit hadoop --cluster cluster123 --class=org.apache.sqoop.Sqoop --import -Dmapreduce.job.user.classpath.first=true --jars=gs://bucket123/sqoop-1.4.7-hadoop260.jar,gs://bucket123/mssql-jdbc-8.4.1.jre11.jar --connect=&#
浏览 2提问于2020-11-26得票数 2
大约一周前，我能够使用的指南作为模板，将Spark作业的BigQuery表读入到RDD中，用于在Dataproc集群上运行。从那时起，我现在遇到了缺少类的问题，尽管指南没有受到任何影响。
我试图找到缺少的类com/google/cloud/hadoop/repackaged/bigquery/com/google/common/collect/ImmutableList，，尽管我找不到任何关于这个类现在是否被排除在gs://hadoop-lib/bigquery/bigquery-connector-hadoop2-latest.jar之外的信息
作业提交请求如下：
gcloud datapr
浏览 0提问于2019-08-29得票数 3
如何能够向Google (PySpark)提交多个作业，并将不适合当前执行器的作业排队？
只有提交作业才不适用于排队，这里是下列任何作业的输出：
$ gcloud dataproc jobs submit pyspark myjob.py
...
WARN Utils:70 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041
为此，纱线应采用“队列”参数。但是，我找不到与dataproc一起使用它的文档.？
浏览 0提问于2016-04-08得票数 2
回答已采纳
在Google Cloud命令行CLI运行的情况下，您可以使用--jars标志指定本地jar。但是，我想使用Python API提交一个作业。我让它正常工作，但是当我指定jar时，如果我使用file:前缀，它将在Dataproc主集群上查看，而不是在我的本地工作站上。
有一个简单的变通方法，那就是先使用GCS库上传jar，但是我想检查一下Dataproc客户端库是否已经支持这个方便的特性。
浏览 10提问于2021-02-26得票数 2
回答已采纳
1回答
这是我现在的Hadoop工作。
java -cp `hadoop classpath`:/usr/local/src/jobs/MyJob/tony-cli-0.1.5-all.jar com.linkedin.tony.cli.ClusterSubmitter \
--python_venv=/usr/local/src/jobs/MyJob/mnist_venv.zip \
--src_dir=/usr/local/src/jobs/MyJob/ \
--executes=/usr/local/src/jobs/MyJob/src/mnist_distributed.py \
--conf
浏览 2提问于2018-11-12得票数 1
回答已采纳
我正在创建一个Dataproc集群，当我在初始化操作中添加connectors.sh时，它正在超时。
这是命令和错误
NUM_WORKER=2
TYPE=n1-highmem-8
CNAME=dataproc-poc
BUCKET=dataproc-spark-karan
REGION=us-central1
ZONE=us-central1-c
IMG_VERSION=2.0.29-debian10
PROJECT=versa-kafka-poc
NUM_WORKER=2
Karans-MacBook-Pro:dataproc-versa-sase karanalang$ gcloud b
浏览 10提问于2022-02-01得票数 3
回答已采纳
当我试图向google dataproc集群提交火花流作业时，我得到了以下例外：
16/12/13 00:44:20 ERROR org.apache.spark.SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: File file:/tmp/0afbad25-cb65-49f1-87b8-9cf6523512dd/skyfall-assembly-0.0.1.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSy
浏览 13提问于2016-12-13得票数 2
回答已采纳
我有一个问题:我想提交一个包含配置文件目录的作业，但该目录不在hadoop dfs中，hadoop是否有某些选项可以执行此操作？我想提交作业的jar文件之类的目录，以便hadoop可以将作业和配置目录分发给所有datanode。当我使用以下命令时，我发现-files选项似乎不起作用: bin/hadoop jar job.jar输入输出-files conf_dir。-files选项似乎只在hadoop流中起作用
浏览 1提问于2011-12-07得票数 0
回答已采纳
我试图通过将gcloud命令转换为API来使用Dataproc，但是我在文档中找不到一个很好的例子。
%pip install google-cloud-dataproc
我发现的唯一一个好例子就是这个，它工作得很好：
from google.cloud import dataproc_v1
client = dataproc_v1.ClusterControllerClient()
project_id = 'test-project'
region = 'global'
for element in client.list_clusters(proje
浏览 0提问于2019-04-08得票数 1
回答已采纳
通过执行此中的步骤，我已经设置了一个运行Presto的Google Dataproc集群。
它工作得很好，我可以通过gcloud命令行工具运行查询，如链接所示。
gcloud dataproc jobs submit hive \
--cluster presto-cluster \
--region=${REGION} \
--execute "SELECT COUNT(*) FROM chicago_taxi_trips_parquet;"
最后，本教程展示了如何通过java应用程序在Presto上运行查询。我正在尝试用Python找到类似的解决方案
浏览 13提问于2021-03-14得票数 3
我试图使用REST服务来使用Dataproc客户端触发Spark作业。但是，dataproc集群中的每个作业都需要10-15秒来初始化星火驱动程序并提交应用程序。我想知道是否有一种有效的方法来消除gs桶中的JAR文件触发的Spark作业的初始化时间？我正在考虑的一些解决办法是：
汇集JavaSparkContext的单个实例，该实例可用于每个星火作业
启动单个作业，并在单个作业中运行基于火花的处理
有没有更有效的方法？如何在Google中实现上述方法？
浏览 6提问于2016-03-02得票数 0
回答已采纳
正在尝试对dataproc运行spark作业。但这项工作甚至未能初始化spark context。 当使用yarn-client作为主机创建spark context时，我得到以下错误： SparkSession sparkSession = SparkSession.builder()
.appName("Sample App")
.master("yarn-client")
.getOrCreate(); ERROR org.apache.spa
浏览 234提问于2021-07-15得票数 2
我正在尝试将hadoop管道作业添加到GCP中的工作流模板中，但没有给出这样的示例。google的官方文档指定了如何提交hadoop作业，但是没有可用于提交hadoop管道作业的参数。
浏览 15提问于2020-07-22得票数 1
回答已采纳
1回答
在浏览一些Hadoop指南时，我找不到我的问题的答案:我通过客户端计算机上的shell脚本一次性提交了各种Hadoop作业(多达200个)。每个作业都是通过JAR启动的(JAR相当大；大约150MB)。提交作业后，客户端机器的CPU负载非常高(每个核心100%)，RAM很快就满了。这样，客户端就不再可用了。我认为每个作业的计算完全是在Hadoop框架内完成的，并且在作业运行时只在集群和客户端之间交换一些状态信息。
那么，为什么客户端是完全伸展的？我是否以错误的方式提交Hadoop作业？是不是每个罐子都太大了？
提前谢谢。
浏览 2提问于2011-09-25得票数 1
回答已采纳
通常情况下，如果我将Scala用于Spark作业，我将编译一个jarfile并使用gcloud dataproc jobs submit spark提交它，但有时对于非常轻量级的作业，我可能在笔记本中使用未编译的Scala代码，或者使用spark-shell REPL，在这里我假设SparkContext已经可用。
对于其中的一些轻量级用例，我可以等效地使用PySpark并与gcloud dataproc jobs submit pyspark一起提交，但有时我需要更容易地访问Scala/Java库，例如在映射函数中直接创建org.apache.hadoop.fs.FileSystem对象。有
浏览 2提问于2020-03-08得票数 5
回答已采纳
我正在尝试提交一个火花作业使用'gcloud dataproc作业提交火花‘。要连接到ES集群，我需要传递信任存储路径。
如果我将信任存储文件复制到所有工作节点并给出以下绝对路径，则作业是成功的：
esSparkConf.put("es.net.ssl.truststore.location","file:///tmp/trust.jks");
但我不想这样做。如果工作节点更多地复制到每个节点是困难的。
我试图使用--文件选项传递信任库文件，如下所示：
gcloud dataproc jobs submit spark --cluster=sprk-pr
浏览 3提问于2022-04-28得票数 3
我正在尝试从dataproc spark作业中获取GCP密钥管理器密码。但是我得到了错误"Exception in thread "main“java.lang.NoClassDefFoundError: com/google/cloud/secretmanager/v1/AccessSecretVersionResponse".我已经在dataproc spark作业依赖项中添加了jar "google-cloud-secretmanager-1.4.2.jar“和"gax-1.62.0.jar”。 我正在使用下面的GCP链接中提到的代码。https
浏览 14提问于2021-03-18得票数 2
1回答
我在安装了apache livy的google云平台上安装了dataproc。我正在使用livy rest api提交作业。当我试图从Yarn RM杀死livy作业时，我在浏览器控制台选项卡中得到以下错误。
{"RemoteException":{"exception":"AuthorizationException","message":"Unable to obtain user name, user not authenticated","javaClassName":"org.apa
浏览 2提问于2018-09-22得票数 1
我正在使用GCP Composer2来调度pyspark (结构化流)作业，pyspark代码读/写到Kafka。
DAG使用操作符- DataprocCreateClusterOperator (创建一个GKE集群)、DataprocSubmitJobOperator (运行吡火花作业)、使用运算符- DataprocSubmitJobOperator删除dataproc集群。
在下面的代码中，我传递运行读写Kafka所需的jars和文件(certs/config文件)
PYSPARK_JOB = {
"reference": {"project_id"
浏览 29提问于2022-06-02得票数 1
1回答
我创建了Google集群，其中2名工作人员使用n1-standard-4 VM作为主服务器和工作人员。
我希望在给定集群上提交作业，所有作业都应该按顺序运行(如AWS EMR)，也就是说，如果第一个作业处于运行状态，那么接下来的作业将进入待定状态，完成第一个作业后，第二个作业开始运行。
我试着在集群上提交作业，但它并行运行所有作业--没有作业进入待定状态。
是否可以在Dataproc集群中设置任何配置，以便所有作业都按顺序运行？
更新了下列档案：
/etc/hadoop/conf/yarn-site.xml
<property>
<name>yarn.r
浏览 0提问于2018-12-19得票数 1
回答已采纳
1回答
我使用气流的向Dataproc集群提交了一个Hive作业。当某些作业在googlec头->dataproc->作业中失败时，我可以看到一个指向带failure的日志的链接：
代理报告作业失败。如果日志可用，可以在'gs://dataproc-abcde12-efghi23-jklmn12-uk/google-cloud-dataproc-metainfo/12354a681fgh161/jobs/job1-abdc12jssa/driveroutput‘中找到它们
我可以通过气流获取这个日志链接(例如gs://dataproc-abcde12-efghi23-jkl
浏览 1提问于2019-02-12得票数 3
我在提交作业时错误地使用了"hadoop -jar“而不是"hadoop jar”。
在这种情况下，我的jar包不能提交到集群，只会启动“本地作业运行器”，这让我非常困惑。
有人知道这是什么原因吗？或者"hadoop jar“和"hadoop -jar”命令之间的区别？
谢谢!
浏览 0提问于2013-07-23得票数 0
回答已采纳
1回答
我正在使用dataproc提交工作的火花。然而，在火花提交时，非火花参数被解读为火花参数！
当运行特定作业时，我将收到下面的错误/警告。
Warning: Ignoring non-spark config property: dataproc:dataproc.conscrypt.provider.enable=false
gcloud dataproc jobs submit spark \
--cluster my-cluster \
--region us-east1 \
--properties dataproc:dataproc.conscrypt.provider.enable=
浏览 0提问于2019-06-10得票数 3
回答已采纳
1回答
我的spark dataproc工作流有问题。
这在发射时起作用：
gcloud dataproc jobs submit spark \
--project myproject \
--cluster=mycluster \
--region=europe-west3 \
--jars=gs:path\file.jar,gs://path//depende.jar \
--class=it.flow \
--properties spark.num.executors=2,spark.executor.cores=3,spark.executor.memory=5g,spark.driver
浏览 3提问于2021-08-24得票数 3
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。 参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs/reference/rest/v1beta2/projects.regions.jobs
浏览 41提问于2020-07-01得票数 0
2回答
我在用GCP做实验。我在Hadoop有一个本地环境。它由存储在HDFS上的文件和一堆编写API调用并触发猪作业的python脚本组成。这些python作业是通过cron调度的。
我想了解在GCP中做类似事情的最佳方法。我知道我可以使用GCS作为HDFS的替代品。该Dataproc可用于拆分Hadoop集群并运行Pig作业。
是否有可能将这些Python脚本存储到GCS中，有一个类似cron的时间表来拆分Hadoop集群，并指向GCS中的这些Python脚本来运行呢？
浏览 10提问于2022-03-31得票数 2
回答已采纳
我在Google Cloud Dataproc集群上运行一个作业，该作业接受一个参数--输入文件的路径。此文件存储在Google云存储存储桶中。我得到了一个FileNotFoundException (如下所示)。为什么会这样呢？
gcloud dataproc jobs submit spark --cluster cluster-1 --class MST.ComputeMST \
--jars gs://dataproc-211700eb-83ed-456d-a67e-98af9e6fa02d-us/ComputeMST.jar \
-- gs:///dataproc-2
浏览 4提问于2017-05-16得票数 4
1回答
我将作业提交到Dataproc中的星火集群(使用Hadoop )。我看到，无论我为spark.master和部署模式设置了哪些属性，当我进入Spark时，作业的环境选项卡总是显示spark.master的本地属性，而且作业的不同阶段总是使用相同的executor id，即使有更多的空间。
例如：
gcloud dataproc jobs submit spark --cluster mycluster --regionmyregion --class MyApp --properties 'spark.executor.extraJavaOptions=-verbose:class,,
浏览 1提问于2019-10-12得票数 2
我正在使用Google dataproc提交spark作业，并使用google cloud composer来安排它们。不幸的是，我正面临着困难。
我依靠.conf文件(类型安全配置文件)将参数传递给我的spark作业。
我对airflow数据过程使用了以下python代码：
t3 = dataproc_operator.DataProcSparkOperator(
task_id ='execute_spark_job_cluster_test',
dataproc_spark_jars='gs://snapshots/jars/pubsub-assemb
浏览 0提问于2018-09-15得票数 3
我们在Google cloud Dataproc集群上运行spark作业(大量spark流)。
我们正在使用云日志记录来收集spark作业生成的所有日志。目前，它正在生成大量的"INFO“消息，这导致整个日志卷的大小只有几TB。
我想编辑google-fluentd配置，将日志级别限制为"ERROR“级别，而不是"INFO”。
已尝试将配置设置为"log_level error"，但不起作用。在/etc/google-fluentd/google-fluentd.conf的评论部分中也提到了它是# Currently severity is a sepe
浏览 3提问于2017-01-04得票数 0
1回答
在google-cloud-dataproc上运行我的spark作业时，我注意到只有主节点被利用，所有工作节点的CPU利用率几乎为0% (0.8 %左右)。我同时使用了GUI和控制台来运行代码。您是否知道可能导致这种情况的任何特定原因，以及如何充分利用工作节点？
我以以下方式提交作业：
gcloud dataproc作业提交spark --属性spark.executor.cores=10 --集群集群--663c --class ComputeMST --jar gs://kslc/ComputeMST.jar --文件gs://kslc/SIFT_full.txt -- SIFT_full
浏览 0提问于2018-04-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
