开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

提交Google Dataproc Hadoop作业时找不到Hadoop流jar？

Google Dataproc是Google Cloud提供的一项托管式的Apache Hadoop和Apache Spark服务。它可以帮助用户快速、高效地处理大规模数据集。

当在Google Dataproc上提交Hadoop作业时，如果找不到Hadoop流jar，可能是由于以下原因：

未正确配置作业参数：在提交Hadoop作业时，需要指定作业的参数，包括输入路径、输出路径、主类等。如果未正确配置这些参数，就可能导致找不到Hadoop流jar。可以检查作业参数是否正确设置。
未正确上传Hadoop流jar：Hadoop流jar是用于在Hadoop集群上运行流式作业的关键文件。在提交作业之前，需要将Hadoop流jar上传到Google Cloud存储桶中，并在作业参数中指定正确的存储桶路径。如果未正确上传Hadoop流jar或指定了错误的路径，就会找不到Hadoop流jar。

解决此问题的步骤如下：

确保正确配置作业参数：检查作业参数是否正确设置，包括输入路径、输出路径、主类等。可以参考Google Dataproc的官方文档，了解如何正确配置作业参数。
确保正确上传Hadoop流jar：将Hadoop流jar上传到Google Cloud存储桶中，并在作业参数中指定正确的存储桶路径。可以使用Google Cloud Console或命令行工具（如gsutil）来上传jar文件。确保指定的路径与上传的路径一致。

如果以上步骤都正确执行，但仍然找不到Hadoop流jar，可以考虑以下可能的原因：

Hadoop流jar文件损坏：检查上传的Hadoop流jar文件是否完整且未损坏。可以尝试重新上传jar文件，或者使用其他可靠的来源获取Hadoop流jar。
网络连接问题：检查网络连接是否正常。如果网络连接不稳定或存在问题，可能导致无法找到Hadoop流jar。可以尝试使用其他网络连接或联系网络管理员解决网络问题。

总结起来，当在Google Dataproc上提交Hadoop作业时找不到Hadoop流jar，需要确保正确配置作业参数和上传Hadoop流jar，并排除文件损坏和网络连接问题。如果问题仍然存在，可以参考Google Cloud的官方文档或联系Google Cloud支持团队获取进一步的帮助。

腾讯云相关产品和产品介绍链接地址：

腾讯云大数据产品：https://cloud.tencent.com/product/cdp
腾讯云对象存储 COS：https://cloud.tencent.com/product/cos
腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
腾讯云人工智能 AI：https://cloud.tencent.com/product/ai
腾讯云区块链 BaaS：https://cloud.tencent.com/product/baas
腾讯云物联网平台 IoT Hub：https://cloud.tencent.com/product/iothub
腾讯云移动开发平台 MDP：https://cloud.tencent.com/product/mdp

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

基于Apache Hudi在Google云平台构建数据湖

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这样对该数据的分析才能产生有意义的结果。

01

2019年，Hadoop到底是怎么了？

目前云驱动数据处理和分析呈上升趋势，我们在本文中来分析下，Apache Hadoop 在 2019 年是否还是一个可选方案。

01

Cloud Dataproc已完成测试，谷歌云平台生态更加完善

去年9月份，谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，如今半年过去了，Cloud Dataproc服务已完成测试，现在可以被广泛使用。谷歌在旧金山的一次活

05

Hadoop，凉了？那还需要它吗？

近日，Hadoop 领域发生几件不太美好的事情，先是 MapR 宣布如果无法获得新的投资，就必须要裁员百余人，并关闭硅谷总部，再是 Cloudera 股价暴跌 43%，估值缩水。

02

优步使用谷歌云平台实现大数据基础设施的现代化

最近，优步在其官方工程博客上发布了一篇文章，阐述了将批数据分析和机器学习（ML）训练的技术栈迁移到谷歌云平台（GCP）的战略。优步运行着世界上最大的 Hadoop 装置之一，在两个区域的数万台服务器上管理着超过上艾字节（exabyte）的数据。开源数据生态系统，尤其是 Hadoop，一直是数据平台的基石。

01

[1133]flink问题集锦

原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可

02

Flink部署及作业提交（On YARN）

在上一篇 Flink部署及作业提交（On Flink Cluster）文章中，我们介绍了如何编译部署Flink自身的资源分配和管理系统，并将作业提交到该系统上去运行。但通常来讲这种方式用得不多，因为在企业中，可能会使用不同的分布式计算框架，如Spark、Storm或MapReduce等。

01

【Hadoop】17-在集群上运行MapRedece

本地作业运行器使用单JVM运行一个作业，只要作业需要的所有类都在类路径(classpath)上，那么作业就可以正常执行。在分布式的环境中，情况稍微复杂一些。开始的时候作业的类必须打包成一个作业JAR文件并发送给集群。Hadoop通过搜索驱动程序的类路径自动找到该作业JAR文件，该类路径包含JonfConf或Job上的setJarByClass()方法中设置的类。另一种方法，如果你想通过文件路径设置一个指定的JAR文件，可以使用setJar()方法。JAR文件路径可以是本地的，也可以是一个HDFS文件路径。通过使用像Ant或Maven的构建工具可以方便地创建作业的JAR文件。当给定范例所示的POM时，下面的Maven命令将在包含所有已编译的类的工程目录中创建一个名为hadoop-example.jar的JAR文件：

04

0499-如何使用潜水艇在Hadoop之上愉快的玩耍深度学习

Hadoop是时下最流行的企业级开源大数据平台技术，你可以将它部署在本地，也可以部署在云端。而深度学习，对于企业用户来说举几个简单的例子，常见的场景包括语音识别，图像分类，AI聊天机器人或者机器翻译。为了训练深度学习/机器学习模型，我们可以利用TensorFlow/MXNet/Pytorch/Caffe/XGBoost等框架。有时这些框架也会被一起使用用于解决不同的问题。

01

{Submarine} 在 Apache Hadoop 中运行深度学习框架

作者：Wangda Tan、Sunil Govindan、Zhankun Tang

01

KLOOK客路旅行基于Apache Hudi的数据湖实践

客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。KLOOK数仓RDS数据同步是一个很典型的互联网电商公司数仓接入层的需求。对于公司数仓，约60%以上的数据直接来源与业务数据库，数据库有很大一部分为托管的AWS RDS-MYSQL 数据库，有超100+数据库/实例。RDS直接通过来的数据通过标准化清洗即作为数仓的ODS层，公司之前使用第三方商业工具进行同步，限制为每隔8小时的数据同步，无法满足公司业务对数据时效性的要求，数据团队在进行调研及一系列poc验证后，最后我们选择Debezium+Kafka+Flink+Hudi的ods层pipeline方案，数据秒级入湖，后续数仓可基于近实时的ODS层做更多的业务场景需求。

05

Azkaban快速入门系列(3) | 一文带你快速了解Azkaban的实战应用(建议收藏！！！)

一. 实战前的准备 1. 在executor服务器目录下执行启动命令 [bigdata@hadoop002 executor]$ bin/azkaban-executor-start.sh 2.

03

如何在Oozie中创建有依赖的WorkFlow

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在使用Hue创建WorkFlow时，单个WorkFlow中可以添加多个模块的依赖，使各个模块之间在WorkFlow内产生依赖关系，如果对于一个WorkFlow被其它多个WorkFlow依赖（如：AWorkFlow执行成功后，BWorkFlow和CWorkFlow依赖AWorkFl

09

深入理解 Taier：MR on Yarn 的实现原理

我们今天常说的大数据技术，它的理论基础来自于2003年 Google 发表的三篇论文，《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文分别对应后来出现的 HDFS，MapReduce， HBase。

02

Flink Standalone Cluster

Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的部署。

03

「EMR 开发指南」之 Hue 配置工作流

本文将通过一个简单，并且具有典型代表的例子，描述如何使用EMR产品中的Hue组件创建工作流，并使该工作流每天定时执行。

02

1年将超过15PB数据迁移到谷歌BigQuery，PayPal的经验有哪些可借鉴之处？

作者 | Romit Mehta、Vaishali Walia 和 Bala Natarajan

02

腾讯云EMR使用说明: 配置工作流

本文将通过一个简单，并且具有典型代表的例子，描述如何使用EMR产品中的Hue组件创建工作流，并使该工作流每天定时执行。

如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业

前面Fayson介绍了多种方式在CDH集群外的节点向集群提交Spark作业，文章中均采用Spark1来做为示例，本篇文章主要介绍如何是用Oozie API向Kerberos环境的CDH集群提交Spark2作业。

04

Dlink On Yarn 三种 Flink 执行方式的实践

Dlink 为 Apache Flink 而生，让 Flink SQL 更加丝滑。它是一个交互式的 FlinkSQL Studio，可以在线开发、预览、校验、执行、提交 FlinkSQL，支持 Flink 官方所有语法及其增强语法，并且可以同时对多 Flink 实例集群进行提交、停止、SavePoint 等运维操作，如同您的 IntelliJ IDEA For Flink SQL。

04

如何使用Hue创建Spark2的Oozie工作流（补充）

目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性（https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action

06

Hadoop中的Python框架的使用指南

最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但Apache Hadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括： Hadoop流 mrjob dumbo hadoopy pydoop 其它最终，在我的看来，H

07

Spark on YARN基础

不管使用哪种模式，Spark应用程序的代码是一模一样的，只需要在提交的时候通过--master参数来指定我们的运行模式即可

02

EMR入门学习之Hue上创建工作流（十一）

本文将通过一个简单，并且具有典型代表的例子，描述如何使用EMR产品中的Hue组件创建工作流，并使该工作流每天定时执行。

02

YARN & Mesos，论集群资源管理所面临的挑战

在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的嘉宾包括TalkingData研发副总裁阎志涛，GrowingIO田毅，AdMaster技术副总裁卢亿雷，Spark Committer、Mesos/Hadoop Contributor夏俊鸾，下面一起回顾。

08

大数据平台 —— 调度系统之Azkaban

其中AzkabanWebServer可以说是整个Azkaban工作流系统的主要管理者，它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执行进度等一系列任务。

07

聊聊spark-submit的几个有用选项

我们使用spark-submit时，必然要处理我们自己的配置文件、普通文件、jar包，今天我们不讲他们是怎么走的，我们讲讲他们都去了哪里，这样我们才能更好的定位问题。我们在使用spark-submit把我们自己的代码提交到yarn集群运行时，spark会在yarn集群上生成两个进程角色，一个是driver，一个是executor，当这两个角色进程需要我们传递一些资源和信息时，我们往往会使用spark-submit的选项来进行传递。那么这些资源和信息，在使用spark-submit指定了之后，都去了哪里呢，

03

Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面

导读：Flink是由德国几所大学发起的的学术项目，后来不断发展壮大，并于2014年末成为Apache顶级项目。Flink如何在流处理中多得王者地位？带着问题在文章寻找答案吧。

02

一脸懵逼学习MapReduce的原理和编程（Map局部处理，Reduce汇总）和MapReduce几种运行方式

Hadoop作业引用第三方jar文件

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse Hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的.

02

基于Hadoop生态圈的数据仓库实践 —— ETL（三）

三、使用Oozie定期自动执行ETL 1. Oozie简介（1）Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp，及其Java程序和shell脚本等特定的系统作业。第一版Oozie是一个基于工作流引擎的服务器，通过执行Hadoop Map/Reduce和Pig作业的动作运行工作流作业。第二版Oozie是一个基于协调器引擎的服务器，按时间和数据触发工作流执行。它可以基于时间（如每小时执行一次）或数据可用性（如等待输入数据完成后再执行）连续运行工作流。第三版Oozie是一个基于Bundle引擎的服务器。它提供更高级别的抽象，批量处理一系列协调器应用。用户可以在bundle级别启动、停止、挂起、继续、重做协调器作业，这样可以更好地简化操作控制。（2）为什么需要Oozie

02

没有三年实战经验，我是如何在谷歌云专业数据工程师认证中通关的

注：本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新，放在了Extras的部分。

05

如何使用Hue创建Spark1和Spark2的Oozie工作流

使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？那能不能支持Spark2的呢，接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。

07

进击大数据系列（九）Hadoop 实时计算流计算引擎 Flink

Apache Flink 是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行，并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等，但能够同时支持低延迟、高吞吐、Exactly-Once（收到的消息仅处理一次）的框架只有Apache Flink。

02

MapperReduce常见错误及解决方案

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4)，说明Partition和ReduceTask个数没对上，调整ReduceTask个数。 4）如果分区数不是1，但是reducetask为1，是否执行分区过程。答案是：不执行分区过程。因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1。不大于1肯定不执行。 5）在Windows环境编译的jar包导入到Linux环境中运行， hadoop jar wc.jar com.atguigu.mapreduce.wordcount.WordCountDriver /user/atguigu/ /user/atguigu/output 报如下错误： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/atguigu/mapreduce/wordcount/WordCountDriver : Unsupported major.minor version 52.0 原因是Windows环境用的jdk1.7，Linux环境用的jdk1.8。解决方案：统一jdk版本。 6）缓存pd.txt小文件案例中，报找不到pd.txt文件原因：大部分为路径书写错误。还有就是要检查pd.txt.txt的问题。还有个别电脑写相对路径找不到pd.txt，可以修改为绝对路径。 7）报类型转换异常。通常都是在驱动函数中设置Map输出和最终输出时编写错误。 Map输出的key如果没有排序，也会报类型转换异常。 8）集群中运行wc.jar时出现了无法获得输入文件。原因：WordCount案例的输入文件不能放用HDFS集群的根目录。 9）出现了如下相关异常

05

Flink运行方式及对比

Flink on Yarn 中的 Per Job 模式是指每次提交一个任务，然后任务运行完成之后资源就会被释放。

05

Hadoop学习之编译eclipse插件

近期准备開始学习Hadoop1.2.1的源码，感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况。因为选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，以下就直接进入正题。Hadoop的eclipse插件源码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中，直接进入该文件夹，在不做不论什么改动的情况下，在命令行输入ant，运行效果例如以下：

01

Flink集成Iceberg小小实战

Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format that works just like a SQL table.

06

0911-7.1.7-如何在CDP集群使用Flink SQL Client并与Hive集成

在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》，同时Flink也提供了SQL Client的能力，可以通过一种简单的方式来编写、调试和提交程序到Flink集群，而无需编写一行Java或Scala代码。本篇文章主要介绍如何在CDP集群中使用Flink SQL Client与Hive集成。Flink与Hive的集成，主要有如下两个目的：

01

什么是 Apache Spark？大数据分析平台详解

自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支持 SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨头公司使用。

03

什么是 Apache Spark？大数据分析平台详解

自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支持 SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨头公司使用。 📷 非常好，Spark 可以运行在一个只需要在你集群中的

06

大数据分析平台 Apache Spark详解

本文介绍了Apache Spark的四个主要应用场景，包括大数据处理、机器学习、图计算和流处理。Spark可以处理批量数据和流数据，并且提供了简单易用的API。同时，Spark还支持多种编程语言，包括Python、Java和Scala等，使得开发人员可以更加便捷地开发复杂的数据处理应用。

00

什么是 Apache Spark？大数据分析平台如是说

自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支持 SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨头公司使用。非常好，Spark 可以运行在一个只需要在你集群中的

06

进击大数据系列（六）：Hadoop 分布式计算框架 MapReduce

MapReduce 是一种编程模型（没有集群的概念，会把任务提交到 yarn 集群上跑），用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

01

Hadoop大数据初学者指南

Hadoop是一个开源框架，允许在分布式环境中使用简单的编程模型来存储和处理大数据，跨计算机集群。它被设计成可以从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。

03

如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流

前面Fayson介绍了《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》和《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业》，本篇文章主要介绍如何使用Oozie Client API向非Kerberos环境的CDH集群提交Shell Action工作流。

07

Apache Hadoop入门

介绍本文要介绍的Apache Hadoop是一个使用简单高级编程模型实现的对大型数据集进行分布式存储和处理的软件框架。文章涵盖了Hadoop最重要的概念，对其架构的描述，并指导如何使用它，以及在Hadoop上编写和执行各种应用程序。简而言之，Hadoop是Apache Software Foundation的开源项目，可以安装在一组标准机器上，以便这些机器可以通信并协同工作来存储和处理大型数据集。近年来，Hadoop已经非常成功，因为它有能力有效地处理大数据。它允许公司将其所有数据存储在一个系统中，并对

05

加速你的检索

上篇了解 hive 的一种查询优化方案,可以通过分区表尽量避免查询扫描全表,提高查询时效。这篇我们讨论使用另外一种优化手段 -把查询检索交给专业的组件去执行。

04

如何使用hadoop命令向CDH集群提交MapReduce作业

在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》，那对于部分用户来说，需要将打包好的jar包在CDH集群运行，可以使用hadoop或java命令向集群提交MR作业，本篇文章基于前面的文章讲述如何将打包好的MapReduce，使用hadoop命令向CDH提交作业。同时也分为Kerberos和非Kerberos环境提交。

06

Parquet

Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件（例如CSV或TSV文件）相比，Apache Parquet旨在提供高效且高性能的扁平列式数据存储格式。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭