首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何找到JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

如何找到JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar
EN

Stack Overflow用户
提问于 2015-09-12 21:07:26
回答 2查看 15.2K关注 0票数 8

我正在练习一个关于亚马逊EMR的视频教程。我被困住了,因为我不能继续前进,因为我正在犯这个错误。

Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

请注意,教程是旧的,它正在使用一个较旧的Emr版本。我用的是最新版本,那是个问题吗?

我所采取的步骤是在putty中输入证书之后。

1) Hadoop 2) mkdir streamingCode3) wget -o ./streamingCode/wordSplitter.py s3://elasticmapreduce/samples/wordcount/wordSplitter.py 4) hadoop jar contrib/streaming/hadoop-streaming.jar -files streamingCode/wordSplitter.py -mapper wordSplitter.py input s3://elasticmapreduce/samples/wordcount/input -output streamingCode/wordCountOut -reducer aggregate

我无法执行步骤4,因为我正在获得以下错误

Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

EN

回答 2

Stack Overflow用户

发布于 2015-09-14 17:01:26

Hadoop流jar仍然可以在EMR的最新版本中使用。从EMR版本4.0.0开始,可以在/usr/lib/hadoop-mapreduce/hadoop-streaming.jar上找到它。

另一个不同版本之间差异的好资源可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-release-differences.html上找到。

票数 10
EN

Stack Overflow用户

发布于 2016-06-17 08:27:56

对于变量HADOOP_STREAMING,根据所使用的HDP,获取路径要复杂一些。

通过命令查找它的位置: find / -name‘Hadoop-Streaming*..jar’

Src:http://thecoatlessprofessor.com/programming/installing-r-studio-server-on-hortonworks-virtual-box-image-and-rmr2-a-k-a-rhadoop-r-package/

票数 9
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/32543734

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档