我正在练习一个关于亚马逊EMR的视频教程。我被困住了,因为我不能继续前进,因为我正在犯这个错误。
Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar
请注意,教程是旧的,它正在使用一个较旧的Emr版本。我用的是最新版本,那是个问题吗?
我所采取的步骤是在putty中输入证书之后。
1) Hadoop 2) mkdir streamingCode
3) wget -o ./streamingCode/wordSplitter.py s3://elasticmapreduce/samples/wordcount/wordSplitter.py 4) hadoop jar contrib/streaming/hadoop-streaming.jar -files streamingCode/wordSplitter.py -mapper wordSplitter.py input s3://elasticmapreduce/samples/wordcount/input -output streamingCode/wordCountOut -reducer aggregate
我无法执行步骤4,因为我正在获得以下错误
Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar
发布于 2015-09-14 17:01:26
Hadoop流jar仍然可以在EMR的最新版本中使用。从EMR版本4.0.0开始,可以在/usr/lib/hadoop-mapreduce/hadoop-streaming.jar上找到它。
另一个不同版本之间差异的好资源可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-release-differences.html上找到。
发布于 2016-06-17 08:27:56
对于变量HADOOP_STREAMING,根据所使用的HDP,获取路径要复杂一些。
通过命令查找它的位置: find / -name‘Hadoop-Streaming*..jar’
Src:http://thecoatlessprofessor.com/programming/installing-r-studio-server-on-hortonworks-virtual-box-image-and-rmr2-a-k-a-rhadoop-r-package/
https://stackoverflow.com/questions/32543734
复制相似问题