我有一个EMR流作业(Python),它正常工作(例如,10台机器处理200个输入)。然而,当我在大数据集上运行它时(12台机器总共处理6000个输入,每个输入大约20秒),经过2.5个小时的处理后,我得到了以下错误:at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:372)
at org.apache.had
我有一个猪脚本,它激活了另一个python程序。我可以在我自己的hadoop环境中这样做,但是当我在Amazon map reduce WS中运行我的脚本时,我总是失败。org.apache.pig.backend.executionengine.ExecException:错误2090:处理reduce计划时收到错误:'‘failed with exit status: 127 at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce$Reduce.processOnePa