我有一个mapreduce作业,它应该将数据持久化到MySQL数据库,但它抛出了一个异常,如下所示:
INFO mapred.JobClient: Task Id : attempt_201501122044_1310_r_000001_0, Status : FAILED
java.io.IOException at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriter(DBOutputFormat.java:180)
at org.apache.hadoop.mapred.ReduceTask.ru
下面我有一些预处理的example代码,然后再运行作业和后处理。由于这些预处理和后处理正在调用mysql数据库,我想知道hadoop节点可能运行在哪些hadoop节点上?(我需要打开从这些节点到数据库的端口)它能运行预处理和后置处理任何hadoop data-node吗?我试着做了一些研究,但没有找到任何指示,怎么可能通过文档/源找到它将在哪个节点上运行呢?(PS作业由安排)
preProcessingBeforeJobRuns() // **in which hadoop node would this be run? could it run on any datanode?**