当处理减速器时出现以下错误时,大容量负载发生故障。我们正在M5集群上运行mapreduce,试图更新一个m7表。:119) at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:621)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.jav
我正在考虑使用Azure中的虚拟化环境为大数据分析设置Hadoop集群。由于数据量非常大,我正在考虑将数据存储在辅助存储中,如Azure data Lake Store和Hadoop集群存储将充当主存储。我想知道,如何进行配置,以便在我创建Hive表和分区时,部分数据可以驻留在主存储中,其余数据可以驻留在辅助存储中?
感谢问候,马德胡