linux上的hadoop

基础概念

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。它基于Google的MapReduce编程模型和GFS（Google文件系统）的论文实现。Hadoop的核心组件包括Hadoop Distributed File System（HDFS）和MapReduce。

HDFS

HDFS是一个分布式文件系统，能够在廉价的硬件上运行，并提供高吞吐量的数据访问。它通过将数据分布在多个节点上来实现高可用性和容错性。

MapReduce

MapReduce是一种编程模型，用于大规模数据集的并行处理。它将一个大任务分解成多个小任务（Map阶段），然后将结果合并（Reduce阶段）。

优势

可扩展性：Hadoop可以轻松地扩展到数千个节点。
容错性：通过数据冗余和自动故障转移机制，确保数据的可靠性和可用性。
高吞吐量：优化的数据处理流程能够处理大量数据。
开源：Hadoop是一个开源项目，社区支持强大，有大量的文档和资源。

类型

Hadoop 1.x：最初的版本，使用JobTracker和TaskTracker来管理任务。
Hadoop 2.x：引入了YARN（Yet Another Resource Negotiator），用于资源管理和调度，提高了系统的灵活性和效率。
Hadoop 3.x：增加了对高带宽网络的支持，改进了存储容量和性能。

应用场景

大数据处理：用于处理和分析大规模数据集，如日志分析、用户行为分析等。
机器学习：Hadoop可以作为机器学习模型的数据源和处理平台。
数据仓库：与Hive、Pig等工具结合，构建数据仓库。
日志处理：用于收集、存储和分析系统日志。

常见问题及解决方法

问题：HDFS无法启动

原因：可能是配置文件错误、网络问题或磁盘故障。 解决方法：

检查core-site.xml和hdfs-site.xml配置文件是否正确。
确保所有节点之间的网络通信正常。
检查磁盘是否有损坏，必要时进行修复或更换。

问题：MapReduce作业执行缓慢

原因：可能是资源配置不足、数据倾斜或代码优化不足。 解决方法：

增加集群的计算资源，如增加节点或提高节点配置。
检查数据分布，解决数据倾斜问题。
优化MapReduce代码，减少不必要的计算和数据传输。

示例代码

以下是一个简单的MapReduce示例，计算文本文件中每个单词的出现次数：

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}