Mapreduce 任务提交源码分析1

$HADOOP_HOME/bin/hadoop jar $MR_JAR $MAIN_CLASS

    elif [ "$COMMAND" = "jar" ] ; then
      CLASS=org.apache.hadoop.util.RunJar

//... 略
    exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

public static void main(String[] args) throws Throwable {
  String usage = "RunJar jarFile [mainClass] args...";
  // 第一个参数是jar文件路径，第二个参数是主类名（可选），后续跟其他参数
  // ...
  

  int firstArg = 0;
  String fileName = args[firstArg++];
  File file = new File(fileName);
  // 构建jar文件对象
  // ...

  // --: 这部分逻辑是获取主类名
  //     优先从jar文件的Manifest信息中获取主类名； （只有当打包jar时采用可运行的jar文件的方式才有这个信息，否则普通的jar文件中不包含该信息）
  //     如果无法获取到，则采用第二参数值作为主类名；
  // ---------------------------------------------------------------------------
  String mainClassName = null;

  JarFile jarFile;
  try {
    jarFile = new JarFile(fileName);
  } catch(IOException io) {
    throw new IOException("Error opening job jar: " + fileName)
      .initCause(io);
  }

  Manifest manifest = jarFile.getManifest();
  if (manifest != null) {
    mainClassName = manifest.getMainAttributes().getValue("Main-Class");
  }
  jarFile.close();

  if (mainClassName == null) {
    if (args.length < 2) {
      System.err.println(usage);
      System.exit(-1);
    }
    mainClassName = args[firstArg++];
  }
  mainClassName = mainClassName.replaceAll("/", ".");
  // ---------------------------------------------------------------------------

  // 获取Hadoop临时目录，指的是本地操作系统的一个目录
  // hadoop.tmp.dir配置可在core-site.xml配置文件中配置
  File tmpDir = new File(new Configuration().get("hadoop.tmp.dir"));
  ensureDirectory(tmpDir);

  // --：为这个任务在临时目录下面创建一个临时的工作目录，目录名的格式为：“hadoop-unjar + Long型随机数”
  //------------------------------------------------------------------------------
  final File workDir;
  try { 
    workDir = File.createTempFile("hadoop-unjar", "", tmpDir);
  } catch (IOException ioe) {
    System.err.println("Error creating temp dir in hadoop.tmp.dir "
                       + tmpDir + " due to " + ioe.getMessage());
    System.exit(-1);
    return;
  }

  if (!workDir.delete()) {
    System.err.println("Delete failed for " + workDir);
    System.exit(-1);
  }
  ensureDirectory(workDir);
  //------------------------------------------------------------------------------

  // 为Java进程添加一个钩子程序，当程序shutdown时清楚临时工作目录
  ShutdownHookManager.get().addShutdownHook(
    new Runnable() {
      @Override
      public void run() {
        FileUtil.fullyDelete(workDir);
      }
    }, SHUTDOWN_HOOK_PRIORITY);

  // 将jar文件里面的内容解压到这个临时的工作目录
  unJar(file, workDir);

  // -- 将:
  // workDir/, workDir/classes/, workDir/lib/${allfiles} 添加到classpath
  //------------------------------------------------------------------------------
  ArrayList<URL> classPath = new ArrayList<URL>();
  classPath.add(new File(workDir+"/").toURI().toURL());
  classPath.add(file.toURI().toURL());
  classPath.add(new File(workDir, "classes/").toURI().toURL());
  File[] libs = new File(workDir, "lib").listFiles();
  if (libs != null) {
    for (int i = 0; i < libs.length; i++) {
      classPath.add(libs[i].toURI().toURL());
    }
  }
  //------------------------------------------------------------------------------
  

  // --： 以上面的classpath创建一个URLClassLoader，作为主线程的classLoader
  ClassLoader loader =
    new URLClassLoader(classPath.toArray(new URL[0]));
  Thread.currentThread().setContextClassLoader(loader);

  // --：通过反射的机制去调用主类的main方法，并将除jar文件和[mainClass]以外的所有参数传递给该main方法
  Class<?> mainClass = Class.forName(mainClassName, true, loader);
  Method main = mainClass.getMethod("main", new Class[] {
    Array.newInstance(String.class, 0).getClass()
  });
  String[] newArgs = Arrays.asList(args)
    .subList(firstArg, args.length).toArray(new String[0]);
  try {
    main.invoke(null, new Object[] { newArgs });
  } catch (InvocationTargetException e) {
    throw e.getTargetException();
  }
}