近期准备開始学习Hadoop1.2.1的源码，感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况。因为选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，以下就直接进入正题。Hadoop的eclipse插件源码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中，直接进入该文件夹，在不做不论什么改动的情况下，在命令行输入ant，运行效果例如以下：
跌跌撞撞两天装Hadoop2.4.0的环境，今天终于可以尝试写点程序了，想了一想，不得其法，但有一点是肯定的，那就是需要用eclipse，查了一上午的资料，怎么讲的都有，最后锁定了这个帖子，hadoop2x-eclipse-plugin。想用Github下载，但是最后下载失败，页面右侧有个Download ZIP，用这个下载成功。下边来说说我的整个制作过程吧：
最近在做一个城商行项目的POC测试it版本，涉及到编译Linux64bti的源码和开发插件使用，作为笔记分享给大家。
hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop集群。但是，在这种环境下，开发，调试就变得那么的不容易了。那么，有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件，使用我们可以在Eclipse环境下开发，调试hadoop程序，那么，应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家（附上我自己编译的插件）。 1、编译eclipse-hadoop-plugi
Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很大难度。正因为如此，Hadoop的开发者开发出了Hadoop Eclipse插件，它在Hadoop的开发环境中嵌入了Eclipse，从而实现了开发环境的图形化，降低了编程难度。在安装插件
个人理解，ant的初衷是打造一个本地化工具，而编译hadoop插件的资源间的依赖超出了这一目标。导致我们在使用ant编译的时候需要手工去修改配置。那么自然少不了设置环境变量、设置classpath、添加依赖、设置主函数、javac、jar清单文件编写、验证、部署等步骤。
恩，之所以有这篇博客，是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop，其实我自己不这么混搭的，既然有童鞋这么问了，那我就索性随着折腾一把了。 首先说明几点： 远程调试对于本地hadoop版本、远程hadoop版本、eclipse版本都有极为严格的兼容性要求，我所采用的版本如下： （1）本地hadoop：0.20.203（如果客户端和服务端hadoop版本不匹配可能会有协议错误） （2）远程hadoop：0.20.203（因为各个版本的ipc协议都
搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建） http://www.linuxidc.com/Linux/2011-12/48894.htm
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git
学习Hadoop有两天了，配置Hadoop到环境也用了两天，将自己在Ubuntu 14.04下Hadoop Eclipse 环境配置过程写在这里，希望对大家有所帮助！
在集成R和hadoop之前需要将hadoop以及R运行环境安装好,hadoop的安装可参见hadoop2.4.1安装笔记. 1.下载相关安装包:
开篇：Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为了降低Hadoop的难度，开发出了Hadoop Eclipse插件，它可以直接嵌入到Hadoop开发环境中，从而实现了开发环境的图形界面化，降低了编程的难度。
首先下载Eclipse LUNA，这里注意如果你是想在远程电脑上使用eclipse，也就是hadoop安装在linux下，而你想在win系列的电脑上连接并编写MapReduce程序，那么需要进行一项配置。
1、官网下载maven：https://maven.apache.org/download.cgi 2、上传到虚拟机进行解压缩操作： [hadoop@slaver1 package]$ tar -zx
Windows10（64位）中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置 1 系统配置 Windows10（64位） Eclipse Luna Service Release 2 (4.4.2 64位) Hadoop2.6.0 JDK1.8.0（64位） SVN1.8.6 ANT1.9.6 2 Eclipse和Hadoop插件制作 具体制作步骤参考文章：http://my.osch
https://blog.csdn.net/s_lisheng/article/details/78302750
1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分：hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单，部署后就 可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署就比较复杂一点，不同版本对环境的要求度 高低不同就导致部署的复杂度大相径庭。例如hadoop1包括以前的版本部署就比较简单，可在windows和Linux执行部署运行，而hadoop2 及以上版本对环境要求就比较严格
Window->preference->HadoopMapReduce 设置好Hadoop的安装目录
一、项目结构 在Hadoop代码结构中，按照功能的不同将项目划分到不同目录当中。 整个项目可以用maven进行构建，因此根目录下有pom.xml文件。 每个子目录也可作为独立的maven项目进行编译，
导入Hadoop相关源码，真是一件不容易的事情，各种错误，各种红，让你体验一下解决万里江山一片红的爽快！
一、eclipse安装过程 首先确保在安装eclipse之前已经安装好Java虚拟机 1. eclipse官网下载压缩包 下载地址：http://www.eclipse.org/downloads/
很多hadoop初学者估计都我一样，由于没有足够的机器资源，只能在虚拟机里弄一个linux安装hadoop的伪分布，然后在host机上win7里使用eclipse或Intellj idea来写代码测试，那么问题来了，win7下的eclipse或intellij idea如何远程提交map/reduce任务到远程hadoop，并断点调试？ 一、准备工作 1.1 在win7中，找一个目录，解压hadoop-2.6.0，本文中是D:\yangjm\Code\study\hadoop\hadoop-2.6.0 (以
hadoop与myeclipse连接插件所放位置：D:\software\myeclipse\MyEclipse 10\dropins 参考： 1、找到Hadoop Eclipse Plugin 插件 jar包 具体插件的位置如下： ..\hadoop-0.21.0\mapred\contrib\eclipse-plugin\hadoop-0.21.0-eclipse-plugin.jar 找到该插件之后，复制 2、找到MyElipse安装目录 我的MyEclipse版本是8.
下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse
在Windows的eclipse上写hdfs的API程序，都会遇到两个错误，在网上查了很多资料，都没有解决的办法，经过了很多时间的研究，终于把这个问题解决了 错误是 1.java.io.IOException :HADOOP_HOME or hadoop.home.dir are not set. 2.java.io.IOException:could not locate executable D:\hadoop-2.6.4\hadoop-2.6.4\bin/winutils.exe in the
离线数据分析平台实战——035Windows开发环境搭建（已安装跳过） Maven环境搭建 下载maven压缩包apache-maven-3.0.5-bin.zip， 下载地址http://archive.apache.org/dist/maven。 搭建步骤： 解压压缩包。 配置MAVEN_HOME环境变量，并将maven的执行命令添加到path中去。 修改maven的默认本地库位置。 使用mvn -v测试是否安装成功。 Maven官网: http://maven.apache.org/ 搭建eclip
上一篇主要写了hive2.1.1源码编译并编译成eclipse项目，这一篇主要写将hive2.1.1源码导入eclipse以及运行hive命令的入口类CliDriver.java。在导入及运行的过程会遇到各种各样的问题，本文写了自己遇到的问题及解决方案。把项目跑起来非常重要，这些都是我们后面分析调试hive编译模块源码的基础。
折腾hadoop的调试很久了，一直都没折腾对，查过很多资料，但是都没试出来，最终在不断地尝试当中调试出来了，所以想把这个过程记录下来，和大家分享一下。 调试分为两部分，MapReduce的调试和源码的调试。 MapReduce的调试很简单，首先要部署好hadoop，这个我就不说了，自己去百度。部署好之后，下载Hadoop对应的eclipse插件，有了这个插件之后，变得异常简单。 这是我在网上下的hadoop1.1.2的eclipse插件的地址：http://download.c
刚开始学Spark，之前一直都是在服务器里用Spark-shell进行简单学习的，后来觉得这样实在是很不方便，于是就决定利用Eclipse ide来进行开发，不过这当中遇到了很多问题，搞了半天总算搞得差不多了，下面就记录下环境搭建的步骤方便重新配置。
图文详解Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0开发环境，给需要的朋友参考学习。
在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，经过试验，总结了如何在windows下使用Eclipse来开发hadoop程序代码。 1、需要下载hadoop的专门插件jar包 hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，把插件包下载后，jar包名字为hadoop-eclipse-plugin-2.3.0，可以适用于hadoop2x系列软件版本。 2、把插件包放到eclipse/plugins目录下 为了以后方便，我这里把尽可能多的jar包都放进来了。 3、重启eclipse，配置Hadoopinstallationdirectory 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有HadoopMap/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。 4、配置Map/ReduceLocations 打开Windows-->OpenPerspective-->Other 选择Map/Reduce，点击OK，在右下方看到有个Map/ReduceLocations的图标，点击Map/ReduceLocation选项卡，点击右边小象图标，打开HadoopLocation配置窗口：输入LocationName，任意名称即可.配置Map/ReduceMaster和DFSMastrer，Host和Port配置成与core-site.xml的设置一致即可。 去找core-site.xml配置： fs.default.namehdfs://name01:9000 点击"Finish"按钮，关闭窗口。点击左侧的DFSLocations—>myhadoop（上一步配置的locationname)，如能看到user，表示安装成功，但是进去看到报错信息：Error:Permissiondenied:user=root,access=READ_EXECUTE,inode="/tmp";hadoop:supergroup:drwx---------。 应该是权限问题：把/tmp/目录下面所有的关于hadoop的文件夹设置成hadoop用户所有然后分配授予777权限。 cd/tmp/ chmod777/tmp/ chown-Rhadoop.hadoop/tmp/hsperfdata_root 之后重新连接打开DFSLocations就显示正常了。 Map/ReduceMaster(此处为Hadoop集群的Map/Reduce地址，应该和mapred-site.xml中的mapred.job.tracker设置相同) （1）：点击报错： Aninternalerroroccurredduring:"ConnectingtoDFShadoopname01". java.net.UnknownHostException:name01 直接在hostname那一栏里面设置ip地址为：192.168.52.128，即可，这样就正常打开了，如下图所示： 5、新建WordCount项目 File—>Project，选择Map/ReduceProject，输入项目名称WordCount等。 在WordCount项目里新建class，名称为WordCount，报错代码如下：InvalidHadoopRuntimespecified;pleaseclick'ConfigureHadoopinstalldirectory'orfillinlibrarylocationinputfield，报错原因是目录选择不对，不能选择在跟目录E:\hadoop下，换成E:\u\hadoop\就可以了，如下所示： 一路下一步过去，点击Finished按钮，完成工程创建，Eclipse控制台下面出现如下信息： 14-12-9下午04时03分10秒:EclipseisrunninginaJRE,butaJDKisrequired SomeMavenpluginsmaynotworkwhenimportingprojectsorupdatingsourcefolders. 14-12-9下午04时03分13秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Updatingindexcentral|http://repo1.maven.o
eclipse工具下hadoop环境搭建: window10操作系统中搭建eclipse64开发系统，配置hadoop的eclipse插件，让eclipse可以查看Hdfs中的文件内容。
一、导入hadoop插件到eclipse 插件名称：hadoop-eclipse-plugin-2.7.0.jar 我是从网上下载的，还可以自己编译。 放到eclipse安装目录下的plugins文件夹 tip： 1、竟然没有plugins文件夹，自己在安装目录下新建了个文件夹 2、重启eclipse后，一直无法看到网上描述的结果，于是删除了eclipse安装目录下的这个文件：platform.xml（去安装目录下全局搜索），再次重启，ok。 重启eclipse->window->Preferences:
1）马克-to-win @ 马克java社区：网上下载hadoop-eclipse-plugin-2.7.4.jar，将该jar包拷贝到Eclipse安装目录下的dropins文件夹下，我的目录是C:\Users\test\eclipse\jee-oxygen\eclipse\dropins，然后重启Eclipse就可以看到MapReduce选项了。
在Ubuntu下用eclipse连接集群查看文件信息提示9000端口拒绝连接的错误 Cannot connect to the Map/Reduce location: Hadoop1.0.3
解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题，ljavalangstring 一．简介 Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并
从异常信息知是jar包版本导致的，因为Javalin requires javax.servlet version 3.1.0
1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(hadoop-mapreduce.jar)，上传到服务器
描述：在Windows下使用Eclipse进行Hadoop的程序编写，然后Run on hadoop 后，出现如下错误：
伪分布式 hadoop的三种安装方式： Local (Standalone) Mode Pseudo-Distributed Mode Fully-Distributed Mode 安装之前需要 $ sudo apt-get install ssh $ sudo apt-get install rsync 详见：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 伪分布
确保机器可以正常访问Internet，如能正常访问https://repo.maven.apache.org等，如果是代理方式则需要设置好eclipse和maven的网络配置。
ERROR hbase.HServerAddress: Could not resolve the DNS name of ubuntu118 Exception in thread "main" java.lang.IllegalArgumentException: hostname can't be null at java.net.InetSocketAddress.<init>(InetSocketAddress.java:121) at org.apache.had
解压hadoop-1.2.1.tar（E:\software\share\hadoop-1.2.1）
本文介绍了如何在Windows系统下配置Hadoop环境，并实现通过Java操作HBase进行数据表创建、删除、更新和查询。主要包括了配置环境变量、配置Hadoop、创建HBase表、使用HBase Java API进行操作等步骤。在开发过程中需要注意一些细节，例如环境变量配置、HBase和Hadoop的版本适配问题等。通过本文的介绍，可以帮助开发人员快速搭建起一套可运行的Hadoop和HBase集成环境，为进一步的Hadoop和HBase应用开发提供支持。
以下将介绍以下开发完MapReduce程序后，提交运行的几个模式。 本地模型运行 在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata) 在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
1：在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行
Win7环境下通过Eclipse连接Hadoop1.2.1集群时，会遇到如下报错： Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
然后下载插件，我这里用的是2.6.0版本插件地址，下载完成后找到release文件夹，将其复制
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
