2、配置Eclipse开发环境

第一次进入Eclipse会提示你选择一个工作区,这个路径下将会做为工程文件的默认保存路径(保存或创建工程时也可以另外自定义,并且后期也可以进行修改),这里三思将其定义到/data/developer/workspace目录下。

点击菜单:Window -> Open Perspective -> Other,选中"Map/Reduce",打开MapReduce视图:

在右下窗口中能够找到"Map/Reduce Locations",正如名称所代表的,此处用来配置路径:

在小窗口的空白位置点击鼠标右键,选中"New Hadoop Location",弹出窗口如下:

在这里需要用户指定下列配置:

  • Location name:为配置的路径指定一个名称,名称可以自定义,这里三思将之定义为JSSHadoop;
  • Map/Reduce Master:根据hadoop环境中namenode节点conf/mapred-site.xml 文件中的配置而定,指定为mapred.job.tracker参数的值;
  • DFS Master:根据hadoop环境中namenode节点conf/core-site.xml文件中的配置而定,指定为fs.default.name的值;
  • User name:指定操作用户,一般默认此处显示为操作系统用户名;

配置好后点击Finish。而后在左侧的窗口中就会看到DFS Locations处多了我们刚刚配置的JSSHadoop:

通过层次点开,就能看到我们在HDFS中保存的目录和文件了(如果没有出现,就右键Refresh刷新):

通过这个区域,我们就可以读写HDFS文件系统中的目录和文件了。

不过若要调试HADOOP程序,还需要配置参数,指定Hadoop的软件安装路径,注意本步只是要指定Hadoop软件的路径,并不是要配置HADOOP环境,只需要下载(或复制)一份hadoop文件即可,在Hadoop Map/Reduce参数中指定适当的目录:

至此环境就配置好了,接下来可以创建Map/Reduce项目,进行开发测试。

3、创建项目

点击菜单:File -> New -> Project,在弹出的页面中选择Map/Reduce Project:

选中后弹出页面如下:

本页需要用户指定的内容如下:

  • Project name:指定一个项目名称,完全自定义;
  • Location:指定项目的存储路径,也可以自定义,默认则是保存在启动Eclipse时指定的工作区文件夹内;
  • MapReduce库文件安装路径:就是HADOOP安装路径,使用默认即可;

项目创建后,Eclipse会把相关jar包自动导入。然后我们就可以在这个项目下编写程序,调试HADOOP了。