2、配置Eclipse开发环境
第一次进入Eclipse会提示你选择一个工作区,这个路径下将会做为工程文件的默认保存路径(保存或创建工程时也可以另外自定义,并且后期也可以进行修改),这里三思将其定义到/data/developer/workspace目录下。
点击菜单:Window -> Open Perspective -> Other,选中"Map/Reduce",打开MapReduce视图:
在右下窗口中能够找到"Map/Reduce Locations",正如名称所代表的,此处用来配置路径:
在小窗口的空白位置点击鼠标右键,选中"New Hadoop Location",弹出窗口如下:
在这里需要用户指定下列配置:
- Location name:为配置的路径指定一个名称,名称可以自定义,这里三思将之定义为JSSHadoop;
- Map/Reduce Master:根据hadoop环境中namenode节点conf/mapred-site.xml 文件中的配置而定,指定为mapred.job.tracker参数的值;
- DFS Master:根据hadoop环境中namenode节点conf/core-site.xml文件中的配置而定,指定为fs.default.name的值;
- User name:指定操作用户,一般默认此处显示为操作系统用户名;
配置好后点击Finish。而后在左侧的窗口中就会看到DFS Locations处多了我们刚刚配置的JSSHadoop:
通过层次点开,就能看到我们在HDFS中保存的目录和文件了(如果没有出现,就右键Refresh刷新):
通过这个区域,我们就可以读写HDFS文件系统中的目录和文件了。
不过若要调试HADOOP程序,还需要配置参数,指定Hadoop的软件安装路径,注意本步只是要指定Hadoop软件的路径,并不是要配置HADOOP环境,只需要下载(或复制)一份hadoop文件即可,在Hadoop Map/Reduce参数中指定适当的目录:
至此环境就配置好了,接下来可以创建Map/Reduce项目,进行开发测试。
3、创建项目
点击菜单:File -> New -> Project,在弹出的页面中选择Map/Reduce Project:
选中后弹出页面如下:
本页需要用户指定的内容如下:
- Project name:指定一个项目名称,完全自定义;
- Location:指定项目的存储路径,也可以自定义,默认则是保存在启动Eclipse时指定的工作区文件夹内;
- MapReduce库文件安装路径:就是HADOOP安装路径,使用默认即可;
项目创建后,Eclipse会把相关jar包自动导入。然后我们就可以在这个项目下编写程序,调试HADOOP了。 |