大数据学习笔记——hadoop1.2.1 eclipse_plugin编译、安装及使用

深藏阁楼爱情的钟 2022-08-21 04:13 135阅读 0赞

hadoop自带了eclipse的插件，但是其jar包需要我们自己对其提供的源码进行编译，在hadoop的src/contrib/目录下可以看到eclipse-plugin文件夹，此中包含的即是我们所需要的eclipse插件的源码工程，如下图：  
![eclipse\_plugin][eclipse_plugin]

### 1.eclipse-plugin——MapReduceTool编译 ###

1）打开eclipse软件，导入“hadoop-1.2.1\\src\\contrib\\eclipse-plugin”中的工程。  
2）导入工程后，会有java build path相关的错误，我们右击“MapReduceTool工程”在properties中找到java build path，我们可看到在libraries中的hadoop-core.jar在”./lib”目录下找不到，我们在工程中创建lib目录，同时将hadoop-1.2.1目录下的hadoop-core-1.2.1.jar拷贝到lib目录下，同时改名为hadoop-core.jar。  
3）hadoop eclipse插件采用的是ANT进行打包编译，hadoop为我们编写好了ANT编译所需环境的配置代码，我们需要将“hadoop-1.2.1\\src\\contrib\\bulid\_contrib.xml”文件复制到工程根目录下即可。

下图是eclipse插件树形结构图：  
![工程目录][20160314155430639]

4）修改ant编译配置文件”build.xml”、“build-contrib.xml”  
① 在build-contrib.xml中添加hadoop目录属性、eclipse目录属性和版本号，添加代码如下：

![环境变量配置][20160314155800242]

② 修改build.xml

<import file="../build-contrib.xml" />
                        ↓
    <import file="build-contrib.xml" />

<path id="hadoop-jars">
        <fileset dir="${hadoop.root}">
            <include name="hadoop-*.jar" />
        </fileset>
    </path>

build.xml文件修改完后如下图：  
![build][]

5）修改“MANIFEST.MF”文件

修改属性：
    Bundle-ClassPath: classes/,
     lib/hadoop-core.jar
    为：
    Bundle-ClassPath: classes/,
     lib/hadoop-core.jar,
     lib/

如下图：  
![MANIFEST][]

6）添加ANT编译器  
工程右键->Properties，打开Properties对话框，在Builders中添加ANT编译器，如下图：  
![Builders][]

7）选中项目，点击”Project->Build Project”对工程进行编译，编译成功如下图：  
![编译成功][20160314230556277]  
从编译结果中可以看到我们所需要的插件jar包为“C:\\Workspace\\JAVA\\hadoop-1.2.1\\hadoop-1.2.1\\build\\contrib\\eclipse-plugin\\hadoop-eclipse-plugin-1.2.1.jar”。

### 2.eclipse插件安装 ###

将上面编译好的hadoop-eclipse-plugin-1.2.1.jar放入到”eclipse\\plugin”目录下，重启eclipse即可

### 3.eclipse插件使用 ###

1）打开MapReduce Tools View视图  
在Window —> Show View —> Other 找到Map/Reduce Locations，选中打开即可，如下图：  
![eclipse插件][eclipse]  
插件视图如下：  
![插件][20160314231119941]  
2）点击“大象”，弹出hadoop location对话框，填入服务器的相关信息即可，如下图：  
![配置hadoop location][hadoop location]

### 4.eclipse插件编译使用中的问题 ###

1）build工程时报“com.sun.tools.javac.Main is not on the classpath.”错误  
错误内容如下:

> com.sun.tools.javac.Main is not on the classpath.  
> Perhaps JAVA\_HOME does not point to the JDK.  
> It is currently set to “C:\\Program Files (x86)\\Java\\jre1.8.0\_66”

这个错误解决需要如下两步：  
a.JAVA\_HOME没配置，在环境变量中配置JAVA\_HOME为“C:\\Program Files (x86)\\Java\\jdk1.8.0\_66”即可  
b.将“C:\\Program Files (x86)\\Java\\jdk1.8.0\_66\\lib”中的tools.lib拷贝到”C:\\Program Files (x86)\\Java\\jre1.8.0\_66\\lib”中即可

[eclipse_plugin]: /images/20220731/f61a4c533aed4a418a2c994fe3d7a503.png
[20160314155430639]: /images/20220731/92abafeff83d4be4a52eaae52757b746.png
[20160314155800242]: /images/20220731/cc488fc161ed40a3a226faf79e7c92c5.png
[build]: /images/20220731/f8c7269b7d0d485bb49223e48ddaa5a9.png
[MANIFEST]: /images/20220731/3417c771517d44eba87e0e9ab709a5c7.png
[Builders]: /images/20220731/bc49e5e490714de79b77b88c1b6ffdb9.png
[20160314230556277]: /images/20220731/1dc5b025c40b456fb93f4b42e353a5d9.png
[eclipse]: /images/20220731/2a7b6bbc432c47e1a4fe0769742a05bb.png
[20160314231119941]: /images/20220731/47dfe04379a5469fbcdd72d293f35de9.png
[hadoop location]: /images/20220731/8f1328c62193424ebe8de48570471f11.png