编译Hadoop源码全流程讲解

╰+攻爆jí腚メ 2022-06-04 02:49 233阅读 0赞

**为什么需要编译Hadoop源码？**

**   ** **因为hadoop官网只提供了32位，若想用64的，需要自己编译，或者下载别人已经编译好的版本。**

**1** **前期准备工作**

1 ） **CentOS** **联网，全程大概需要40分钟，**

\[root@hadoop101  桌面 \]\# vi /etc/sysconfig/network-scripts/ifcfg-eth0

<table style="border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1); width:522px">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">DEVICE=eth0</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">HWADDR=00:0c:29:ca:6e:ec</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">TYPE=Ethernet</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">UUID=9e008bf7-44f6-4e72-8ead-71b8ea7a9b5b</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">ONBOOT=</span> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(255,0,0); font-family:'Times New Roman'">yes</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">NM_CONTROLLED=yes</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">BOOTPROTO=</span> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(255,0,0); font-family:'Times New Roman'">dhcp</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

\[root@hadoop101  桌面 \]\# service network restart

注意： 采用 root 角色编译 ，减少文件夹权限出现问题

2 ） jar 包准备 (hadoop 源码、 JDK7 、  maven 、 ant  、 protobuf)

（ 1 ） hadoop-2.7.2-src.tar.gz

（ 2 ） jdk-7u79-linux-x64.gz

（ 3 ） apache-ant-1.9.9-bin.tar.gz

（ 4 ） apache-maven-3.0.5-bin.tar.gz

（ 5 ） protobuf-2.5.0.tar.gz

## 4.2 jar包安装 ##

0 ）注意：所有操作必须在 root 用户下完成

1 ） JDK 解压、配置环境变量 JAVA\_HOME 和 PATH ，验证 [java][] \-version( 如下都需要验证是否配置成功 )

\[root@hadoop101 software\] \# tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/

\[root@hadoop101 software\]\# vi /etc/profile

<table style="border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1)">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">#JAVA_HOME</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export JAVA_HOME=/opt/module/jdk1.7.0_79</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export PATH=$PATH:$JAVA_HOME/bin</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

\[root@hadoop101 software\]\#source /etc/profile

验证命令： java -version

2 ） Maven 解压、配置  MAVEN\_HOME 和 PATH 。

\[root@hadoop101 software\]\# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/

\[root@hadoop101 apache-maven-3.0.5\]\#  vi /etc/profile

<table style="border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1)">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">#MAVEN_HOME</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export MAVEN_HOME=/opt/module/apache-maven-3.0.5</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export PATH=$PATH:$MAVEN_HOME/bin</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

\[root@hadoop101 software\]\#source /etc/profile

验证命令： mvn -version

3 ） ant 解压、配置  ANT \_HOME 和 PATH 。

\[root@hadoop101 software\]\# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/

\[root@hadoop101 apache-ant-1.9.9\]\# vi /etc/profile

<table style="border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1); width:521px">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">#ANT_HOME</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export ANT_HOME=/opt/module/apache-ant-1.9.9</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export PATH=$PATH:$ANT_HOME/bin</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

\[root@hadoop101 software\]\#source /etc/profile

验证命令： ant -version

4 ）安装   glibc-headers 和    g++   命令如下 :

\[root@hadoop101 apache-ant-1.9.9\]\# yum install glibc-headers

\[root@hadoop101 apache-ant-1.9.9\]\# yum install gcc-c++

5 ）安装 make 和 cmake

\[root@hadoop101 apache-ant-1.9.9\]\# yum install make

\[root@hadoop101 apache-ant-1.9.9\]\# yum install cmake

6 ）解压 protobuf ， 进入到解压后 protobuf 主目录 ， /opt/module/protobuf-2.5.0

然后相继执行命令：

\[root@hadoop101 software\]\# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

\[root@hadoop101 opt\]\# cd /opt/module/protobuf-2.5.0/

\[root@hadoop101 protobuf-2.5.0\]\#./configure

\[root@hadoop101 protobuf-2.5.0\]\# make

\[root@hadoop101 protobuf-2.5.0\]\# make check

\[root@hadoop101 protobuf-2.5.0\]\# make install

\[root@hadoop101 protobuf-2.5.0\]\# ldconfig

\[root@hadoop101 hadoop-dist\]\# vi /etc/profile

<table style="border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1); width:521px">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">#LD_LIBRARY_PATH</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0</span> 
    </div> 
    <div style="min-height:15pt"> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(1,1,1); font-family:'Times New Roman'">export</span> 
     <span style="min-height:15pt; font-size:10pt; color:rgb(255,0,0); font-family:'Times New Roman'"> PATH=$PATH:$LD_LIBRARY_PATH</span> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

\[root@hadoop101 software\]\#source /etc/profile

验证命令： protoc --version

7 ）安装 openssl 库

\[root@hadoop101 software\]\#yum install openssl-devel

8 ）安装  ncurses-devel 库：

\[root@hadoop101 software\]\#yum install ncurses-devel

到此，编译工具安装基本完成。

## 4.3  编译源码 ##

1 ）解压源码到 /opt/tools 目录

\[root@hadoop101 software\]\# tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/

2 ）进入到 hadoop 源码主目录

\[root@hadoop101 hadoop-2.7.2-src\]\# pwd

/opt/hadoop-2.7.2-src

3 ）通过 maven 执行编译命令

\[root@hadoop101 hadoop-2.7.2-src\]\#mvn package -Pdist,native -DskipTests -Dtar

等待时间 30 分钟左右，最终成功是全部 SUCCESS 。

![graphic][]

4 ）成功的 64 位 hadoop 包在 /opt/hadoop-2.7.2-src/hadoop-dist/target 下。

\[root@hadoop101 target\]\# pwd

/opt/hadoop-2.7.2-src/hadoop-dist/target

## 4.4  常见的问题及解决方案 ##

1 ） MAVEN install 时候 JVM 内存溢出

处理方式：在环境配置文件和 maven 的执行文件均可调整 MAVEN\_OPT 的 heap 大小。（详情查阅 MAVEN  编译  JVM 调优问题，如： http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method ）

2 ）编译期间 maven 报错。可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）：

\[root@hadoop101 hadoop-2.7.2-src\]\#mvn package -Pdist,native -DskipTests -Dtar

3 ）报 ant 、 protobuf 等错误，插件下载未完整或者插件版本问题，最开始链接有较多特殊情况，同时推荐

2.7.0 版本的问题汇总帖子    http://www.tuicool.com/articles/IBn63qf

[java]: http://lib.csdn.net/base/javase%20/t%20_blank%20/o%20Java%20SE%D6%AA%CA%B6%BF%E2
[graphic]: