基于Ubuntu的Hadoop集群安装与配置

男娘i 2022-06-18 10:46 226阅读 0赞

因为学习的需要，需要部署一个hadoop的集群，在网上有很多的hadoop集群安装教程但是有的不够详细而且中间有的问题没有指出来我结合了一些安装的教程，在这里通过结合我自己搭建的过程以及遇到的一些问题写出一篇比较完善的安装教程。

--------------------

首先说明下我的安装环境，我但是在一台ubuntu系统的主机和一台windows上安装两个虚拟机ubuntu来搭建集群。ubuntu的版本都是14.04的桌面版的。

## 安装的步骤： ##

*  为防止权限不够，三台机器均开启root登录。
 *  为三台机器分配IP地址及相应的角色。
 *  对三台机器进行jdk安装并配置环境变量。
 *  对三台机器进行ssh(安全外壳协议)远程无密码登录安装配置。
 *  进行Hadoop集群完全分布式的安装配置。

--------------------

## 一、三台机器开启root登录 ##

针对ubuntu-14.04默认是不开启root用户登录的，在这里开启root登录，只需要修改50-ubuntu.conf即可，  
命令如下：  
![这里写图片描述][SouthEast]

添加内容如下：  
![这里写图片描述][SouthEast 1]  
配置完成后开启root账号命令如下：

sudo passwd root

根据提示输入root账号密码。  
重启ubuntu，登录窗口会有“登录”选项，这时候我们就可以通过root登录了。

![这里写图片描述][SouthEast 2]

--------------------

## 二、在三台主机上分别设置/etc/hosts 以及 /etc/hostname ##

hosts文件用于定义主机名与IP地址之间的对应关系(三台主机配置相同)。  
命令如下：

![这里写图片描述][SouthEast 3]

配置结果如下：

![这里写图片描述][SouthEast 4]  
hostname这个文件用于定义Ubuntu的主机名  
（不同ip对应的名字不同10.31.44.117对应master,10.31.44.200对应slaver1,10.31.44.201对应slaver2）。  
命令：

vim /etc/hostname

“你的主机名”（master,slaver1,slaver2）  
重启

> 配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

ping Master -c 3   # 只ping 3次，否则要按 Ctrl+c 中断
       ping Slave1 -c 3

例如我在 Master 节点上 ping Slave1，ping 通的话会显示 time，显示的结果如下图所示：

![这里写图片描述][install-hadoop-cluster-04-ping-slave.png]

> 还有一点要注意，在使用虚拟机的时候，需要将虚拟机的ip设置为直接的物理网络，默认的是共享的主机的ip地址，否则ping不通。

![这里写图片描述][SouthEast 5]

--------------------

## 三、安装jdk ##

> 使用命令apt-get install openjdk-7-jdk 进行安装JAVA环境。

![这里写图片描述][SouthEast 6]

> 按照以上命令安装完成后可以查看jdk安装目录

![这里写图片描述][SouthEast 7]  
配置系统环境变量命令如下：  
![这里写图片描述][SouthEast 8]

> 添加环境变量内容如下：

![这里写图片描述][SouthEast 9]

> 在/etc/profile文件末尾添加java用户环境变量如下：

![这里写图片描述][SouthEast 10]

至此JDK安装配置完成。

> 验证的话就用java -version 来验证，成功的话会输出java的版本信息。

![这里写图片描述][install-hadoop-11-echo-java-home.png]

> 注意为了防止有其他的意外，最好是将每个主机上安装版本一样的jdk

--------------------

## 四、安装ssh配置免密登录 ##

使用ssh命令来安装ssh：

apt-get install ssh

安装完成之后会出现以下两个进程：

![这里写图片描述][SouthEast 11]  
如果缺少了以上的任意一个进程，可以通过重新安装下载对应的ssh版本：

apt-get install openssh-client #对应的ssh-agent进程
    apt-get install openssh-server #对应的sshd进程

> 我安装完之后，死活看不到ssh-agent进程，在网上找到了解决的办法，使用命令

eval ssh-agent

即可以启动。

免密登录是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
        rm ./id_rsa*            # 删除之前生成的公匙（如果有）
        ssh-keygen -t rsa       # 一直按回车就可以

让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

cat ./id_rsa.pub >> ./authorized_keys

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1 节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp 是 secure copy 的简写，用于在 Linux 下进行远程拷贝文件，类似于 cp 命令，不过 cp 只能在本机中拷贝。执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop)，输入完成后会提示传输完毕，如下图所示：

![这里写图片描述][install-hadoop-cluster-05-scp.png]

接着在 Slave1 节点上，将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
        cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
        rm ~/id_rsa.pub    # 用完就可以删掉了

如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。

这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验，如下图所示：

![这里写图片描述][install-hadoop-cluster-06-ssh-slave.png]

## 配置PATH 变量 ##

在进行分布式的配置前先要将hadoop的安装目录加入到path变量中，需要在master节点上进行配置  
首先执行命令：

vim ~/.bashrc

然后在文件中加入：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

如下图所示：

![这里写图片描述][install-hadoop-cluster-07-path.png]

--------------------

## 五、 搭建集群/分布式环境 ##

Hadoop 2 可以通过 [http://mirror.bit.edu.cn/apache/hadoop/common/][http_mirror.bit.edu.cn_apache_hadoop_common] 或者 [http://mirrors.cnnic.cn/apache/hadoop/common/][http_mirrors.cnnic.cn_apache_hadoop_common] 下载，一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

选择将hadoop安装到/usr/local/中：

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
        cd /usr/local/
        sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
        sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
        ./bin/hadoop version

> 以上的安装仅在master节点上安装，因为在配置完文件后，可以将整个hadoop文件传给Slave节点

--------------------

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。

本教程让 Master 节点仅作为 NameNode 使用，因此将文件中原来的 localhost 删除，只添加一行内容：Slave1。

2, 文件 core-site.xml 改为下面的配置：

<configuration>
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://Master:9000</value>
                </property>
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>file:/usr/local/hadoop/tmp</value>
                        <description>Abase for other temporary directories.</description>
                </property>
        </configuration>

3, 文件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：

<configuration>
                <property>
                        <name>dfs.namenode.secondary.http-address</name>
                        <value>Master:50090</value>
                </property>
                <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                </property>
                <property>
                        <name>dfs.namenode.name.dir</name>
                        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
                </property>
                <property>
                        <name>dfs.datanode.data.dir</name>
                        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
                </property>
        </configuration>

4, 文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

<configuration>
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
                <property>
                        <name>mapreduce.jobhistory.address</name>
                        <value>Master:10020</value>
                </property>
                <property>
                        <name>mapreduce.jobhistory.webapp.address</name>
                        <value>Master:19888</value>
                </property>
        </configuration>

5, 文件 yarn-site.xml：

<configuration>
                <property>
                        <name>yarn.resourcemanager.hostname</name>
                        <value>Master</value>
                </property>
                <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                </property>
        </configuration>

> 配置好后，将 Master 上的 /usr/local/Hadoop  
> 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

cd /usr/local
        sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
        sudo rm -r ./hadoop/logs/*   # 删除日志文件
        tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
        cd ~
        scp ./hadoop.master.tar.gz Slave1:/home/hadoop

在 Slave1 节点上执行：

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
        sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
        sudo chown -R hadoop /usr/local/hadoop

同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。

首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

start-dfs.sh
        start-yarn.sh
        mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：

![这里写图片描述][install-hadoop-cluster-07-jps-master.png]

在 Slave 节点可以看到 DataNode 和 NodeManager 进程，如下图所示：

![这里写图片描述][install-hadoop-cluster-08-jps-slave.png]

缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 1 个 Datanodes：

![这里写图片描述][install-hadoop-cluster-09-dfsadmin.png]

--------------------

## 执行分布式实例 ##

为了确保分布式集群能够正常的使用，这里我们执行一个例子。

> 首先创建 HDFS 上的用户目录：

hdfs dfs -mkdir -p /input

将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：

hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml /input

> 我这里在执行的时候出现了WARN hdfs.DFSClient: DataStreamer Exception错误，经过排查，发现是因为ubuntu的防火墙没有关闭，解决方法如下：

执行sudo ufw disable
    
    执行bin/stop-all.sh
    
    执行bin/start-all.sh

> 还有一种原因是内存不够，这就需要把hdfs文件系统的配置文件hdfs-site.conf中添加全局参数dfs.block.size的参数修改一下，如下图：

![这里写图片描述][SouthEast 12]

接着就可以运行 MapReduce 作业了：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示 Job 的进度。

可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。

![这里写图片描述][install-hadoop-cluster-11-running-job.png]

同样可以通过 Web 界面查看任务进度 [http://master:8088/cluster][http_master_8088_cluster]，在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息，如下图所示：

![这里写图片描述][install-hadoop-cluster-12-web-cluster.png]

执行完毕后的输出结果：

![这里写图片描述][install-hadoop-cluster-13-grep-output.png]

> 关闭 Hadoop 集群也是在 Master 节点上执行的：

stop-yarn.sh
        stop-dfs.sh
        mr-jobhistory-daemon.sh stop historyserver

此外，同伪分布式一样，也可以不启动 YARN，但要记得改掉 mapred-site.xml 的文件名。

以上就是 Hadoop 的集群搭建与基本使用了。其实hadoop是一件非常强大的工具，更多的东西需要慢慢的探索与学习。配置的过程中有哪些错误还希望指出来！

[SouthEast]: /images/20220618/a6f6c3c8a482422d8e3ecfc71c92728e.png
[SouthEast 1]: /images/20220618/40422c0bdfac4bc19837ffff8424b5a2.png
[SouthEast 2]: /images/20220618/fa4fb2543bc44b34ad8d8ce05956b9df.png
[SouthEast 3]: /images/20220618/df140024216143d2b3670243f44b0180.png
[SouthEast 4]: /images/20220618/b1fbc38a92244a0c8d80ffd0e86f8747.png
[install-hadoop-cluster-04-ping-slave.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-04-ping-slave.png
[SouthEast 5]: /images/20220618/7e1ff241efa242b88319b646976c2b64.png
[SouthEast 6]: /images/20220618/a9224b7c4ea54fafbb74b4896e4185e7.png
[SouthEast 7]: /images/20220618/7c6cf56e255e42459a36484e2252073d.png
[SouthEast 8]: /images/20220618/f8c208c30c2448d49ab9039af368cd50.png
[SouthEast 9]: /images/20220618/ab56d8d171c24665adb93230971310d6.png
[SouthEast 10]: /images/20220618/2ffb6cb5cc0648ab9d2b460148568e8d.png
[install-hadoop-11-echo-java-home.png]: http://cdn.powerxing.com/imgs/install-hadoop-11-echo-java-home.png
[SouthEast 11]: /images/20220618/639f86aeffc14ad08755f66595bd02a2.png
[install-hadoop-cluster-05-scp.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-05-scp.png
[install-hadoop-cluster-06-ssh-slave.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-06-ssh-slave.png
[install-hadoop-cluster-07-path.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-07-path.png
[http_mirror.bit.edu.cn_apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[http_mirrors.cnnic.cn_apache_hadoop_common]: http://mirrors.cnnic.cn/apache/hadoop/common/
[install-hadoop-cluster-07-jps-master.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-07-jps-master.png
[install-hadoop-cluster-08-jps-slave.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-08-jps-slave.png
[install-hadoop-cluster-09-dfsadmin.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-09-dfsadmin.png
[SouthEast 12]: /images/20220618/e77133f2f5c046e1857c4e8ff589bd65.png
[install-hadoop-cluster-11-running-job.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-11-running-job.png
[http_master_8088_cluster]: http://master:8088/cluster
[install-hadoop-cluster-12-web-cluster.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-12-web-cluster.png
[install-hadoop-cluster-13-grep-output.png]: http://cdn.powerxing.com/imgs/install-hadoop-cluster-13-grep-output.png