Hadoop集群的安装配置

快来打我* 2022-10-11 01:27 375阅读 0赞

**Hadoop 集群的安装配置大致为如下流程:**

1.  选定一台机器作为 Master
2.  在 Master 、slave节点上配置 hadoop 用户、安装 SSH server、[安装 Java 环境][Java]
3.  在Master、 Slave 节点上配置SSH免密码登录
4.  在 Master 节点上安装 Hadoop，并完成配置
5.  将 Master 节点上的 /usr/local/hadoop 目录（Hadoop安装目录）复制到其他 Slave 节点上
6.  在 Master 节点上开启 Hadoop

## 修改服务器主机名、/etc/hosts文件 ##

1.  修改主机名

vi /etc/hostname #添加主机名
    master
    vi /etc/sysconfig/network #添加IP和hostname对应关系
    10.10.5.1  master
    reboot

> 如果是用 CentOS 6.x 系统，则修改 /etc/sysconfig/network 文件，改为 `HOSTNAME=Master`

1.  修改集群中每台机器的host

vim /etc/hosts 
    	10.10.5.1 master
    	10.10.5.2 slave1
    	10.10.5.3 slave2

## 创建hadoop用户 ##

useradd -m hadoop
    passwd hadoop

## 建立集群之间的SSH 免密码登录 ##

1.  切换到Hadoop用户下，生成dsa密钥。每台机器步骤如下

su hadoop
    cd ~/.ssh
    ssh-keygen -t dsa                 # 会有提示，都按回车就可以
    cat id_dsa.pub >> authorized_keys   # 加入授权
    chmod 600 ./authorized_keys       # 修改文件权限，如果不改，无法通过，原因好像是cent os的权限验证比较严格

1.  集群主机之间SSH免密码登录（**以master为例**）
    
    首先将master生成的公匙用scp命令传到所有的slaver上（**以下命令是在master上执行**）

scp ~/.ssh/id_dsa.pub hadoop@slave1:/home/hadoop/.ssh/m_id_dsa.pub
    scp ~/.ssh/id_dsa.pub hadoop@slave2:/home/hadoop/.ssh/m_id_dsa.pub
    scp ~/.ssh/id_dsa.pub hadoop@slave3:/home/hadoop/.ssh/m_id_dsa.pub

1.  使用`hadoop`用户登入slave1/2，将公匙加入到授权中（**以下命令是在slave上执行**）

cat ~/.ssh/m_id_dsa.pub >> ~/.ssh/authorized_keys

> 同理， 对于slave1来说，必须可以ssh master,ssh slave2

scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/s1_id_dsa.pub
    scp ~/.ssh/id_dsa.pub hadoop@slave2:/home/hadoop/.ssh/s1_id_dsa.pub
    #以下命令在master、slave2上执行
    cat ~/.ssh/s1_id_dsa.pub >> ~/.ssh/authorized_keys

> 同理， 对于slave2来说，必须可以ssh master,ssh slave1

scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/s2_id_dsa.pub
    scp ~/.ssh/id_dsa.pub hadoop@slave1:/home/hadoop/.ssh/s2_id_dsa.pub
    #以下命令在master、slave1上执行
    cat ~/.ssh/s2_id_dsa.pub >> ~/.ssh/authorized_keys

## 检查确保集群中的所有节点都可以互相SSH无密码登录 ##

## Hadoop 添加环境变量 ##

vi /etc/profile
    export HADOOP_HOME=/opt/hadoop-3.3.0
    export PATH=$HADOOP_HOME/bin:$PATH
    source /etc/profile           #环境生效
    hadoop version                #查看版本

## 修改hadoop 中的5个配置文件 ##

`更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml`

### hadoop-env.sh ###

vi hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME写上自己jdk 的安装路径

### core-site.xml ###

vi core-site.xml
    
    <property>
    	<name>fs.defaultFS</name>
    	<value>hdfs://node-1:9000</value>
    </property>
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/usr/local/hadoop/tmp</value>
    </property>

### hdfs-site.xml ###

vim hdfs-site.xml
    
    <property>
    	<name>dfs.replication</name>
    	<value>2</value>
    </property>
    
    <property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>slave1:50090</value>
    </property>

### mapred-site.xml ###

mv mapred-site.xml.template mapred-site.xml
    vi mapred-site.xml
    
    <property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>

### yarn-site.xml ###

vim yarn-site.xml
    
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>slave1</value>
    </property>
    
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>

## slaves 文件，里面写上从节点所在的主机名字 ##

> 该文件在hadoop 3.0后改为workers

vim workers
    slave1
    slave2

## 将 Master 上的 Hadoop 文件夹复制到各个节点上 ##

tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
    cd ~/
    scp ./hadoop.master.tar.gz root@slave1:/opt/hadoop  #传输数据
    # 解压(在slave1、slave2上执行)
    tar -zxvf hadoop.master.tar.gz

## 配置好的环境变量也要远程发送给各个节点 ##

scp -r /etc/profile root@slave1:/etc/
    scp -r /etc/profile root@slave2:/etc/
    然后试所有的计算机环境变量生效(在slave1、slave2上执行)
    source /etc/profile

## 启动 ##

**首次启动需要在Master节点执行NameNode格式化：`hdfs namenode -format`**

1.  在启动集群之前需要关闭centos 的防火墙：

service iptables stop   # 关闭防火墙服务
    chkconfig iptables off  # 禁止防火墙开机自启，就不用手动关闭了

1.  在master节点上启动 hadoop

cd /usr/local/hadoop
    sbin/start-all.sh

> mr-jobhistory-daemon.sh start historyserver \#启动jobhistoryserver来实现web查看作业的历史运行情况

另外还需要在 Master 节点上通过命令 `hdfs dfsadmin -report`查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhMTMxMjIzMTg4NjE_size_16_color_FFFFFF_t_70]

[Java]: https://blog.csdn.net/da13122318861/article/details/118398574
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhMTMxMjIzMTg4NjE_size_16_color_FFFFFF_t_70]: /images/20221005/fa30e6a810cb4a6792eff0d53589c2af.png