Hadoop分布式集群搭建，以及ssh互通免密登录！

忘是亡心i 2023-02-22 13:36 11阅读 0赞

前面给大家讲的是hadoop伪分布式的搭建，今天给大家讲解下3台虚拟机的hadoop搭建.

首先安装好3台虚拟机，命名为hadoop2,hadoop2,hadoop4  
都安装好jdk这就不用多说了，这里为了操作方便，3台虚拟机一起下命令；  
分别为每台虚拟机设置主机名  
**hostname hadoop2**  
**hostname hadoop3**  
**hostname hadoop4**  
首先打开xshell,新建3个会话分别命名为 hadoop2,hadoop2,hadoop4；打开这三个窗口，选择最上端的**选项卡**，**排列中选择水平排列**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70][]  
然后选择**工具**栏，找到第一个：**发送键输入到所有会话**  
![20200703151509340.png][]  
这样就可以在一个窗口操作命令，同时控制到3个窗口上了  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1][]  
同时操作之前，分别为每台虚拟机设置静态IP  
**vi /etc/sysconfig/network-scripts/ifcfg-enp0s3**

hadoop2 设置：  
**192.168.5.129 hadoop2**  
hadoop3 设置：  
**192.168.5.129 hadoop3**  
hadoop4 设置：  
**192.168.5.129 hadoop4**  
里面其它配置就不多说了

同时操作3个窗口添加3台主机映射  
**vi /etc/hosts**

**192.168.5.129 hadoop2  
192.168.5.139 hadoop3  
192.168.5.149 hadoop4**

**同时操作配置公私钥，免密登陆**

**ssh-keygen -t rsa -P ''**  
这样每台机就有各自的公私钥

查看是否生成了公私钥  
**cd ~/.ssh/  
ls**  
当出现id\_rsa.pub和 id\_rsa两个文件时说明已生成了公私钥

把公钥生成新的文件  
**cat id\_rsa.pub >> authorized\_keys**

给新的文件授权  
**chmod 600 authorized\_keys**  
这时三个窗口就都生成了新的文件

每台机都拷贝同样的公钥到另2台机上，这样3台机就可以互相免密登录  
**ssh-copy-id -i ~/.ssh/id\_rsa.pub hadoop2**  
**ssh-copy-id -i ~/.ssh/id\_rsa.pub hadoop3**  
**ssh-copy-id -i ~/.ssh/id\_rsa.pub hadoop4**

**解析**  
**ssh- copy-id**命令可以把本地的ssh公钥文件安装到远程主机对应的主机名下  
**注意**  
因为是同时在操作3个窗口，所以当复制本机的ssh公钥时，会提示报错已存在了公钥，但是另外2台会提示输入密码，不用管报错的，直接同时输入密码就好了，这时就会把公钥复制到另外2台机上。

输入登录命令  
**ssh hadoop2**

就会免密同时登录hadoop2这台机了  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 2][]  
退出登录  
**exit**

同时操作去修改hadoop集群的配置文件  
进入hadoop下去修改配置文件  
**cd /opt/soft/hadoop260/etc/hadoop**

修改配置文件hadoop-env.sh 更改jdk环境变量  
**vi hadoop-env.sh**

**export JAVA\_HOME=/opt/soft/jdk180**

修改配置core-site.xml,在configuration添加配置信息  
**vi core-site.xml**

< !-- 指定HDFS中NameNode的地址是hadoop2 -->

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.5.129:9000</value>
    </property>
    
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop260/tmp</value>
    </property>

修改配置文件hdfs-site.xml  
**vi hdfs-site.xml**

<property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    
    
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.5.149:50090</value>
    </property>

配置yarn-env.sh的jdk环境变量，去掉注释  
**vi yarn-env.sh**  
**export JAVA\_HOME=/opt/soft/jdk180**

配置yarn-site.xml  
**vi yarn-site.xml**

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定YARN的ResourceManager的地址是hadoop3的IP--
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.5.139</value>
    </property>
    
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>

配置mapred-site.xml  
**cp mapred-site.xml.template mapred-site.xml**  
**vi mapred-site.xml**

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

配置slaves 把3台虚拟机的主机名添加进去，删掉localhost  
**vi slaves**  
**hadoop2  
hadoop3  
hadoop4**

添加hadoop的环境变量,添加在最后面  
**vi /etc/profile**

export HADOOP_HOME=/opt/soft/hadoop260
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME

激活  
**source /etc/profile**

格式化NameNode 目录  
**hadoop namenode -format**

直接启动所有  
**start-all.sh**

jps查看  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 3][]  
**注意**  
**namenode在hadoop2上启动，  
resourceManager在hadoop3上启动，  
secondaryNamenode在hadoop4上启动**  
只有这样才表示集群搭建成功，  
当同时启动命令时，因为是第一次启动，会要求输入密码，输入密码后，有一台启动很快，另外2台会启动缓慢，**enter**键输入3次就好了，并会在这两台机上出现错误提示**Authentication Failed**，验证失败，不用管，这是因为每一台的启动进程不一样，全部启动的时候会找不到，所以最好分开启动；

**有namenode的hadoop2这台机用sbin/start-dfs.sh命令启动；**  
**有resourceManager的hadoop3这台机用sbin/start-yarn.sh命令启动；**

然后输入jps查看  
到web页面查看  
**hadoop2的网址是 192.168.5.129:50070  
hadoop3的网址是 192.168.5.139:8088**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 4][]

如果觉得同时操作三个窗口麻烦或者不熟练，可以正常按照上面的方法先安装在一台机上；  
然后把hadoop目录远程拷贝到另外两台机上也是可以的。

**单台虚拟机操作步骤：**  
把配好的hadoop2拷贝到hadoop3和hadoop4  
**scp -r /opt/soft/hadoop260 root@hadoop3:$PWD**

**scp -r /opt/soft/hadoop260 root@hadoop4:$PWD**

拷贝好后

格式化HDFS 在安装有namnode这台机上，下这个命令也就是hadoop2这台机，切记  
**hadoop namenode -format**

启动HDFS 在hadoop2 上  
**sbin/start-dfs.sh**

启动yarn在hadoop3 上  
**sbin/start-yarn.sh**

如果**namenode**在hadoop2上启动成功，  
**resourceManager**在hadoop3上启动成功，  
**secondaryNamenode**在hadoop4上启动成功，  
这样的话也就表示集群搭建成功。

个人建议还是同步操作比较好，因为远程拷贝的时候，文件太多，有时会出现拷贝不完整的情况，导致启动会报错，很麻烦。

最后说下时间同步，如果时间不同步的话，会导致拷贝的进程速度不一样，是拷贝两个的文件出现断裂，断档，也就是说当同时拷贝某文件时，每台虚拟机时间时不一样的，一台时间快，一台时间慢，时间不对等会得不到响应，慢的那台会觉得时间没到响应的时间，所以为了不让这种情况发生，必须让集群的时间同步。

**时间同步** 操作步骤：  
在hadoop2这台机上操作，因为有NameNode

下载安装ntp  
**rpm -qa|grep ntp  
yum -y install ntp**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 5][]  
如图所示，说明已经安装成功！

**修改ntp的配置文件  
vi /etc/ntp.conf**

**修改1（设置本地网络上的主机不受限制。）**  
**restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap**  
**去掉这行的注释如下图所示！**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 6][]

**修改2（设置为不采用公共的服务器**）  
**\#server 0.centos.pool.ntp.org iburst  
\#server 1.centos.pool.ntp.org iburst  
\#server 2.centos.pool.ntp.org iburst  
\#server 3.centos.pool.ntp.org iburst**  
**四行都注释掉，如下图所示**  
![20200703213402792.png][]

**添加3（添加默认的一个内部时钟数据，使用它为局域网用户提供服务。）**  
**server 127.127.1.0  
fudge 127.127.1.0 stratum 10**

**修改/etc/sysconfig/ntpd配置  
vi /etc/sysconfig/ntpd**

增加内容如下（让硬件时间与系统时间一起同步）  
**SYNC\_HWCLOCK=yes**

重新启动ntpd  
**systemctl restart ntpd**

每台机安装ntpdate  
**yum -y install ntpdate**

在另外2台机上同步hadoop2的时间  
**ntpdate hadoop2**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 7][]如图所示，已同步hadoop2的时间！

hadoop3和hadoop4配置同步时间的间隔  
**crontab -e**

添加配置

*/10 * * * * /usr/sbin/ntpdate hadoop2 
    每隔10分钟同步时间，根据Hadoop2的时间

![20200703221207205.png][]  
到这里时间也就同步了！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200703151333941.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[20200703151509340.png]: https://img-blog.csdnimg.cn/20200703151509340.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200703151703945.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200703160501356.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/202007031718524.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200703173046587.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200703212912892.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200703213233802.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[20200703213402792.png]: https://img-blog.csdnimg.cn/20200703213402792.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200703214325701.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[20200703221207205.png]: https://img-blog.csdnimg.cn/20200703221207205.png