高可用集群搭建系列文章之一：创建用户、免密钥登录、时间同步

桃扇骨 2024-04-17 21:32 17阅读 0赞

由于工作需要，最近搭建了一系列的大数据相关组件的集群，现在讲搭建的过程和遇到的一些问题进行整理记录，主要包含ZooKeeper、Hadoop、HBase、Hive等集群的搭建。

# 1、服务器环境 #

<table> 
 <thead> 
  <tr> 
   <th>机器</th> 
   <th>IP</th> 
   <th>内存</th> 
   <th>磁盘</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master01</td> 
   <td>192.168.133.16</td> 
   <td>16g</td> 
   <td>200g</td> 
  </tr> 
  <tr> 
   <td>master02</td> 
   <td>192.168.133.17</td> 
   <td>16g</td> 
   <td>200g</td> 
  </tr> 
  <tr> 
   <td>slave01</td> 
   <td>192.168.129.12</td> 
   <td>8g</td> 
   <td>200g</td> 
  </tr> 
  <tr> 
   <td>slave02</td> 
   <td>192.168.129.13</td> 
   <td>8g</td> 
   <td>200g</td> 
  </tr> 
  <tr> 
   <td>slave03</td> 
   <td>192.168.129.14</td> 
   <td>8g</td> 
   <td>200g</td> 
  </tr> 
 </tbody> 
</table>

# 2、集群规划 #

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>master01</th> 
   <th>master02</th> 
   <th>slave01</th> 
   <th>slave02</th> 
   <th>slave03</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zookeeper-3.5.5</td> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
  </tr> 
  <tr> 
   <td>hdfs-2.6.5</td> 
   <td>namenode</td> 
   <td>namenode</td> 
   <td>datanode</td> 
   <td>datanode</td> 
   <td>datanode</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>DFSZKFailoverController</td> 
   <td>DFSZKFailoverController</td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>JournalNode</td> 
   <td>JournalNode</td> 
   <td>JournalNode</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>yarn-2.6.5</td> 
   <td>ResourceManager</td> 
   <td>ResourceManager</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
  </tr> 
  <tr> 
   <td>mr日志</td> 
   <td>JobHistoryServer</td> 
   <td>JobHistoryServer</td> 
   <td>JobHistoryServer</td> 
   <td>JobHistoryServer</td> 
   <td>JobHistoryServer</td> 
  </tr> 
  <tr> 
   <td>mysql-5.5.62</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>mysql</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>时间同步ntpstat</td> 
   <td>同步192.168.133.17</td> 
   <td>同步127.127.1.0</td> 
   <td>同步192.168.133.17</td> 
   <td>同步192.168.133.17</td> 
   <td>同步192.168.133.17</td> 
  </tr> 
  <tr> 
   <td>hbase-2.0.5</td> 
   <td>HMaster</td> 
   <td>HMaster</td> 
   <td>HRegionServer</td> 
   <td>HRegionServer</td> 
   <td>HRegionServer</td> 
  </tr> 
  <tr> 
   <td>sqoop-1.4.7</td> 
   <td>sqoop</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>hive-2.3.6</td> 
   <td>hive</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

# 3、修改机器名称 #

# 3.1 查看机器的名称 #

hostname

### 3.2 修改/etc/sysconfig/network文件，设置主机名 ###

# Created by anaconda
    NETWORKING=yes
    HOSTNAME=master01

### 3.3 修改/etc/hostname文件，设置主机名 ###

master01

### 3.4 重启机器reboot，此时调用hostname即可查看修改后的名称 ###

### 3.5 配置/etc/hosts，添加如下内容 ###

![在这里插入图片描述][20190901170128240.png]

# 4、设置hadoop用户 #

### 4.1 创建hadoop用户 ###

useradd hadoop

### 4.2 添加hadoop用户的密码 ###

passwd hadoop

![在这里插入图片描述][20190722224203420.jpg]

### 4.3 调用visudo命令，为hadoop用户添加sudo权限，中间以\\tab分割 ###

root	ALL=(ALL) 	ALL
    hadoop	ALL=(ALL)	ALL

![在这里插入图片描述][20190901170308862.png]

# 5、配置SSH免密登录 #

由于打算把hadoop装在hadoop用户下，因此需要进入hadoop用户配置免密登录。这里借用了之前写的博客，因此部分截图的名字可能有出入。

### 5.1 在每个节点上执行ssh-keygen -t rsa命令，在~/.ssh目录下将会生成公私钥 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70]

### 5.2 将生成的id\_rsa.pub文件的内容复制到authorized\_keys中。同时将其余四个节点上的id\_rsa.pub都复制到authorized\_keys中，并分发到其余四个节点。 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 1]

### 5.3 调用chmod 644 authorized\_keys命令，修改authorized\_keys文件的权限。 ###

### 5.4 调用ssh slave02命令测试 ###

![在这里插入图片描述][20190901174001840.png]

### 5.5 关闭五个节点的防火墙。 ###

关闭防火墙有以下两种命令：  
第一种命令如下：

systemctl disable firewald.service

如果无法关闭，可以尝试以下命令：

查看防火墙状态：service iptables status
    
    开启防火墙：service iptables start
    
    关闭防火墙：service iptables stop

# 6、时间同步 #

ntp服务不仅可以设置让本机和某台/某些机器做时间同步，它本身还可以扮演一个time server的角色，让其他机器和他同步时间。这里让master02作为服务器，其它四个节点都和其进行时间同步，master02取本地时间。

### 6.1 安装ntp ###

yum –y install ntp

### 6.2 选择一个主节点master02，修改其/etc/ntp.conf，修购后的内容如下（[配置说明][Link 1]）：其中，restrict 192.168.133.17 mask 255.255.248.0 nomodify notrap用于让192.168.133.17/21网段上的机器能和本机做时间同步；server 127.127.1.0用于指定同步的服务器，这里是本地； ###

driftfile /var/lib/ntp/drift
    
    restrict default kod nomodify notrap nopeer noquery
    
    restrict 192.168.133.17  nomodify notrap nopeer noquery
    restrict 192.168.133.17  mask 255.255.248.0 nomodify notrap
    
    restrict 127.0.0.1 
    restrict -6 ::1
    
    server 127.127.1.0
    Fudge 127.127.1.0 stratum 10
    
    includefile /etc/ntp/crypto/pw
    
    keys /etc/ntp/keys

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 2]

### 6.3 其它所有节点，修改其/etc/ntp.conf，修购后的内容如下：其中server 192.168.133.17用于指定同步的服务器，也即是master02节点； ###

driftfile /var/lib/ntp/drift
    
    restrict 192.168.133.17  nomodify notrap nopeer noquery
    restrict 192.168.133.17 mask 255.255.248.0 nomodify notrap
    
    restrict 127.0.0.1 
    restrict -6 ::1
    
    server 192.168.133.17
    Fudge 192.168.133.17 stratum 10
    
    includefile /etc/ntp/crypto/pw
    
    keys /etc/ntp/keys

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 3]

### 6.4 启动服务 ###

service ntpd start

### 6.5 调用命令ntpstat查看ntp服务器有无和上层ntp连通 ###

![在这里插入图片描述][20190901174604318.png]

### 6.6 问题 ###

查看ntp状态时，可能会出现如下所示情况：

1、unsynchronised time server re-starting polling server every 8 s
    2、unsynchronised polling server every 8 s

这种情况属于正常，ntp服务器配置完毕后，需要等待5-10分钟才能与/etc/ntp.conf中配置的标准时间进行同步。等一段时间之后，再次使用ntpstat命令查看状态，就会变成如下正常结果。

# 7、安装JDK #

参考《[虚拟机（VMware14）内CentOS7安装jdk][VMware14_CentOS7_jdk]》

[20190901170128240.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0dc28f44173a44e79118c2d7ed6f74ce.png
[20190722224203420.jpg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/6e0a890d3a6442fa882ac2b194e72cbe.jpg
[20190901170308862.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/464989fa8c7d409d8c0f1c817eb420f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/68db5ef00e50416dbc307ad679c30083.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/b8f9f81b12a743238f053ec1829f94ca.jpg
[20190901174001840.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/ad07d2e643864c16a8a6c38601f88ed8.png
[Link 1]: https://blog.csdn.net/qq_25948717/article/details/80361176
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a26188f9c98345d2a3912af41ba93a35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/dcbf4190f02e4e05820ba455203b8ab5.png
[20190901174604318.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/2dbb12deb5e74a49a1cbbbca0fcdf89c.png
[VMware14_CentOS7_jdk]: https://blog.csdn.net/fenghuibian/article/details/96700585