hadoop 完全分布式配置

电玩女神 2024-04-18 23:43 67阅读 0赞

**1、客户机**节点

（1） hadoop103 、hadoop104和hadoop105（VMware中虚拟机）。

（2）每台客户机**新建用户：**lys     **登录密码：**123123  ，确保一致。

（3）配置客户机静态ip地址 和主机名

主机名                           ip                                    网关

hadoop103               193.168.80.103                 255.255.255.0

hadoop104               193.168.80.104                 255.255.255.0

hadoop105               193.168.80.105                 255.255.255.0

Ip地址修改：vim  /etc/sysconfig/network-scripts/ifcfg-eth0

主机名修改：vim  /etc/sysconfig/network

（4）将主机名和ip的映射关系添加到 hosts配置文件 ,后续可以使用主机名代替ip地址

$ vim /etc/hosts

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70][]

**选择客户机hadoop103为例进行配置：**

**2、安装jdk**和**hadoop**

** （1）**切换到root账号，在opt下新建目录：module和software

![20190914125959316.png][]

当前目录的权限为root,需要修改为lys(普通用户)权限：

$ su root
    $ chown  lys:lys  /module  /software

![2019091413002586.png][]

***注：software目录存放软件安装包；module目录为软件安装路径；***

**（2）**将hadoop、JDK安装包拷贝到software中（未下载的，请自行下载）。

![20190914130359374.png][]

（3）将解压software中的文件到module

$ tar -zxvf Hadoop-2.7.2.tar.gz   /opt/module
    
    $ tar -zxvf jdk-7u79-linux-x64.gz  /opt/module

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 1][]

（4）jdk和hadoop环境变量配置

$ vim  /etc/profile

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 2][]

（5）验证jdk和hadoop是否安装成功。分别执行如下命令，出现下图信息，表明安装成功

$ java
    
    $ hadoop

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 4][]

**4、配置ssh免密登录**

（1）必须进入/home/lys目录下配置ssh，才是对用户lys生效，同理，在root下配置，只对root用户有效

（2）客户机*hadoop103* 生成公钥并发送给*hadoop104*和*hadoop105*，以后103通过ssh连接104和105将不需要在输入104和105的密码。

（3）进入： /home/lys/.ssh，生成密钥对

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 5][]

（4）公钥拷贝到hadoop104和hadoop105

[lys@hadoop103 .ssh]$ ssh-copy-id hadoop104
    [lys@hadoop103 .ssh]$ ssh-copy-id hadoop105
    [lys@hadoop103 .ssh]$ ssh-copy-id hadoop103（自己拷贝给自己）

*** 到此，****hadoop103****通过****ssh****连接****hadoop104****和****hadoop105将不要输入密码。按照相同的方式配置****hadoop104****和****hadoop105****，可使得相互之间****ssh****连接实现免密登录。***

**5、修改配置文件**

（1）节点运行任务规划

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 6][]

*注：**hadoop103        start-dfs.sh(**启动**nameNode  dataNode  secondaryNameNode)*

*       Hadoop104       start-yarn.sh(**启动**yarn) *

（2）需要修改的配置文件（**/opt/module/hadoop-2.7.2/etc/hadoop  目录下的配置文件**）

①core-site.xml             配置nameNode地址    hdfs文件保存路径

![20190914133252343.png][]

② Hadoop-env.sh             配置 jdk地址（将文件中的JAVA\_HOME去掉，并修改为jkd解压路径）

![20190914133304367.png][]

③Hdfs-site.xml           secondarynamenode    副本数

![20190914133454706.png][]

④ Slaves                     集群节点ip

![20190914133502363.png][]

⑤Yarn-env.sh             jdk地址（将文件中的JAVA\_HOME去掉，并修改为jkd解压路径）

![20190914133515250.png][]

⑥Yarn-site.xml         nodemanager    和resourcemanager

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 7][]

⑦Mapreduce-site.xml      本地运行yarn

![20190914133539819.png][]

⑧Mapreduce-env.sh     jdk地址（将文件中的JAVA\_HOME去掉，并修改为jkd解压路径）

![20190914133559197.png][]

到此，hadoop103配置完毕，将hadoop103的配置文件复制一份到hadoop104和hadoop105，则可减少配置时间。、

**特别注意：**hadoop103、hadoop104和hadoop105都需要配置ssh免密登录，否则后续启动集群失败。

**7、格式化 nameNode**

所有客户机配置完成后，需要格式化一次nameNode

$ hdfs namenode -format

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 8][]

**8、启动集群**

(1)在配置了namenode节点的hadoop103上启动集群

$ start-dfs.sh   #运行集群节点
    
    $ jps            #节点进程查询

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 9][]

从上图看到。nameNode和dataNode启动成功，

（2）在配置了namenode节点的hadoop103上关闭集群

$ stop-dfs.sh   #关闭集群节点
    
    $ jps            #节点进程查询

**9、启动yarn资源管理器**

（1）在配置了resouremanager的hadoop104启动yarn资源管理器

$ start-yarn.sh   #运行集群节点
    
    $ jps            #节点进程查询

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 10][]

（2）在配置了resouremanager的hadoop104关闭yarn资源管理器

$ stop-yarn.sh   #关闭集群节点
    
    $ jps            #节点进程查询

**10.集群启动成功如下图所示**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 13][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/df208e1cf00e41c790a81fea06100e92.png
[20190914125959316.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/698fb7f27606479c9cd08b7b5cba9fb2.png
[2019091413002586.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/05d3c7d0a42d4d14b37f8be7f3489a59.png
[20190914130359374.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e3277aa79f1e4307aad14e759c8751d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/af5b50242fd242c4904edb95f848184f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7893ffc59dd8466e81fb39d6ce62477f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/051e207bb3e744559edebae2a38e11c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0facb6dd35cd4266b0db599ebd1ae2ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5c020f217c604a31b504b5a5e774fdf6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4526d1ba913e41ed954b723a658cfabc.png
[20190914133252343.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6418221e12104ced809ad681afd0be98.png
[20190914133304367.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9172f973204944ffa5ea8e3f262e458c.png
[20190914133454706.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/deb59ce0ec3a4449a5d353685bfd7c9e.png
[20190914133502363.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2756480622ed4e5f8e401428683eb9d4.png
[20190914133515250.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ca4140d9e5054f1f951a8dedb1f7ef73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/39446d7ae6bd4f64835696cf431b30a9.png
[20190914133539819.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/dbda3920df9c49908b3946c5f5a274ad.png
[20190914133559197.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/efd5eb9c2f064417bc1c5d0cbf7e006b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c7666108a99a4e62847c6b91e7078cd7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/b4353316ace943c7bb541cb1c8732fb5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0c821a5014874f0392b024381c9aa1f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ecb527df45194d0bbe9f5815eba7a6cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ced2f310cefc486e84c554bcd41686cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzM1MTg0NTc2_size_16_color_FFFFFF_t_70 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9d5948d174a84105a600dcf5ef177f76.png