Hadoop 分布式集群搭建(极度重点)

阳光穿透心脏的1/2处 2023-01-04 13:11 176阅读 0赞

### 文章目录 ###

*   *  3.1 搭建目标
     *  3.2 搭建流程
     *   *  ①、核心配置文件
         *  ②、在集群上分发配置好的Hadoop配置文件
         *  ③、集群单点启动
     *  3.3 启动集群

## 3.1 搭建目标 ##

因为机子硬件的限制（这里 Cris 的电脑为 16G 内存），只好进行如下环境搭建  
![在这里插入图片描述][20210109222252911.png]

实际上搭建完整的环境至少需要六台虚拟机，由于条件所限，这里就勉为其难的凑合成3台  
具体的各个组件的名称以及每个节点的 身份 这里不再介绍，如果不懂请 Google

## 3.2 搭建流程 ##

101，102，103 号机子都有自己的 Java 和 Hadoop 环境，这里我们选择 101 号作为  
Hadoop 环境配置的主机，配置完毕后直接同步到 102，103 号机即可

### ①、核心配置文件 ###

这里Cris 先设置一下权限，必须确保 /opt/software 和 /opt/module 的所属人和所属组都是 cris  
![在这里插入图片描述][20210109222523608.png]

认真按照前两章搭配是没有这个问题的，知悉  
修改核心配置文件 core-site.xml  
![在这里插入图片描述][2021010922254923.png]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]

修改HDFS 配置文件

hadoop-env.sh  
![在这里插入图片描述][2021010922264717.png]![在这里插入图片描述][20210109222653105.png]

hdfs-site.xml  
输入 vim hdfs-site.xml ，修改如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]

修改YARN 配置文件

yarn-env.sh  
![在这里插入图片描述][20210109222737861.png]

yarn-site.xml  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]

MapReduce配置文件

mapred-env.sh  
![在这里插入图片描述][20210109222800462.png]

mapred-site.xml  
![在这里插入图片描述][20210109222845548.png]![在这里插入图片描述][2021010922285026.png]

配置历史服务器  
为了查看程序的历史运行情况，输入 vim mapred-site.xml  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 3]

配置日志的聚集  
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查  
看到程序运行详情，方便开发调试.  
输入 vim yarn-site.xml  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 4]

### ②、在集群上分发配置好的Hadoop配置文件 ###

![在这里插入图片描述][20210109222925376.png]

查看102 和 103 的文件是否同步成功  
102  
![在这里插入图片描述][20210109223006781.png]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 5]

103  
![在这里插入图片描述][20210109223020148.png]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 6]

### ③、集群单点启动 ###

格式化  
![在这里插入图片描述][20210109223036578.png]

101上启动NameNode  
![在这里插入图片描述][20210109223046162.png]

101，102，103 分别启动 DataNode  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 7]

个人建议搭建完毕后单个节点先跑一遍，出现问题及时发现和解决  
然后停止单点服务  
![在这里插入图片描述][20210109223156785.png]

## 3.3 启动集群 ##

配置slaves  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 8]

然后同步该文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 9]

启动集群并测试  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 10]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 11]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 12]

访问对应的web 网页  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 13]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 15]over 看下一篇噢

[20210109222252911.png]: /images/20221119/2943b6c4b5aa45919cfb8f7971963d15.png
[20210109222523608.png]: /images/20221119/50dd7a81e5a345c48414848b04333048.png
[2021010922254923.png]: https://img-blog.csdnimg.cn/2021010922254923.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]: /images/20221119/5f339c3e928c4c79aaccbe0b653be0c3.png
[2021010922264717.png]: https://img-blog.csdnimg.cn/2021010922264717.png
[20210109222653105.png]: /images/20221119/ba8392f141f147899c850f7b83eb50c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]: /images/20221119/43f3ad9c505e43d8885a703dfea1378f.png
[20210109222737861.png]: https://img-blog.csdnimg.cn/20210109222737861.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210109222745750.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20210109222800462.png]: https://img-blog.csdnimg.cn/20210109222800462.png
[20210109222845548.png]: https://img-blog.csdnimg.cn/20210109222845548.png
[2021010922285026.png]: https://img-blog.csdnimg.cn/2021010922285026.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210109222903696.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210109222914536.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20210109222925376.png]: https://img-blog.csdnimg.cn/20210109222925376.png
[20210109223006781.png]: https://img-blog.csdnimg.cn/20210109223006781.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210109223014353.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20210109223020148.png]: https://img-blog.csdnimg.cn/20210109223020148.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/2021010922302695.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20210109223036578.png]: https://img-blog.csdnimg.cn/20210109223036578.png
[20210109223046162.png]: https://img-blog.csdnimg.cn/20210109223046162.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210109223109315.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20210109223156785.png]: https://img-blog.csdnimg.cn/20210109223156785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210109223238365.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210109223249939.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210109223324325.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210109223332339.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210109223347987.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/2021010922340181.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20210109223414506.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/2021010922342383.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70