分析几种Hadoop集群部署方式优劣

ゞ浴缸里的玫瑰 2022-06-13 02:45 186阅读 0赞

对hadoop初学者来说，或者说正在使用hadoop的开发者来说，hadoop环境的搭建不是一件省心的事，甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”，可见很多人在搭建环境时会遇到很多问题，并且会花费很多时间，本文将把所有的“玩法”都过一下，相信看完之后，你心里就有数了，将会依据自己的需求来选择合适的搭建方式。

<table style="width:667px;"> 
 <tbody> 
 <tr> 
 <td style="background-color:#4b93d5;"> 部署方式 </td> 
 <td style="background-color:#4b93d5;"> 优势 </td> 
 <td style="background-color:#4b93d5;"> 不足 </td> 
 <td style="background-color:#4b93d5;"> 适合场合 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d0dcef;"> Apache Hadoop 单机 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 单台机器即可 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 简单 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 所需组件少 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 一般不用于生产 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 无HA •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 无法体现分布式 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 初学 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 开发测试 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 小规模试用 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e9eef7;"> Apache Hadoop 集群 </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 灵活的版本选择 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 自主可控性较好 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 应用场景广泛 </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 需专业人员管理 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 组件间兼容性差 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 配置、运维复杂 </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 学习 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 开发测试 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 生产环境 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d0dcef;"> CDH或 HDP </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Web管理和监控 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 开源厂商支持 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 兼容性和稳定高 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 仍需大量配置 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 受制于厂商 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 更新版本稍慢 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 开发测试 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 生产环境 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e9eef7;"> 其它厂商类CDH </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 有自己扩展特性 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 厂商支持 </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 非免费 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 严重受制于厂商 </td> 
 <td style="background-color:#e9eef7;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 生产环境 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#d0dcef;"> 编写shell部署运维脚本 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 自控性好 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 配置简单 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 灵活性好 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 需编写脚本 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 测试费时 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 需不断完善 </td> 
 <td style="background-color:#d0dcef;"> •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 学习 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 开发测试 •&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 生产环境 </td> 
 </tr> 
 </tbody> 
</table>

通过上面的对比，总结如下：

l  初学hadoop，希望快速开始，采用第一种apache单机，无基础的情况下1个小即可完成，有linux基础除掉安装虚拟机、linux的时间，10分钟可完成；

l  用于生产环境或测试环境，采用第三种cdh方式，管理集群都是图形化，但是缺少了对内部深层次的了解；

l  对于深入学习者，已经有一定经验和积累了，可以选最后一种，不断可以深入的了解内部各进程依赖关系，还可以提升shell脚本文件编程水平。

关于每一种环境的详细搭建方式，将会分几个章节在后面分别介绍，另外如果可能也会录制一些免费视频，详细的讲解一下操作步骤。

打个广告，最近录了一门课程，大部分是免费的，忙我凑凑人气哦！ [HBase 设计和编程开发视频课程][HBase]

[HBase]: https://edu.csdn.net/course/detail/10056