六十七、搭建Cloudera Manager环境管理大数据集群

阳光穿透心脏的1/2处 2021-09-15 00:22 286阅读 0赞

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

一、环境准备（在所有机器上操作）

查看系统空间的使用情况等

![70][]

配置ip、主机名、主机映射等（重启生效！！）

![70 1][]

禁用ipv6（重启生效！！）

\# echo "alias net-pf-10 off"  >>  /etc/modprobe.d/dist.conf   
\# echo "alias ipv6 off"  >>  /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）

\# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

\# vi /etc/sysconfig/selinux

![70 2][]

ssh免秘钥登录

\# ssh-keygen

\# ssh-copy-id 主机名01

\# ssh-copy-id 主机名02

\# ssh-copy-id 主机名03

安装JDK

![70 3][]

修改用户可用的最大服务器资源限制（重启生效！！）

\# ulimit  -a

\#  vi /etc/security/limits.conf

\*               soft    nofile          32728  
\*               hard    nofile          1024567  
\*               soft    nproc           65535  
\*               hard    nproc           unlimited  
\*               soft    memlock         unlimited  
\*               hard    memlock         unlimited

![70 4][]

二、集群时间服务器

选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01

在hadoop.cm01上修改配置文件

\# vi /etc/ntp.conf

![70 5][]

server  127.127.1.0     \# local clock  
fudge   127.127.1.0 stratum 10

![70 6][]

在所有机器上执行命令：

\# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间，与网络时间同步：

\# ntpdate -u  us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间：

\# hwclock --localtime   //查看本地硬件时钟时间

\# hwclock --localtime -w    //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：

\# vi /etc/sysconfig/ntpdate

SYNC\_HWCLOCK=yes

![70 7][]

\# vi /etc/sysconfig/ntpd   
SYNC\_HWCLOCK=yes

![70 8][]

除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间

![70 9][]

![70 10][]

重启生效：\# service crond restart

三、MySQL的安装部署（在hadoop.cm01上安装即可）

选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源

1、卸载自带的MySQL

\# rpm -qa | grep mysql   
\# rpm -e --nodeps mysql-libs-5.1.66-2.el6\_3.x86\_64

2、安装更新yum源

\# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm

mysql57-community-release-el6-8.noarch.rpm下载地址：[https://download.csdn.net/download/gdkyxy2013/10282525][https_download.csdn.net_download_gdkyxy2013_10282525]

更新后，此目录下出现两个MySQL的源文件

![70 11][]

3、修改上图中的两个文件：

\# vi mysql-community.repo

![70 12][]

\# vi mysql-community-source.repo

![70 13][]

4、更新yum缓存

\# yum makecache

5、查看基于当前系统的yum源可以下载安装的MySQL版本

\# yum repolist enabled | grep mysql

6、yum安装MySQL5.6版本

\# yum -y install mysql-community-server

7、启动MySQL并进行初始化设置

\# service mysqld start   
\# mysql\_secure\_installation

![70 14][]

四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

\# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录：

\# mkdir -p /opt/cloudera-manager  //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：

\# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6\_x86\_64.tar.gz  -C  /opt/cloudera-manager/

![70 15][]

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent  //agent配置文件目录

\# vi  config.ini（所有服务器上都改为下图所示）

![70 16][]

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

\# useradd --system  表示创建的是系统用户  
 --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server  指定了用户的主目录  
 --no-create-home 表示不再创建用户的主目录  
 --shell=/bin/false  不作为登陆用户   
 --comment "Cloudera SCM User"   
 cloudera-scm   用户名

验证：   
\# cat /etc/passwd | grep cloudera-scm

![70 17][]

六、配置CM访问数据库的权限，添加一个temp用户

1、mysql> grant all privileges on  \*.\*  to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ;   需要刷新权限才生效

3、上传mysql-connector-java.jar

\# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema  初始化脚本路径

\# ./scm\_prepare\_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm

七、配置CDH源

1、创建目录

\# mkdir -p /opt/cloudera/parcel-repo   //在server节点上    
\# mkdir -p /opt/cloudera/parcels   //在所有节点上

![70 18][]

2、将parcel文件移动到parcel-repo目录下

\# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel\*  /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

\# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

\# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  //在server节点上  
\# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  //在所有节点上

八、启动CM进程服务

1、启动server   
\# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start    
  
2、启动agent   
\# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入：http://192.168.100.28:7180进入CM初始界面。  （192.168.100.28为hadoop.cm01的ip地址）

![70 19][]

用户名和密码都是：admin

![70 20][]

![70 21][]

![70 22][]

![70 23][]

![70 24][]

![70 25][]

![70 26][]

![70 27][]

![70 28][]

按照提示修改即可（所有的服务器上都要修改）

![70 29][]

![70 30][]

![70 31][]

![70 32][]

![70 33][]

如果选择了安装Activity Monitor，则需要给其创建数据库

![70 34][]

![70 35][]

![70 36][]

![70 37][]

![70 38][]

到此，安装成功！！如果失败，可以重试一下。

成功后的界面如下：

![70 39][]

至此，搭建Cloudera Manager环境管理大数据集群就讲完了，是不是感觉也没有那么难~

你们在此过程中还遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[70]: /images/20210726/efee5f11e2694389adbdc752e73aa1cf.png
[70 1]: /images/20210726/4d7e37c71c6b4256ab566d39b31c7091.png
[70 2]: /images/20210726/36143fe5569a4d909c8880cdba333ba9.png
[70 3]: /images/20210726/f8d70c9304d0443bac1851af79ce1938.png
[70 4]: /images/20210726/87a4bc3d063e40c7a01cb72eedae5add.png
[70 5]: /images/20210726/eab069293d994ea4ae61de21de88ba42.png
[70 6]: /images/20210726/7fd1e81d7062489db3e7d7af0cb3e8d3.png
[70 7]: /images/20210726/15e73de93f8342d0af425aaca6c43aac.png
[70 8]: /images/20210726/42f48a7e10fb4bcea3f91a1c3bcbeb4c.png
[70 9]: /images/20210726/274ee9fde37646d781d4f0f233c7f4e0.png
[70 10]: /images/20210726/01e4a35a48b74556bc918d33d3781198.png
[https_download.csdn.net_download_gdkyxy2013_10282525]: https://download.csdn.net/download/gdkyxy2013/10282525
[70 11]: /images/20210726/5caebffe0a1346ea8a4c4538120b6c06.png
[70 12]: /images/20210726/5cdb71ec817d4633971f630ea23762bf.png
[70 13]: /images/20210726/54a0cae73f494df1845c69dc319665e3.png
[70 14]: /images/20210726/e8b8d5957c8a4ee59f853aa501feb9a2.png
[70 15]: /images/20210726/4354186fdd214e9a93f441e52cacb999.png
[70 16]: /images/20210726/bb74a779dd68409790d55c795af8d776.png
[70 17]: /images/20210726/3f80cd46769e4a418c3a64f3b98bb9c8.png
[70 18]: /images/20210726/ba52b08a41fe4f58a13366983f84e097.png
[70 19]: /images/20210726/ee5a64bccbd345a0858459a092381669.png
[70 20]: /images/20210726/ff58388a762841f4948ab8efab5fef16.png
[70 21]: /images/20210726/2f059ede4cee406898824248774d0ef2.png
[70 22]: /images/20210726/6a1089bc459e4f77abaf3e8589d49078.png
[70 23]: /images/20210726/fc77efe804b14e9e8e05e66f2a56b182.png
[70 24]: /images/20210726/1dcaf76c53654399b7b018ad31959b35.png
[70 25]: /images/20210726/1182beeddf1e44a5a4383dc2b7249799.png
[70 26]: /images/20210726/ef61c54921e845eabecab3193affc4f9.png
[70 27]: /images/20210726/d8c1434bbd1f438cb6fa15af39c89e90.png
[70 28]: /images/20210726/cc255d8b3a7c463aa75573018ea7863f.png
[70 29]: /images/20210726/8b6166086eb8404aa46eac3227527059.png
[70 30]: /images/20210726/217bced68b4e4622899998f847a5ac42.png
[70 31]: /images/20210726/537a26142c8341f9b08d085c84aeab93.png
[70 32]: /images/20210726/f69a1cb9017b43e8bc812da5a04a22f4.png
[70 33]: /images/20210726/eadbdd67bc634c79ad14c39a4263e78a.png
[70 34]: /images/20210726/b4acd10b228b430a877ef548c28c8aca.png
[70 35]: /images/20210726/dd6fd7a546a840dd98b54cf575461e43.png
[70 36]: /images/20210726/190d94066547444e8f346fe2fa1b8ba0.png
[70 37]: /images/20210726/30345e7ed99a4a8da93b669e9554797d.png
[70 38]: /images/20210726/79197c6aa92b4772a5be82f8e946c172.png
[70 39]: /images/20210726/6cc7a34a267f4270a88165334609e2c9.png