搭建Cloudera Manager环境

港控/mmm° 2022-03-15 06:24 514阅读 0赞

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。

**目录**

一、环境准备（在所有机器上操作）

二、集群时间服务器

三、MySQL的安装部署（在hadoop.cm01上安装即可）

四、Cloudera Manager的安装

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

六、配置CM访问数据库的权限，添加一个temp用户

七、配置CDH源

八、启动CM进程服务

--------------------

### 一、环境准备（在所有机器上操作） ###

准备软件环境：

\-》parcels库

下载地址：http://archive.cloudera.com/cdh5/parcels/5.12.0/

注意：parcel文件+校验码文件parcel.sha1

\-》cloudera manager 安装包

下载地址： http://archive.cloudera.com/cm5/cm/5/

注意：对应的centos版本，注意centos7,centos6使用el6/el5都可以

查看系统空间的使用情况等

![70][]

配置ip、主机名、主机映射等（重启生效！！）

![70 1][]

禁用ipv6（重启生效！！）

\# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf  
\# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）

\# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

\# vi /etc/sysconfig/selinux

![70 2][]

ssh免秘钥登录

\# ssh-keygen

\# ssh-copy-id 主机名01

\# ssh-copy-id 主机名02

\# ssh-copy-id 主机名03

安装JDK

![70 3][]

修改用户可用的最大服务器资源限制（重启生效！！）

\# ulimit -a

\# vi /etc/security/limits.conf

\* soft nofile 32728  
\* hard nofile 1024567  
\* soft nproc 65535  
\* hard nproc unlimited  
\* soft memlock unlimited  
\* hard memlock unlimited

![70 4][]

### 二、集群时间服务器 ###

选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01

在hadoop.cm01上修改配置文件

\# vi /etc/ntp.conf

![70 5][]

server 127.127.1.0 \# local clock  
fudge 127.127.1.0 stratum 10

![70 6][]

在所有机器上执行命令：

\# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间，与网络时间同步：

\# ntpdate -u us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间：

\# hwclock --localtime //查看本地硬件时钟时间

\# hwclock --localtime -w //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：

\# vi /etc/sysconfig/ntpdate

SYNC\_HWCLOCK=yes

![70 7][]

\# vi /etc/sysconfig/ntpd  
SYNC\_HWCLOCK=yes

![70 8][]  
除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间

![70 9][]

![70 10][]

重启生效：\# service crond restart

### 三、MySQL的安装部署（在hadoop.cm01上安装即可） ###

选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源

检查是否自带的安装包

rpm -qa |grep mysql

卸载安装包

rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86\_64

安装mysql

yum -y install mysql-server

启动mysql

service mysqld start

设置密码

/usr/bin/mysqladmin -u root password '123456'

设置开机自启动

chkconfig mysqld on

登陆

mysql -uroot -p123456

### 四、Cloudera Manager的安装 ###

首先在所有的服务器上安装第三方依赖包

\# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录：

\# mkdir -p /opt/cloudera-manager //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：

\# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6\_x86\_64.tar.gz -C /opt/cloudera-manager/

![70 11][]

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent //agent配置文件目录

\# vi config.ini（所有服务器上都改为下图所示）

![70 12][]

### 五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！） ###

\# useradd --system 表示创建的是系统用户  
\--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server 指定了用户的主目录  
\--no-create-home 表示不再创建用户的主目录  
\--shell=/bin/false 不作为登陆用户  
\--comment "Cloudera SCM User"  
cloudera-scm 用户名

验证：  
\# cat /etc/passwd | grep cloudera-scm

![70 13][]

### 六、配置CM访问数据库的权限，添加一个temp用户 ###

1、mysql> grant all privileges on \*.\* to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ; 需要刷新权限才生效

3、上传mysql-connector-java.jar

\# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema 初始化脚本路径

\# ./scm\_prepare\_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm

### 七、配置CDH源 ###

1、创建目录

\# mkdir -p /opt/cloudera/parcel-repo //在server节点上  
\# mkdir -p /opt/cloudera/parcels //在所有节点上

![70 14][]

2、将parcel文件移动到parcel-repo目录下

\# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel\* /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

\# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

\# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ //在server节点上  
\# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/ //在所有节点上

### 八、启动CM进程服务 ###

1、启动server  
\# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start

2、启动agent  
\# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入：http://192.168.100.28:7180进入CM初始界面。 （192.168.100.28为hadoop.cm01的ip地址）

用户名和密码都是：admin

![70 15][]

![70 16][]

![70 17][]

![70 18][]

![70 19][]

![70 20][]

![70 21][]

![70 22][]

![70 23][]

按照提示修改即可（所有的服务器上都要修改）

![70 24][]

![70 25][]

![70 26][]

![70 27][]

![70 28][]

如果选择了安装Activity Monitor，则需要给其创建数据库

![70 29][]

![70 30][]

![70 31][]

![70 32][]

![70 33][]

到此，安装成功！！如果失败，可以重试一下。

成功后的界面如下：

![70 34][]

[70]: /images/20220315/278478b1ea634369962f4f7b7f24f1c5.png
[70 1]: /images/20220315/547ffc03eded4c749a88a5db3375fbee.png
[70 2]: /images/20220315/afffed70f7af43eab7b13c26f559448c.png
[70 3]: /images/20220315/91a88f1f36684656b6a58e32a878d0b7.png
[70 4]: /images/20220315/146d612fd51d41729df03d841e6ebcff.png
[70 5]: /images/20220315/1f82a0c82e6a4dc7a9f17fd8eb053fa2.png
[70 6]: /images/20220315/6c26aa6747774845a8b1ee788d9c30bc.png
[70 7]: /images/20220315/b3bc2d1bcd484c818eabb3a03713952b.png
[70 8]: /images/20220315/6b9a2380f34d496394614e22fa649811.png
[70 9]: /images/20220315/519e7f5af2f3485bb6370cb4df5111a6.png
[70 10]: /images/20220315/f587ee06e9544799bf5940c0c1eae1d3.png
[70 11]: /images/20220315/18fd264f2dfc4dcaa6c649f35b327d5b.png
[70 12]: /images/20220315/95bcde872a56454c985c73fed63916a6.png
[70 13]: /images/20220315/1a2b2530e0d541828d3817982be42f8d.png
[70 14]: /images/20220315/6d6e4ca04e6946a997df652ac42a4cc9.png
[70 15]: /images/20220315/ae8397eb6f3944e2ba18c05b3ce737a8.png
[70 16]: /images/20220315/9fc063b6fe9a4a7b99f1be7e5e7495ce.png
[70 17]: /images/20220315/8fc458f3192e4be79a0339c82522a58b.png
[70 18]: /images/20220315/5e670ecb890a488482295d6124a23083.png
[70 19]: /images/20220315/75384995d0fa4bb9849b2ef40b0c12d7.png
[70 20]: /images/20220315/a656935741b04c8292d78eadecfe8d34.png
[70 21]: /images/20220315/873197da7b934956a7eb16f69ec5699d.png
[70 22]: /images/20220315/403ba44bdfde4358997c2b94829c1278.png
[70 23]: /images/20220315/67df37f2a0d5443c96933d51cb8a0bf2.png
[70 24]: /images/20220315/56aac2b8fc6447a2872f0848bda04c7e.png
[70 25]: /images/20220315/1a257bdc8ae1443291732eff2ebf4247.png
[70 26]: /images/20220315/a5eea058dc594cd09e86f3bc802f0f72.png
[70 27]: /images/20220315/205c68d8b8fe4f5a96a642a660c97d17.png
[70 28]: /images/20220315/ebd5622630724f68a4bf8ffee2c8e64e.png
[70 29]: /images/20220315/48f2e4831b9d4c8aa6f320810c64d4e5.png
[70 30]: /images/20220315/40c13215b2104246ad31cdbae3c24c61.png
[70 31]: /images/20220315/f57e9cd1284d4335b783c45e2d742c9b.png
[70 32]: /images/20220315/1dd165674dff4419b48093a00ebd0680.png
[70 33]: /images/20220315/774564cd9ce34ea4a9bc823096e1c833.png
[70 34]: /images/20220315/97b420fb429048f59dfe7baee9a4ab78.png