大数据之CDH数仓(4) | CM安装部署

川长思鸟来 2022-12-11 13:49 178阅读 0赞

### 目录 ###

*  安装JDK（三台）
 *  安装MySQL及其驱动（hadoop102上操作）
 *  CM安装
 *  修改CM配置文件（三台，不要用xsync同步）
 *  在MySQL中建库
 *  启动CM服务
 *  关闭CM服务

# 安装JDK（三台） #

jdk安装包

链接：https://pan.baidu.com/s/1tefMTSa6-aHWnIR2x4OhAA 
    提取码：qfxy

1）在hadoop102创建目录  
一个安装包

mkdir -p /opt/software

2）用xshell将jdk-8u144-linux-x64.tar.gz上传至hadoop102，并解压到/usr/java目录下。

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/

3）配置JAVA\_HOME环境变量  
（1）打开/etc/profile文件

vim /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
    export JAVA_HOME=/usr/java/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin

（2）让修改后的文件生效

source /etc/profile

4）测试JDK是否安装成功

[root@hadoop102 jdk1.8.0_144]# java -version
    java version "1.8.0_144"

5）将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

xsync /usr/java
    xsync /etc/profile

分别在hadoop103、hadoop104上source一下

source /etc/profile

# 安装MySQL及其驱动（hadoop102上操作） #

1）卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2）下载msql5.7 yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

3）安装yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

4）安装mysql

[root@hadoop102 yum.repos.d]# yum -y install mysql-server

5）启动mysql

service mysqld start

6）查看root用户密码

grep 'temporary password' /var/log/mysqld.log   ub2&e_(5G4,U

7）执行mysql初始化脚本

mysql_secure_installation

8）输入新密码（至少12个字符，至少包含一个大写字母，一个小写字母，一个数字，一个特殊字符）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

9）配置root用户远程访问权限

mysql> grant all privileges on *.* to 'root' @'%' identified by 'Yy8266603@';
    
    mysql> flush privileges;

10）为CM安装mysql驱动  
mysql-connector-java-5.1.27-bin.jar安装包

链接：https://pan.baidu.com/s/1TqBn4KPdFXSYfI6cLKPAkA 
    提取码：g8io

（1）将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名

mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

（2）分发驱动

xsync /usr/share/java

# CM安装 #

Cloudera Manager默认采用yum安装，对于能够联网的用户，可直接在线安装，十分快捷方便。对于网络不畅的用户，则可搭建本地yum源，进行安装。  
1）集群规划

<table> 
 <thead> 
  <tr> 
   <th>节点</th> 
   <th>hadoop102</th> 
   <th>hadoop103</th> 
   <th>hadoop104</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>服务</td> 
   <td>cloudera-scm-server cloudera-scm-agent</td> 
   <td>cloudera-scm-agent</td> 
   <td>cloudera-scm-agent</td> 
  </tr> 
 </tbody> 
</table>

2）下载在线yum源配置文件（在线yum安装）

cd /etc/yum.repos.d
    wget https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo

3）分发在线yum源配置文件（在线yum安装）

xsync /etc/yum.repos.d/cloudera-manager.repo

4）搭建本地yum源（离线yum安装）（若网络环境畅通，此步可直接跳过）  
cloudera-repos.tar.gz安装包

链接：https://pan.baidu.com/s/14cUOOVSnB8JHIlvuUctxLw 
    提取码：ne3n

（1）将压缩包cloudera-repos.tar.gz拷贝到集群中的一台节点，解压到/var/www/html路径下

tar -zxvf cloudera-repos.tar.gz -C /var/www/html

（2）进入/var/www/html/路径，并开启http服务

cd /var/www/html/

[root@hadoop102 html]# python -m SimpleHTTPServer 8900

（3）浏览器访问该节点的8900端口，查看http服务是否正常开启  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]

（4）编辑本地yum源配置文件

vim /etc/yum.repos.d/cloudera-manager.repo

文件内容如下

[cloudera-manager]
    name=cloudera-manager
    baseurl=http://hadoop102:8900/cloudera-repos/cm6/6.2.1/redhat7/yum/
    enabled=1
    gpgcheck=0

（5）分发该配置文件

xsync /etc/yum.repos.d/cloudera-manager.repo

4）安装CM server及agent

[root@hadoop102 ~]# yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
    [root@hadoop103 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons
    [root@hadoop104 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons

# 修改CM配置文件（三台，不要用xsync同步） #

vim /etc/cloudera-scm-agent/config.ini

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]

# 在MySQL中建库 #

1）创建各组件需要的数据库

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

2）为CM配置数据库（自带脚本）

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 
    Yy8266603@

# 启动CM服务 #

1）启动服务节点：hadoop102

[root@hadoop102 ~]# systemctl start cloudera-scm-server

2）启动工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 ~]# systemctl start cloudera-scm-agent
    
    [root@hadoop103 ~]# systemctl start cloudera-scm-agent
    
    [root@hadoop104 ~]# systemctl start cloudera-scm-agent

3）查看Server启动日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

出现`Started Jetty server`字样及表明启动成功。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3]

4）访问http://hadoop102:7180（初始用户名、密码均为admin）

# 关闭CM服务 #

1）关闭工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 ~]# systemctl stop cloudera-scm-agent
    
    [root@hadoop103 ~]# systemctl stop cloudera-scm-agent
    
    [root@hadoop104 ~]# systemctl stop cloudera-scm-agent

2）关闭服务节点：hadoop102

systemctl stop cloudera-scm-server

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/19042e5644984233a7b1f844427b2dab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/4cfc8dc53d4b4ea197a8d526c34e6b24.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/fab94cded90c468cb3ba15ac37dd8133.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/4600f8e308ce40eeb8a34ecf42918da3.png