CDH数仓项目(一) —— CDH安装部署搭建详细流程

深藏阁楼爱情的钟 2024-03-27 08:44 14阅读 0赞

## 0 说明 ##

本文以CDH搭建数据仓库，基于三台阿里云服务器从零开始搭建CDH集群，节点配置信息如下：

<table> 
 <thead> 
  <tr> 
   <th>节点</th> 
   <th>内存</th> 
   <th>安装服务角色</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>chen102</td> 
   <td>16G</td> 
   <td>cloudera-scm-server</td> 
  </tr> 
  <tr> 
   <td>chen103</td> 
   <td>8G</td> 
   <td>cloudera-scm-agent</td> 
  </tr> 
  <tr> 
   <td>chen104</td> 
   <td>8G</td> 
   <td>cloudera-scm-agent</td> 
  </tr> 
 </tbody> 
</table>

上传需要用到的安装包：  
① CDH安装包，百度云分享如下：

> 链接：https://pan.baidu.com/s/1N9QBYxpgGOKtEeaw7Y3bpQ 提取码：o73t

② JDK(JDK8+)，百度云连接

> 链接：https://pan.baidu.com/s/1BGw-y2sDLeqtA8ZSlf1JZw  
> 提取码：08c8

## 1 前期准备 ##

### 1.1 配置集群hosts文件 ###

配置集群hosts文件，并将集群节点和ip映射配置到hosts文件中。  
![在这里插入图片描述][a99907a9dec9421aa73d8a8a515e0eca.png]

### 1.2 打通免密 ###

1.  生成私钥和公钥

ssh-keygen -t rsa

2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id chen102
    ssh-copy-id chen103
    ssh-copy-id chen104

在其他节点重复上面操作，即可

### 1.3 安装JDK并配置环境变量 ###

注：CDH只能识别/usr目录下的java,这里需要将java安装在/usr目录下，这里不再赘述

### 1.4 安装Mysql ###

只需在chen102节点上安装  
1）卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2）下载msql5.7 yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

3）安装yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

![在这里插入图片描述][fd2628a115014033b4dbe249a541fd14.png]

4）安装mysql

yum -y install mysql-server

5）启动mysql

service mysqld start

6）查看root用户密码

grep 'temporary password' /var/log/mysqld.log    d9V,K1..6e.Q

7）执行mysql初始化脚本

mysql_secure_installation

8）输入新密码（至少12个字符，至少包含一个大写字母有，一个小写字母，一个数字，一个特殊字符）  
9）配置root用户远程访问权限

mysql> grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
    mysql> flush privileges;

10）为CM安装mysql驱动  
将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名

## 2 安装CM ##

### 2.1 搭建离线yum源 ###

（1）将压缩包cloudera-repos.tar.gz拷贝到集群中的一台节点，解压到/var/www/html路径下

[root@chen102 ~]# tar -zxvf cloudera-repos.tar.gz -C /var/www/html

（2）进入/var/www/html/路径，并开启http服务

[root@chen102 ~]# cd /var/www/html/
    [root@chen102 html]# python -m SimpleHTTPServer 8900

（3）浏览器访问该节点的8900端口，查看http服务是否正常开启  
![在这里插入图片描述][e81f091def0e4eb8965f63d9856dbef4.png]  
（4）编辑本地yum源配置文件

vim /etc/yum.repos.d/cloudera-manager.repo

文件内容如下

[cloudera-manager]
    name=cloudera-manager
    baseurl=http://chen102:8900/cloudera-repos/cm6/6.2.1/redhat7/yum/
    enabled=1
    gpgcheck=0

（5）分发该配置文件

### 2.2 安装CM server及agent ###

[root@chen102 ~]# yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
    [root@chen103 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons
    [root@chen104 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons

### 2.3 修改CM配置文件 ###

vim /etc/cloudera-scm-agent/config.ini

![在这里插入图片描述][a55bc740af2f40339b03b964c736a0a6.png]

### 2.3 在Mysql中建库 ###

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    
    mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

为CM配置数据库（自带脚本）

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root Chen.123456

### 2.4 启动CM服务 ###

chen102执行

systemctl start cloudera-scm-server

chen102-104执行

systemctl start cloudera-scm-agent

查看Server启动日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

看见Started Jetty server即说明启动成功  
访问http://hadoop102:7180（初始用户名、密码均为admin）

## 3 部署CDH集群 ##

欢迎页面  
![在这里插入图片描述][04ffaabc7e14441e9d7dab2c299d18f9.png]  
选择免费版  
![在这里插入图片描述][8b338a361e7d4ee89815ffc143182f29.png]

### 3.1 填写安装部署集群名 ###

![在这里插入图片描述][dcac2b96a42646989fc32741543ce7dd.png]

### 3.2 选择物理机节点 ###

![在这里插入图片描述][090030d5599b40c180e4f64389ea01ce.png]

### 3.3 添加本地parcel库 ###

选择更多选型，添加本地parcel库配置  
![在这里插入图片描述][14bd306535284e93961b6fcd38741567.png]

### 3.4 选择CDH版本 ###

![在这里插入图片描述][2d544cbbebea467898abd37f320aae52.png]

### 3.5 等待parcel的下载、分配、解压和激活 ###

![在这里插入图片描述][647f3c23cc954b12b7a013fe573f2a7d.png]

### 3.6 检查集群网络环境 ###

![在这里插入图片描述][3bb2eb78a3bf4b049fd48af4f5a2262e.png]

### 3.7 群集设置 ###

选择自定义服务，然后选择你想要安装的组件，点击继续即可  
![在这里插入图片描述][6cc94bc406714e96bbda7aff80cc2e33.png]

### 3.8 分配角色实例 ###

![在这里插入图片描述][4a27536a2c46444cad6097d206919b31.png]

### 3.9 数据库设置 ###

测试mysql连接是否正常，输入之前安装部署mysql进行连接测试，确保连接成功  
![在这里插入图片描述][62dd4e26f72d49088a4a57b124a8a550.png]

### 3.10 确认配置 ###

按默认配置即可，点击继续  
![在这里插入图片描述][7925007ea1eb406d90de4a30ef38ff66.png]

### 3.11 等待安装 ###

等待全部安装完成，点击继续  
![在这里插入图片描述][e8726fdf4edc4a9fb8f10e624b2e9373.png]

### 3.12 安装完成 ###

![在这里插入图片描述][95f59dee386d4c7aad8bc8e388c5b1d6.png]  
CDH安装完成页面总览  
![在这里插入图片描述][ae011483f4604b27ba9e3f29d5264740.png]

## 4 CDH停止规范 ##

### 4.1 停止集群 ###

![在这里插入图片描述][9a77b29e7dde4cd799ab3c8ebb1e4796.png]  
等待所有服务停止完成  
![在这里插入图片描述][66604786ca644cd0947fcd162f7a794a.png]

### 4.2 Cloudera Management Service ###

![在这里插入图片描述][f9619d663ce048fa9331523448da6d60.png]  
等待成功关闭  
![在这里插入图片描述][cd1207d0a7c24b6c9a39147b414b11e3.png]

### 4.3 停止agent ###

所有节点执行![9df4ee7057dd4f66b753b2b97f39020a.png][]

systemctl stop cloudera-scm-agent

### 4.4 停止server ###

chen102节点执行

systemctl stop cloudera-scm-server

### 4.4 关闭阿里云主机 ###

选择停机不收费方式，关闭阿里云主机  
![在这里插入图片描述][d00e8b1815c247358d073f2c6109e2d0.png]  
接下来是CDH-业务数仓和用户行为数仓搭建，详见[《CDH数仓项目(二) —— 用户行为数仓和业务数仓搭建》][CDH_ _]

[a99907a9dec9421aa73d8a8a515e0eca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4ad65d9ac8f6452f8a1cccae0d42c868.png
[fd2628a115014033b4dbe249a541fd14.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/47d24e1a577b4495b47c3f6bc369bc66.png
[e81f091def0e4eb8965f63d9856dbef4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3aaa41cca0d848a5a5ca148dba431efc.png
[a55bc740af2f40339b03b964c736a0a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/49dc659d05a044c0938e2e8855742644.png
[04ffaabc7e14441e9d7dab2c299d18f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/26845a5d31464a4d8fc1143caea4da52.png
[8b338a361e7d4ee89815ffc143182f29.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/02b7053fa5b749779324ac6116cbf844.png
[dcac2b96a42646989fc32741543ce7dd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fcaac29b276746a0b5c4e1a487c565f2.png
[090030d5599b40c180e4f64389ea01ce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bdc27a54694d4a07b1ccf0a8e1c7fd7a.png
[14bd306535284e93961b6fcd38741567.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c5012cc938234cd1b5f1cf34741044e6.png
[2d544cbbebea467898abd37f320aae52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1e65b1e06a9a4741980209a251f350c7.png
[647f3c23cc954b12b7a013fe573f2a7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/900117c9a0f14b78af74f09cd7fe1a59.png
[3bb2eb78a3bf4b049fd48af4f5a2262e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1eeccf887a6e4b30b3017e9860a2fd35.png
[6cc94bc406714e96bbda7aff80cc2e33.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d5052fb3aed346ce8e40d6866d622208.png
[4a27536a2c46444cad6097d206919b31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dd36939484b84ee69731ac096111c82b.png
[62dd4e26f72d49088a4a57b124a8a550.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5f9dec5275bf476ba02aa96447b89b54.png
[7925007ea1eb406d90de4a30ef38ff66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fea2ed0e27244a119e4b130bdca549a6.png
[e8726fdf4edc4a9fb8f10e624b2e9373.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0fc8518949754aebacf73f30c72a53cd.png
[95f59dee386d4c7aad8bc8e388c5b1d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/11f8b934e3c84ad09637f88b00eb4016.png
[ae011483f4604b27ba9e3f29d5264740.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/004050c44a5342f684ad5105b44dcc30.png
[9a77b29e7dde4cd799ab3c8ebb1e4796.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c64720e8ea24402f9a305454717e7f64.png
[66604786ca644cd0947fcd162f7a794a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/81d543a2b9c34bf397b5db32bae0e8e9.png
[f9619d663ce048fa9331523448da6d60.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8fad8865be304b3ba4c8d3ccdc222b6c.png
[cd1207d0a7c24b6c9a39147b414b11e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2b17dd8e0afb460e97f81353a943d211.png
[9df4ee7057dd4f66b753b2b97f39020a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/04c68e5d884140c9a1cef6da134234ca.png
[d00e8b1815c247358d073f2c6109e2d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bdd4589917be43738d7e5f8dd4fb6395.png
[CDH_ _]: https://blog.csdn.net/Keyuchen_01/article/details/128770325?spm=1001.2014.3001.5502