CDH安装配置

深藏阁楼爱情的钟 2022-05-09 09:28 327阅读 0赞

# Cloudera5.14配置 #

*  **准备工作**
    
    1.  软件下载
    2.  软件安装
        
        1.  JDK安装

所有节点

1.  安装
2.  环境变量配置

sudo vim /etc/profile

export JAVA\_HOME=/usr/java/default

export PATH=$JAVA\_HOME/bin:$PATH

使用root用户

echo "JAVA\_HOME=/usr/java/default" >> /etc/environment

1.  1.  1.  Mysql安装

https://blog.csdn.net/u014646662/article/details/75195739

1.  1.  1.  Httpd安装

yum install httpd

service httpd start

chkconfig httpd on

1.  1.  1.  Mod\_ssl安装

yum install mod\_ssl

1.  1.  Linux环境配置
        
        1.  环境变量配置
        2.  主机配置

每一台都要配，以Manager节点为例，其他节点配置方法相同

表1-1 主机配置

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">IP</p> </td> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">HostName</p> </td> 
   <td style="vertical-align:top;width:138.3pt;"> <p style="margin-left:0cm;">Node</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">192.168.160.128</p> </td> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">cloudera.manager</p> </td> 
   <td style="vertical-align:top;width:138.3pt;"> <p style="margin-left:0cm;">Manager</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">192.168.160.135</p> </td> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">cloudera.agent1</p> </td> 
   <td style="vertical-align:top;width:138.3pt;"> <p style="margin-left:0cm;">Agent</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">192.168.160.n…</p> </td> 
   <td style="vertical-align:top;width:138.25pt;"> <p style="margin-left:0cm;">cloudera.agent…</p> </td> 
   <td style="vertical-align:top;width:138.3pt;"> <p style="margin-left:0cm;">Agent</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  修改主机名：

sudo vim /etc/sysconfig/network

![70][]

使用root用户（vim 编辑也可）

echo "cloudera.manager" > /etc/hostname

![70 1][]

修改hosts文件

sudo vim /etc/hosts

![70 2][]

重启网卡

sudo service network restart

![70 3][]

如果启动失败

启动失败如果是没有发现网卡驱动，请检查网卡的名字（ifconfig），是否与配置的一致

配置：

sudo vim /etc/udev/rules.d/70-persistent-net.rules

配置的网卡name

![70 4][]

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 (编辑你使用的网卡)

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;">DEVICE="eth0"</p> <p style="margin-left:0cm;">BOOTPROTO="dhcp"</p> <p style="margin-left:0cm;">HWADDR="00:0C:29:C0:68:D6"</p> <p style="margin-left:0cm;">IPV6INIT="yes"</p> <p style="margin-left:0cm;">NM_CONTROLLED="yes"</p> <p style="margin-left:0cm;">ONBOOT="yes"</p> <p style="margin-left:0cm;">TYPE="Ethernet"</p> <p style="margin-left:0cm;">UUID="66563504-826a-4fff-9088-8cf8159a1e37"</p> </td> 
  </tr> 
 </tbody> 
</table>

这些操作之后应该网卡就可以正常启动了，顺便提示一下，如果你的虚拟机是复制的，那你要更改UUID，使每一台机器UUID都是唯一的

重启linux

reboot

系统重启后，检查是否配置成功

hostname

![70 5][]

1.  关闭防火墙

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;">关闭</p> <p style="margin-left:0cm;">sudo service iptables stop</p> <p style="margin-left:0cm;">sudo chkconfig iptables off</p> <p style="margin-left:0cm;">查看状态</p> <p style="margin-left:0cm;">sudo service iptables status</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  关闭SELinux

sudo vim /etc/selinux/config

修改：

SELINUX=disabled

1.  Ntp 配置

如果你没有装，请先安装(redhat 系统自带)

yum install ntp

该配置除Manager节点外都要配，即只配Agent

sudo vim /etc/ntp.conf

修改内容

server cloudera.manager

启动ntp

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;">service ntpd start</p> <p style="margin-left:0cm;">chkconfig ntpd on</p> <p style="margin-left:0cm;">查看启动状态</p> <p style="margin-left:0cm;">sudo service ntpd status</p> <p style="margin-left:0cm;">命令查看同状态</p> <p style="margin-left:0cm;">ntpstat</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  1.  MySQL初始化

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;"><span style="color:#FFFF00;">主节点</span></p> <p style="margin-left:0cm;">create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</p> <p style="margin-left:0cm;">grant all privileges on *.* to 'root'@'localhost' identified by 'ztx' with grant option;</p> <p style="margin-left:0cm;">grant all privileges on *.* to 'root'@'cloudera.manager' identified by 'ztx' with grant option;</p> <p style="margin-left:0cm;">flush privileges;</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  1.  SSH配置

ssh-keygen -t rsa

cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

scp ~/.ssh/authorized\_keys root@cloudera.agent1:~/.ssh/

scp ~/.ssh/authorized\_keys lucky@cloudera.agent1:~/.ssh/

*  **Cloudera****安装**
    
    1.  Cloudera 解压

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;"><span style="color:#FFFF00;">每台机器操作相同</span></p> <p style="margin-left:0cm;">进入安装包的路径</p> <p style="margin-left:0cm;">cd /opt/</p> <p style="margin-left:0cm;">mkdir /opt/cloudera-manager /opt/cloudera</p> <p style="margin-left:0cm;">解压cloudera-manager</p> <p style="margin-left:0cm;">tar -xzvf cloudera-manager-el6-cm5.14.3_x86_64.tar.gz -C <a rel="nofollow">/opt/cloudera-manager</a></p> <p style="margin-left:0cm;">mv /opt/cloudera-manager/cloudera/* /opt/cloudera/</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  创建cloudera-scm用户

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;"><span style="color:#FFFF00;">每台机器</span></p> <p style="margin-left:0cm;">sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM" <a rel="nofollow">cloudera-scm</a></p> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

由于Cloudera Manager和Managed Services默认使用clouderascm，所以需要创建此用户

1.  1.  Cloudera配置
        
        1.  主节点配置

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;">sudo mkdir /var/lib/cloudera-scm-server</p> <p style="margin-left:0cm;">sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  1.  Agent配置

配置所有节点的Agent，

vim /opt/cloudera-manager/cm-5.14.3/etc/cloudera-scm-agent/config.ini

![70 6][]

1.  1.  1.  MySQL配置

<table> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:0cm;"><span style="color:#FFFF00;">注意去除了版本号</span></p> <p style="margin-left:0cm;"><span style="color:#FFFF00;">所有节点</span></p> <p style="margin-left:0cm;">mv mysql-connector-java-5.1.38.jar /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar</p> <p style="margin-left:0cm;"><span style="color:#FFFF00;">主节点</span></p> <p style="margin-left:0cm;">/opt/cloudera-manager/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pztx --force --scm-host localhost scm scm scm</p> <p style="margin-left:0cm;"><span style="color:#FFFF00;">--force </span><span style="color:#FFFF00;">是忽略错误，</span></p> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  1.  安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo目录

![70 7][]

![70 8][]

最后将CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1,重命名为CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha,这点必须注意，否则，系统会重新下载CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel文件

1.  1.  1.   
    2.  后续信息

sudo mkdir /var/run/cloudera-scm-agent

sudo chown cloudera-scm:cloudera-scm /var/run/cloudera-scm-agent

sudo mkdir /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

sudo chown cloudera-scm:cloudera-scm /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent\_hugepage/defrag

echo never > /sys/kernel/mm/transparent\_hugepage/enabled

1.  1.  安装组件时

Hive安装失败(找不到mysql 驱动)

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/

oozie安装失败(找不到mysql 驱动)

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/lib

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/libext/

*  **集成环境配置**
    
    1.  启动

cd /opt/cloudera-manager/cm-5.14.3/etc/init.d/

Manager：./cloudera-scm-server start

Agent: ./cloudera-scm-agent start

1.  1.  登录

*  **问题**
    
    1.  启动Hadoop生态圈中的组件出错(缺少服务)

启动出错原因：部分软件没有安装

例如：hue启动时角色启动失败

请检查httpd和mod\_ssl是否安装了，在错误日志中可以看到

如果这两个软件没有装，在启动时也会报没有权限，手动更改权限后再重启，hue又重新生成文件，又说没有权限，再继续向下看错误日志，会发现这两个软件没有装，如果已经装过，那就是没有启动服务。

在启动服务时一定要用root用户，前面加sudo是不行的

yum install httpd

service httpd start

chkconfig httpd on

yum install mod\_ssl

service mod\_ssl

chkconfig mod\_ssl on

1.  1.  运行命令出错(权限管理)

错误多为权限问题

在控制权限的时候不要都给\*777权限，尽量不要给所有用户赋予可写权限，在cdh中Hadoop生态圈中所有的组件的超级管理员默认是hdfs，属于hdfs组，也属于超级管理员组。

在linux中默认的超级管理员是root，root在Hadoop生态圈组件中却属于普通用户，不是管理员用户。

默认情况下，hive、spark、hue等组件执行命令时，如果不是hdfs用户，都会出现权限问题，抛出异常。要指定的用户有权限执行命令可以这么做：

Ⅰ 在linux下使用hdfs登录，登录方式：

1.  su hdfs 回车后输入hdfs密码；
2.  登录root后只输入su hdfs回车，不需要hdfs密码
3.  具有sudo 的用户可以输入sudo su hdfs

Ⅱ 更改hdfs的/user目录的权限，赋予775

hdfs dfs chmod 775 /user

Ⅲ 为指定的用户添加权限，即将指定的用户添加到hdfs组中，不改变之前的所属组

usermod -a -G hdfs username

username 是待指定的用户的名字

Hue的web页面登录的用户要属于hdfs组

1.  1.  SERVICE\_MONITORING is not running

[70]: /images/20220509/319c691cadc148deb6e87d1f7cfb9167.png
[70 1]: /images/20220509/1659e2df379d4e59a482e821308c4100.png
[70 2]: /images/20220509/238c4a6b576a484ebb0df5b83346f7ec.png
[70 3]: /images/20220509/cf2352a4e4924b09a8e9529c4e366fe6.png
[70 4]: /images/20220509/f67304d9da77456ea3349904af511e68.png
[70 5]: /images/20220509/783fe34444ba4f12bfdbf77353d0ca3b.png
[70 6]: /images/20220509/32a0c3830e6d486492ba86effe6f5c41.png
[70 7]: /images/20220509/07d68da3a01c46128f61a10410281ce9.png
[70 8]: /images/20220509/720fe9c9b9544169a7d71077e79c9ac0.png