安装Cloudera Manager

你的名字 2022-07-08 19:27 337阅读 0赞

cloudera manager有四大功能:

  1. 1)管理:对集群进行管理,如添加、删除节点等操作。
  2. 2)监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
  3. 3)诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
  4. 4)集成:对hadoop的多组件进行整合。

一、环境准备

搭建好yum源
(1)设置IP

  1. #vim /etc/sysconfig/network-scripts/ifcfg-eth0

(2)修改主机名

  1. #vim /etc/sysconfig/network
  2. NETWORKING=yes
  3. HOSTNAME=hadoop1

(3)关闭seliunx

  1. #setenforce 0 (临时生效)
  2. #vi /etc/selinux/config
  3. SELINUX=disabled (重启后永久生效)

(4)关闭防火墙

  1. service iptables stop
  2. chkconfig iptables off

(5)同步时间

  1. #ntpdate 192.168.1.68

(6)修改hosts文件

  1. #vim /etc/hosts
  2. 192.168.3.68 hadoop1
  3. 192.168.3.69 hadoop2
  4. 192.168.3.70 hadoop3

(7)实现免密登录(root)

  1. 安装scp yum install openssh-clients -y
  2. #ssh-keygen
  3. #ls
  4. authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥
  5.   id_rsa : 生成的私钥文件
  6.   id_rsa.pub 生成的公钥文件
  7.   know_hosts : 已知的主机公钥清单
  8.   如果希望ssh公钥生效需满足至少下面两个条件:
  9.      1) .ssh目录的权限必须是700
  10.      2) .ssh/authorized_keys文件权限必须是600

(8)安装JDK7

  1. #yum install java-1.7.0 -y

二、开始安装

(1)cdh下载地址
http://archive.cloudera.com/cdh5/parcels/5.10.0.41/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.10.0.41/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.10.0.41/manifest.json

(2)cdm下载地址
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/cloudera-manager-agent-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/cloudera-manager-server-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

(3)安装依赖包

  1. 1、下载gdbm-devel包(因为lsb依赖gdbm-devel包)
  2. #wget http://ie.archive.ubuntu.com/pld-linux/pool/g/gdbm-devel/gdbm-devel-1.8.0-16.i686.rpm
  3. #rpm -ivh gdbm-devel-1.8.0-16.i686.rpm
  4. 2、安装各种依赖
  5. #yum install bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap perl fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python lsb -y

(4)安装cloudera-manager包

  1. #rpm -ivh cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
  2. #rpm -ivh cloudera-manager-agent-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
  3. #rpm -ivh cloudera-manager-server-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

三、Server主节点设置
(1)安装配置MySQL数据库

  1. 1 yum install mysql-server -y
  2. 2vim /etc/my.cnf CDH要求引擎为INNODB
  3. [mysqld]
  4. default-storage-engine=INNODB
  5. 3、启动mysql
  6. service mysqld start
  7. chkconfig mysqld off
  8. 4、修改密码
  9. mysqladmin -uroot password "123456"

(2)安装mysql-jdk的驱动器
下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,

  1. #mv mysql-connector-java-5.1.40-bin.jar /usr/share/cmf/lib/

(3)初始化数据

  1. #/usr/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -p'123456' --scm-host localhost scm scm scm
  2. 初始化数据库后,可查看/etc/cloudera-scm-server/ db.properties

(4)、CDH的parcel相关的包放到/opt/cloudera/parcel-repo/目录下
(注意 .sha1改为.sha)

  1. # cd /opt/cloudera/parcel-repo/
  2. #ls
  3. CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha manifest.json

(5)搭建http服务

  1. #mkdir /var/www/html/parcel-repo/
  2. #ln -s /opt/cloudera/parcel-repo/ /var/www/html/parcel-repo/

(6)启动server

  1. #/etc/init.d/cloudera-scm-server start
  2. #lsof -i:7180

四、agent从节点配置

1、修改agent配置

  1. #vim /etc/cloudera-scm-agent/config.ini
  2. server_host=hadoop1 #主节点

2、从节点启动agent

  1. #/etc/init.d/cloudera-scm-agent start

查看错误日志目录

  1. #/var/log/cloudera-scm-server/cloudera-scm-server.log

五、登录安装服务

浏览器:主节点IP:7180
登录web界面:admin和admin

1.首先启动cloudera manager服务
2.修改Parcel仓库的远程URL为:http://IP/parcel-repo/

六、授权agent能登录数据库

  1. #mysql -uroot -p123456
  2. >grant all on scm.* to 'scm'@'192.168.1.165' identified by 'scm';

参考:
http://192.168.1.118:7180/static/help/topics/cm_ig_installing_configuring_dbs.html
http://www.cnblogs.com/jasondan/p/4011153.html

发表评论

表情:
评论列表 (有 0 条评论,337人围观)

还没有评论,来说两句吧...

相关阅读

    相关 安装Cloudera Manager

    cloudera manager有四大功能: (1)管理:对集群进行管理,如添加、删除节点等操作。 (2)监控:监控集群的健康情况,对设置的各种指标和系统运行