6.1 CDH介绍安装安装前准备

￡神魔★判官ぃ 2022-05-22 07:09 219阅读 0赞

CDH 是hadoop的发行版，是hadoop分支中的一种，由cloudera维护，基于稳定版的hadoop构建，提供hadoop核心

CDH3：是最早版本，对应hadoop1.x版本 开始免费版只支持50个机器

CDH4，CDH5，对应hadoop2.X版

安装方式：

clouder Manager 是一个管理CDH端到端的应用，管理监控，诊断，集成

Yum

rpm

Tarball

要是三台虚拟机：内存分配（8G内存）：5,1,1

开发jar路径：/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/

--------------------

注意：以下步骤除了第8步安装MySQL只在一台机子上做，其他步骤都需要做

1、网络配置 (每台虚拟机联网)

vi /etc/sysconfig/network 修改主机名称

vi /etc/hosts 做好IP机名映射

2，做好几台机子之间免密

执行命令生成密钥。ssh-keygen ，一直enter键就行    (cd /root        ls –al      cd .ssh)

拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id\_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)

3、防火墙关闭

service iptables stop 临时关闭防火墙

chkconfig iptables off 永久关闭防火墙

4、SELINUX关闭

setenforce 0 （临时生效）

vi /etc/selinux/config ( SELINUX=disabled) 重启后永久生效

5、安装JDK配置环境变量

上传jdk-7u67-linux-x64.rpm包到服务器

rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk

vim ~/.bash\_profile 打开，配置环境变量

export JAVA\_HOME=/usr/java/jdk1.7.0\_67

export PATH=$PATH:$JAVA\_HOME/bin

source ~/.bash\_profile 刷新环境变量

6，ntpdate自动同步时间：

yum -y install ntpdate 安装ntpdate

ntpdate s2c.time.edu.cn 同步s2c.time.edu.cn 服务器上的时间，服务器地址可以百度ntp服务器

crontab -e 添加到linux定时任务

文档内容：

\*/10 \* \* \* \* /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次

7，配置本地yum源(使用的系统版本要和源版一样)，因为网络源太慢

vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件

文件内容(其他的都可以删除)：

\[base\]

name=CentOS-Local

baseurl= file:///mnt/

gpgcheck= 0

配置镜像库文件：

虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86\_64-bin-DVD1.iso完全版本的镜像文件

在虚拟机执行挂载：

mount /dev/cdrom /mnt/  挂载

umount /mnt 取消挂载

ls /mnt/

清除yum 缓存 重新生成

yum clean all

yum makecache

8，安装配置mysql (只装一台服务器就行)：

如果是centos7，直接安装MySQL会报错：

![70][]

原因是：

CentOS7带有MariaDB而不是MySQL，MariaDB和MySQL一样也是开元的数据库

解决方案：

如果必须要安装MySQL，首先必须添加mysql社区repo通过输入命令：sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm，最后使用像安装MySQL的常规方法一样安装mysql： yum install mysql mysql-server mysql-libs mysql-server

\-------------------------------------------------------------------------------

yum -y install mysql-server yum安装MySQL

service mysqld start 启动MySQL

chkconfig mysqld on 添加到开机启动项

mysql 进入mysql客户端

use mysql 切换库

delete from user; 删除默认权限表

重新创建权限用户

GRANT ALL PRIVILEGES ON \*.\* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;

flush privileges; 刷新权限

quit 退出

mysql -u root -p 登陆(带用户)