Hadoop安装 -- CDH分布式环境搭建

╰+攻爆jí腚メ 2023-06-12 05:26 2阅读 0赞

**目标: 搭建基于CDH的分布式集群**  
安装环境服务部署计划  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70]

## 准备工作 ##

**1.关闭防火墙**`/etc/init.d/iptables stop`

chkconfig iptables off

**2.关闭selinux**  
**3.修改主机名** `vi /etc/sysconfig/network`

主节点为: node01
        从节点分别为: node02  node03

**4.ssh无密码拷贝数据**  
特别说明（在主节点无密码访问到从节点）

ssh-keygen

ssh-copy-id 192.168.100.201
       ssh-copy-id 192.168.100.202
       ssh-copy-id 192.168.100.203

**5.设置主机名和IP的对应**

vi /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 
    ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 
    192.168.100.201 node01 (使用自己的IP)
    192.168.100.202 node02
    192.168.100.203 node03

**6.jdk1.8 安装**

### 文章目录 ###

*   *  准备工作
     *  第一步: 上传压缩包并解压
     *  第二步: 查看Hadoop支持的压缩方式以及本地库
     *  第三步：修改配置文件
     *  第四步: 创建文件存放目录
     *  第五步: 安装包的分发
     *  第六步: 配置Hadoop的环境变量
     *  第七步: 集群启动
     *   *  脚本一键启动HDFS、Yarn
         *  脚本一键启动所有
     *  第八步: 集群启动验证
     *  第九步: 浏览器查看启动页面

## 第一步: 上传压缩包并解压 ##

*  创建文件夹

mkdir -p /export/servers
           
       mkdir -p /export/soft

*  上传压缩包到 mkdir -p /export/soft 目录下
 *  将 jdk1.8解压至 /export/servers 目录下
 *  并设置 jdk1.8的环境变量 `vi /etc/profile.d/java.sh`

export JAVA_HOME=/export/servers/jdk1.8.0_144
      export PATH=$PATH:$JAVA_HOME/bin

*  远程发送jdk配置文件到从节点上

scp -r /etc/profile.d/java.sh node02:/etc/profile.d/
      scp -r /etc/profile.d/java.sh node03:/etc/profile.d/

*  改hadoop安装包的名字 **(可用自己下载的安装包,改成对应的名字即可)**

mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz

*  解压

tar -zxvf /export/soft/hadoop-2.6.0-cdh5.14.0.tar.gz -C /export/servers/

## 第二步: 查看Hadoop支持的压缩方式以及本地库 ##

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0
           
        bin/hadoop checknative

![在这里插入图片描述][2019103117442031.png] 如果出现openssl为`false`，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

yum -y install openssl-devel

![在这里插入图片描述][20191031174523198.png]

## 第三步：修改配置文件 ##

**修改core-site.xml**  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
     
     vim core-site.xml

<configuration>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://node01:8020</value>
    	</property>
    	<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
    	</property>
    	
    	<property>
    		<name>io.file.buffer.size</name>
    		<value>4096</value>
    	</property>
    
    	
    	<property>
    		<name>fs.trash.interval</name>
    		<value>10080</value>
    	</property>
    </configuration>

**注意：在文件中一定要对应好自己的主机名称和hadoop所在路径**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 1]

**修改hdfs-site.xml**  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
      
      vim hdfs-site.xml

<configuration>
    	 
    	
    	 
    	 <property>
    			<name>dfs.namenode.secondary.http-address</name>
    			<value>node01:50090</value>
    	</property>
    
    	<property>
    		<name>dfs.namenode.http-address</name>
    		<value>node01:50070</value>
    	</property>
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
    	</property>
    	
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.edits.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
    	</property>
    	<property>
    		<name>dfs.namenode.checkpoint.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
    	</property>
    	<property>
    		<name>dfs.namenode.checkpoint.edits.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
    	</property>
    	<property>
    		<name>dfs.replication</name>
    		<value>2</value>
    	</property>
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    	</property>
    <property>
    		<name>dfs.blocksize</name>
    		<value>134217728</value>
    	</property>
    </configuration>

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
      
      vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_144

**修改mapred-site.xml**  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
      
      vim mapred-site.xml

<configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    
    	<property>
    		<name>mapreduce.job.ubertask.enable</name>
    		<value>true</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.jobhistory.address</name>
    		<value>node01:10020</value>
    	</property>
    
    	<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>node01:19888</value>
    	</property>
    </configuration>

**注意：在文件中一定要对应好自己的主机名称**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 3]  
**修改yarn-site.xml**  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
       
       vim yarn-site.xml

<configuration>
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>node01</value>
    	</property>
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    </configuration>

**注意：在文件中一定要对应好自己的主机名称**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 4]  
**修改slaves文件**  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
     
     vim slaves

node01
    node02
    node03

## 第四步: 创建文件存放目录 ##

第一台机器执行以下命令  
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

## 第五步: 安装包的分发 ##

第一台机器执行以下命令

cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
    scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

## 第六步: 配置Hadoop的环境变量 ##

**方式一 :**  
三台机器都要进行配置Hadoop的环境变量  
三台机器执行以下命令

vim  /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
    export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

**方式二 :**  
主节点配置Hadoop的环境变量

vim  /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
    export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

**通过远程发送的方式给从节点**

scp -r /etc/profile.d/hadoop.sh node02:/etc/profile.d/
    scp -r /etc/profile.d/hadoop.sh node03:/etc/profile.d/

配置完成之后生效

source /etc/profile

## 第七步: 集群启动 ##

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。  
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hdfs namenode

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 5]

### 脚本一键启动HDFS、Yarn ###

node01节点上执行以下命令  
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    
     sbin/start-dfs.sh
    
     sbin/start-yarn.sh

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh
    
     sbin/stop-yarn.sh

### 脚本一键启动所有 ###

一键启动集群

sbin/start-all.sh

一键关闭集群

sbin/stop-all.sh

## 第八步: 集群启动验证 ##

**主节点 jps**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 6]  
**从节点jps**  
![在这里插入图片描述][2019103118071651.png]  
![在这里插入图片描述][20191031180729136.png]

## 第九步: 浏览器查看启动页面 ##

hdfs集群访问地址： http://192.168.100.100:50070/dfshealth.html\#tab-overview **(使用自己ip地址访问)**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 7]  
yarn集群访问地址： http://192.168.100.100:8088/cluster **(使用自己ip地址访问)**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 8]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70]: /images/20230531/7abba53dc0d9405eaf553c854a54befd.png
[2019103117442031.png]: /images/20230531/dde356cf96a74b5e9dcd634a6b01ee76.png
[20191031174523198.png]: /images/20230531/8a395e5fbfa349e08c2302400254f0d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20230531/2300cb5d43d24c138e75c8709fd24b81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20230531/87f04808ab654aa3a19665e888f389a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20230531/03ea6c56bf714ac691c42d68a5b4797b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 4]: /images/20230531/66e91fbb75814855b65186ada74dd0b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 5]: /images/20230531/16e5226e148c4d21a6568cf0210cc069.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 6]: /images/20230531/a83f92a6ae3f4625b82734d00814fca8.png
[2019103118071651.png]: /images/20230531/bfcdd91bb2d24a61833066666e80cfe1.png
[20191031180729136.png]: /images/20230531/e78031985ab7450c8ff747ea6ed076d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 7]: /images/20230531/52bd323058e94042a47d083a8b6e9ed7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTc0OTAxMQ_size_16_color_FFFFFF_t_70 8]: /images/20230531/93dd1cd58a7c43bfb805cadc57282d8f.png