CDH版本的hadoop-2.6.0-cdh5.14.0伪集群版搭建

秒速五厘米 2022-05-08 09:22 297阅读 0赞

**准备工作:**

下载CDH的hadoop安装包, 这里选择5.14.0版本

[http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz][http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.14.0-src.tar.gz]

CDH的hadoop的安装包下载下来后, 是没有提供带C程序访问的接口, 所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题, 所以我们需要下载src源码进行编译.

CDH的hadoop-2.6.0-cdh5.14.0编译博文链接: [https://blog.csdn.net/weixin\_42582592/article/details/83000529][https_blog.csdn.net_weixin_42582592_article_details_83000529]

### 第一步: 上传压缩包并解压 ###

上传编译后的CDH 5.14.0压缩包到第一台机器上, 并解压  
![在这里插入图片描述][70]

**查看hadoop支持的压缩方式以及本地库**

bin/hadoop checknative 监测native是否可用

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了.

yum -y install openssl-devele  
![在这里插入图片描述][70 1]

安装完成后, 再次检查native, 发现openssl已经可用.

### 第二步: 修改配置文件 ###

![在这里插入图片描述][70 2]

接下来要修改6个配置文件, 我们使用nodepad++提供的Nppftp功能, 连接第一台机器, 找到这个目录

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

分别打开以下6个配置文件:

*  core-site.xml
 *  [hadoop-env.sh][]
 *  hdfs-site.xml
 *  mapred-site.xml (有可能是mapred-site.xml.template, 修改文件名去掉.template即可)
 *  slaves
 *  yarn-site.xml

**1. 修改core-site.xml文件**

<configuration>
    	
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://node01:8020</value>
    	</property>
    	
    	<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
    	</property>
    	
    	<property>
    		<name>io.file.buffer.size</name>
    		<value>4096</value>
    	</property>
    	
    	<property>
    		<name>fs.trash.interval</name>
    		<value>10080</value>
    	</property>
    </configuration>

**2. 修改hadoop-env.sh文件**

export JAVA_HOME=/export/servers/jdk1.8.0_144

**3. 修改hdfs-site.xml文件**

<configuration>
    	 
    	
    	
    	
    	<property>
    		<name>dfs.namenode.secondary.http-address</name>
    		<value>node01:50090</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.http-address</name>
    		<value>node01:50070</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
    	</property>
    	
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.edits.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.checkpoint.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.checkpoint.edits.dir</name>
    		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
    	</property>
    	
    	<property>
    		<name>dfs.replication</name>
    		<value>3</value>
    	</property>
    	
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    	</property>
    	
    	<property>
    		<name>dfs.blocksize</name>
    		<value>134217728</value>
    	</property>
    </configuration>

**4. 修改mapred-site.xml文件**

<configuration>
    	
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.job.ubertask.enable</name>
    		<value>true</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.jobhistory.address</name>
    		<value>node01:10020</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>node01:19888</value>
    	</property>
    </configuration>

**5. 修改slaves文件**

node01
    node02
    node03

**6. 修改yarn-site.xml文件**

<configuration>
    	
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>node01</value>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    	
    	<property>
    		<name>yarn.log-aggregation-enable</name>
    		<value>true</value>
    	</property>
    	
    	<property>
    		<name>yarn.log-aggregation.retain-seconds</name>
    		<value>604800</value>
    	</property>
    </configuration>

**7. 修改mapred-env.sh文件 (可选)**

export JAVA_HOME=/export/servers/jdk1.8.0_144

### 第三步: 创建数据存储的文件夹 ###

我们在上面的配置文件中配置了很多数据的存储位置, 比如元数据的存储位置, datanode的存储位置, edites的存储位置, hadoop的临时文件位置等多个. 那么接下来就要把这些文件夹给创建出来.

在第一台机器上创建文件夹, 这些位置我都放在了hadoopDatas文件夹下面

> tempDatas 是hadoop临时文件存放位置
> 
> namenodeDatas 是namenode元数据存储位置
> 
> datanodeDatas 是datanode数据存储位置
> 
> dfs/nn/edits 是edites存储位置
> 
> dfs/snn/name 是元数据检查点的存储位置
> 
> dfs/nn/snn/edits 是edites检查点的存储位置

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

### 第四步: 发送安装包到其他机器 ###

cd /export/servers/
    scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
    scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

### 第五步: 配置hadoop的环境变量 ###

三台机器都要进行配置hadoop的环境变量

三台机器执行以下命令

vim /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
    export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出后, 执行 source /etc/profile

### 第六步: 启动集群 ###

要启动 Hadoop 集群, 需要启动 HDFS 和 YARN 两个集群.

注意: 首次启动HDFS时, 必须对其进行格式化操作. 本质上是一些清理和准备工作, 因为此时的 HDFS 在物理上还是不存在的.

bin/hdfs namenode -format 或者 bin/hadoop namenode –format

**单个节点逐一启动**

在主节点上使用以下命令启动 HDFS NameNode：

[hadoop-daemon.sh][] start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

[hadoop-daemon.sh][] start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

[yarn-daemon.sh][] start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

[yarn-daemon.sh][] start nodemanager

在主节点上使用以下命令启动 jobhistory:

[mr-jobhistory-daemon.sh][] start historyserver

以上脚本位于$HADOOP\_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

**脚本一键启动**

如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

启动集群

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/start-dfs.sh
    sbin/start-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

**停止集群**

sbin/stop-dfs.sh
    sbin/stop-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

### 第七步: 浏览器访问 ###

192.168.179.100:50070 访问hdfs集群

192.168.179.100:8088 访问yarn集群

192.168.179.100:19888 访问jobhistory  
![在这里插入图片描述][70 3]  
![在这里插入图片描述][70 4]  
![在这里插入图片描述][70 5]

好了, CDH版本的hadoop就搭建成功了, 当然啦, hadoop生态圈中随便拉出来看看就是一大堆的框架…而且本文搭建完成的分布式并没有实现主节点的高可用, 后面有机会专门出博文介绍如何实现nameNode和resourceManager的高可用.

[http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.14.0-src.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz
[https_blog.csdn.net_weixin_42582592_article_details_83000529]: https://blog.csdn.net/weixin_42582592/article/details/83000529
[70]: /images/20220508/61b60d18fd0d46d786fab161ab79243c.png
[70 1]: /images/20220508/434c4ad7456e4bc793de93e9ba0f8f6b.png
[70 2]: /images/20220508/c11586bf432540feac63e6e329f35fff.png
[hadoop-env.sh]: http://hadoop-env.sh
[hadoop-daemon.sh]: http://hadoop-daemon.sh
[yarn-daemon.sh]: http://yarn-daemon.sh
[mr-jobhistory-daemon.sh]: http://mr-jobhistory-daemon.sh
[70 3]: /images/20220508/6ab4a057111f4c72a6f7039a75bc63ff.png
[70 4]: /images/20220508/e2a4e3ed6590443c9192ee85d1b8b5a9.png
[70 5]: /images/20220508/372ee3ff96e742a6940416e25701d4e0.png