二:hadoop环境准备和集群搭建详细版,亲测可用

悠悠 2022-02-04 08:06 256阅读 0赞

# 二:hadoop集群搭建 #

## 1:Hadoop集群简介绍 ##

hadoop集群具体包含两个集群,HDFS集群和YARN集群,两者逻辑上分离,但是物理上关联

HDFS集群负责海量数据的存储,其主要角色有

NameNode. DateNode SecondaryNameNode

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70][]

YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:

ResoureeManager,NodeManager

mapreduce其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,打包运行在HDFS集群上,并且受到YARN集群的资源调度管理.

## 2:hadoop部署方式分为三种 ##

### 1:独立模式 ###

独立模式又称为单机模式,仅一个机器运行1个Java进程,主要用于调试.

### 2:伪分布模式 ###

在一台机器上运行HDFS的NameNode和DateNode,Yarn的resourceManger和NodeManager,但分别启动单独的Java进程,主要用于调试

### 3:集群模式 ###

主要用于生产环境的部署,会使用N太主机组成一个hadoop集群,这种部署模式下,主节点和从节点分开部署在不同的机器上

我们以3节点为例进行搭建,角色分配如下:

node-01 NameNode DataNode ResourceManager

node-02 DataNode NodeManaeer SecondaryNameNade

node-03 DataNode NodeManager

## 3:集群搭建环境准备 ##

1服务器环境:

VMvare Workstation 10

centos 6.5

2:网络环境

采用NAT方式联网

确保各个服务器都能访问外网,如果不能访问,将无法同步服务器系统的网络时间

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 1][]

3:服务器系统设置

1:手动同步集群各个服务器时间

date -s '2019-04-30 10:56:00'

2:网络同步时间

yum install ntpdate

ntpdate cn.pool.ntp.org

![2019050711064952.png][]

3:设置主机名

vi /etc/sysconfig/network

![20190507110705663.png][]

4:host文件配置IP和主机名映射

vi /etc/hosts

192.168.72.129 server2 \#应用服务器2

192.168.72.130 server3 \#应用服务器3

192.168.72.132 server4 \#应用服务器4

![20190507110718384.png][]

需要注释掉,不然就会显示一个本地节点

5:免密登录

ssh-keygen -t rsa 生成ssh免密登录秘钥

ssh-copy -id server3 将公钥拷贝到要免密登录的目标机器上

6:关闭防火墙

1:查看防火墙状态

service iptables status

2:关闭防火墙

service iptables stop

3:查看防火墙开机启动状态

chkconfig iptables --list

4:关闭防火墙开机启动

chkconfig iptables off

7:JDK的安装

java-version 查看

java/javac

## 4:hadoop集群编译 ##

1:为什么需要编译

程序当中有一部分跟系统环境息息相关,文件的读写win还是Linux64或者32,要结合具体的系统环境下载源码进行编译

当需要自定义源码当中的某些组件的时候,需要修改源码,然后要重新编译成安装包

2:hadoop安装目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 2][]

## 三:hadoop配置文件的修改 ##

### 1:配置文件路径 ###

hadoop配置文件路径

/root/apps/hadoop-2.6.4/etc/hadoop

jdk的安装路径

/usr/local/jdk1.7.0\_45/bin/java

![20190507111043359.png][]

### 2:配置文件修改 ###

1:修改配置文件:hadoop-env.sh

配置JDK的环境变量

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 3][]

### 2:修改配置文件core-site.xml ###

<name>fs.defaultFS</name>

<value>hdfs://server2:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hdpdata</value>

</property>

hadoop核心配置,指定hadoop所使用的文件系统schema(uri),HDFS的老大NameNode的地址.

指定hadoop运行时产生文件的存储目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 4][]

### 3:修改hdfs-site.xml配置文件副本数量 ###

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http.address</name>

<value>serve2:50090</value>

</property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 5][]

### 4:修改配置文件mapred-site.xml ###

指定mapreduce运行时框架,这里指定在yarn上,默认是local

<name>mapreduce.framework.name</name>

</property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 6][]

### 5:修改yarn-site.xml配置文件 ###

<name>yarn.resourcemanager.hostname</name>

<value>server2</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 7][]

### 6:修改slaves文件 ###

![20190507111203506.png][]

### 3:将hadoop添加到环境变量 ###

vi /etc/profile

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 8][]

## 四:集群远程拷贝安装与格式化和启动 ##

### 1:远程拷贝hadoop安装目录 ###

scp -r /root/apps/hadoop-2.6.4/ root@server3:/root/apps/

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 9][]

### 2:拷贝环境变量配置文件 ###

scp -r /etc/profile root@server3:/etc/

![20190507111309793.png][]

### 3:格式化 ###

1:首次启动需要进行格式化

2:格式化本质是进行文件系统的初始化操作,创建一些自己需要的文件

3:格式化之后,集群启动成功,后续再也不需要进行格式化了

4:格式化本质是一些清理和准备工作,因此此时的HDFS在物理上还是不存在的

5:格式化操作在hdfs集群的主角色(server2)所在的机器上操作

格式化命令

hdfs namenode -format 或者

hadoop namenode -format

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 10][]

## 4:hadoop的启动 ##

cd apps/hadoop-2.6.4/sbin/

### 1:单节点启动 ###

1:在主节点上使用以下命令启动HDFS NameNode;

hadoop-daemon.sh start namenode

2:在每个节点上使用以下命令启动HDFS DataNode;

hadoop-daemon.sh start datanode

3:在主节点上使用以下命令启动YARN ResourceManager;

yarn-daemon.sh start resourceManager

4:在每个从节点使用以下命令启动YARN nodemanager

yarn-daemon.sh start nodemanager;

以上脚本位于hadoop\_home/sbin目录下,如果想要停止某个节点上某个角色,只需要把命令中的start改为stop即可

### 2:脚本一键启动 ###

如果配置了 /root/apps/hadoop-2.6.4/etc/hadoop/slaves和免密登录,则可以使用脚本启动所有的hadoop两个集群的相关进程,在主节点设定机器上执行

hdfs

$HADOOP\_PREFIX/sbin/start-dfs.sh

start-dfs.sh

![20190507111356363.png][]

yarn

$HADOOP\_PREFIX/sbin/start-yarn.sh

start-yarn.sh

![20190507111407341.png][]

然后在主服务器上jps

![20190507111423164.png][]

然后在从服务器server3上jps

![20190507111431282.png][]

然后在从服务器server4上jps

![20190507111440228.png][]

## 3:hadoop的访问 ##

[http://192.168.72.129:50070][http_192.168.72.129_50070]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 11][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70]: /images/20220204/e50eea6802ec4f80b7b71715f5097095.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 1]: /images/20220204/1c9d07f01eac4fa58f26397d026b783e.png
[2019050711064952.png]: /images/20220204/acc9fc8d70954fc480d088f9de544104.png
[20190507110705663.png]: /images/20220204/678dccfd0b4f427498571fee3f1c3e31.png
[20190507110718384.png]: /images/20220204/3d476f9b979b4eb7b73f8bc28914eed5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 2]: /images/20220204/24d69c888af4438b853cc27acfb67bcc.png
[20190507111043359.png]: /images/20220204/812c2f3cc1b44920a8079bb8c46aafe5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 3]: /images/20220204/fb0731c8115e4b59840fd6b4f93ba1ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 4]: /images/20220204/1cd77c795aba4f57838290328d0f6d68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 5]: /images/20220204/bd411c2ffc63491eb5c6622415dcd8f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 6]: /images/20220204/45788623d15d4b6bbbef03fe6c5ee005.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 7]: /images/20220204/34abadd3432248aa819df23de20e60e3.png
[20190507111203506.png]: /images/20220204/515c1e322fe04686b183062409d57000.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 8]: /images/20220204/d4e4830a2d21466283d3f2eef1d838cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 9]: /images/20220204/3c633ba003ec442bb3bbc9eaf9018e65.png
[20190507111309793.png]: /images/20220204/30d14ba242a449b5bfb6cf13edb85d92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 10]: /images/20220204/76cb060447304bfc85fac334a33144de.png
[20190507111356363.png]: /images/20220204/4b68015450d1435cb8c8f395dd7874a7.png
[20190507111407341.png]: /images/20220204/f602f8e2c97b43b5835ea07f324db4ec.png
[20190507111423164.png]: /images/20220204/f4b256e260be4c5589ac67a7cc2d1277.png
[20190507111431282.png]: /images/20220204/5dd0dfd2b2af4f6a8fda80e68af625aa.png
[20190507111440228.png]: /images/20220204/ab404f94fe8e49179f1b1a91d2a2f664.png
[http_192.168.72.129_50070]: http://192.168.72.129:50070
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70 11]: /images/20220204/37392bb606cd4376a3df2c4b22ee61dd.png