Hadoop完全分布式集群的搭建

如果前一章的内容你看懂了，那么请先删除之前搭建的三个新服务器重新克隆三个！！！(博主绝对不是故意为之，真的只是忘记了？)

Hadoop完全分布式集群的搭建

1.分布式集群搭建规划
2.集群的配置（权限问题，命令执行位置问题请自行注意）
- 2.1核心配置文件(core)
- 2.2 HDFS配置文件(hdfs)
- 2.3YARN配置文件(yarn)
- 2.4MapReduce配置文件(mapred)
- 2.5 在集群上分发配置好的Hadoop配置文件
3.集群的启动（分两种方式）
- 3.1 单点启动
- 3.2 群起集群
- - 3.2.1 SSH无密登录
  - 3.2.2 集群是第一次启动，需要格式化NameNode
  - 3.2.3 启动HDFS
  - 3.2.4 启动YARN
4.集群查看
- 4.1查看HDFS文件系统
- 4.2查看SecondaryNameNode
- 4.3查看YARN
5.返回目录

1.分布式集群搭建规划

开始之前当然是要有一个计划：
在这里插入图片描述

2.集群的配置（权限问题，命令执行位置问题请自行注意）

2.1核心配置文件(core)

执行命令：vi core-site.xml
在文件中加入如下内容：

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2.2 HDFS配置文件(hdfs)

1.执行命令：vi hadoop-env.sh
配置JAVA_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi hdfs-site.xml
添加如下内容：

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:50090</value>
</property>

2.3YARN配置文件(yarn)

1.执行内容：vi yarn-env.sh
配置JAVA_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi yarn-site.xml
添加如下内容：

<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>

2.4MapReduce配置文件(mapred)

1.执行命令：vi mapred-env.sh
配置JAVA_HOME:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置mapred-site.xml：

修改配置文件名（因为默认加载mapred-site.xml）：cp mapred-site.xml.template mapred-site.xml
在编辑配置文件：vi mapred-site.xml

mapreduce.framework.name
yarn

2.5 在集群上分发配置好的Hadoop配置文件

执行命令：xsync /opt/module/hadoop-2.7.2/

3.集群的启动（分两种方式）

3.1 单点启动

1.分别启动/停止HDFS组件参考命令：hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
2.启动/停止YARN参考命令：yarn-daemon.sh start / stop resourcemanager / nodemanager