Hadoop集群搭建

比眉伴天荒 2021-11-11 05:08 421阅读 0赞

**环境：**

CentOS7.4（CentOS-7-x86\_64-DVD-1810.iso）

Hadoop3.2.0

jdk-8u201-linux-x64.tar.gz

VMware® Workstation 12 Pro

**一、前期准备：**

1.关闭防火墙

systemctl status firewalld // 查看状态  
systemctl stop firewalld  
systemctl disable firewalld // 删除开机启动

2.关闭SELINUX  
vi /etc/selinux/config  
将SELINUX=enforcing改为SELINUX=disabled  
重启  
检查是否关闭：  
getenforce

3.修改主机名

主机1：hostnamectl set-hostname m1.example.com  
主机2：hostnamectl set-hostname m1.example.com

4.SSH免密登录

在m1.example.com、m2.example.com添加对应关系：  
vim /etc/hosts  
192.168.76.134 m1.example.com  
192.168.76.135 m2.example.com  
注释掉：**(否则会有子节点无法找到问题)**  
127.0.0.1  
::1

\# m1.example.com 主机操作  
ssh-keygen -t rsa -C m1.example.com

\# 免密码登录操作  
ssh-copy-id -i ~/.ssh/id\_rsa.pub root@m1.example.com  
ssh-copy-id -i ~/.ssh/id\_rsa.pub root@m2.example.com

\# 将 serverA ~/.ssh目录中的 id\_rsa.pub 这个文件拷贝到你要登录的 serverB 的~/.ssh目录中  
scp ~/.ssh/id\_rsa.pub m2.example.com:~/.ssh/  
\# 然后在 serverB 运行以下命令来将公钥导入到~/.ssh/authorized\_keys这个文件中  
cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

在m1和m2中同时执行：  
chmod 700 ~/.ssh  
chmod 600 ~/.ssh/authorized\_keys

在m2中使用ssh命令反向访问m1：  
ssh m2.example.com

vi /etc/ssh/sshd\_config  
修改为PubkeyAuthentication yes（如果前面有\#，就去掉\#）

**三、搭建**

1.在两台主机创建hadoop文件夹  
mkdir -p /hadoop/hdfs/data  
mkdir -p /hadoop/hdfs/name  
mkdir -p /hadoop/hdfs/tmp

2.环境配置  
解压  
tar -zxvf hadoop-3.2.0.tar.gz  
更名  
mv hadoop-3.2.0 hadoop  
配置环境变量  
echo -e 'export HADOOP\_HOME=/soft/hadoop \\n export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin'>>/etc/profile

tar -zxvf jdk-8u201-linux-x64.tar.gz  
mv jdk1.8.0\_201 jdk1.8  
echo -e 'export JAVA\_HOME=/soft/jdk1.8 \\n export PATH=$PATH:$JAVA\_HOME/bin'>>/etc/profile  
source /etc/profile

3.参数配置  
运行用户操作，添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

vim /soft/hadoop/etc/hadoop/hadoop-env.sh

export JAVA\_HOME=/soft/jdk1.8  
export YARN\_RESOURCEMANAGER\_USER=root  
export YARN\_NODEMANAGER\_USER=root  
export HDFS\_NAMENODE\_USER=root  
export HDFS\_DATANODE\_USER=root  
export HDFS\_SECONDARYNAMENODE\_USER=root

4.环境变量生效 source /etc/profile

5.hadoop 配置文件  
core-site.xml 配置  
两个机器配置一致  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>file:/hadoop/hdfs/tmp</value>  
</property>  
<property>  
    <name>io.file.buffer.size</name>  
    <value>131072</value>  
</property>  
<property>  
    <name>fs.default.name</name>  
    <value>hdfs://m1.example.com:9000</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.root.hosts</name>  
    <value>\*</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.root.groups</name>  
    <value>\*</value>  
</property>

hdfs-site.xml配置  
两个机器配置一致  
<property>  
    <name>dfs.replication</name>  
    <value>2</value>  
</property>  
<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:/hadoop/hdfs/name</value>  
    <final>true</final>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/hadoop/hdfs/data</value>  
    <final>true</final>  
</property>  
<property>  
    <name>dfs.namenode.secondary.http-address</name>  
    <value>m2.example.com:9001</value>  
</property>  
<property>  
    <name>dfs.webhdfs.enabled</name>  
    <value>true</value>  
</property>  
<property>  
    <name>dfs.permissions</name>  
    <value>false</value>  
</property>

yarn-site.xml 配置  
两个机器配置一致  
<property>  
    <name>yarn.resourcemanager.hostname</name>  
    <value>m1.example.com</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.address</name>  
    <value>m1.example.com:8050</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.scheduler.address</name>  
    <value>m1.example.com:8030</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.webapp.address</name>  
    <value>m1.example.com:8099</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.resource-tracker.address</name>  
    <value>m1.example.com:8025</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.admin.address</name>  
    <value>m1.example.com:8041</value>  
</property>  
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce\_shuffle</value>  
</property>  
<property>  
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>

mapred-site.xml 配置  
两个机器配置一致  
<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>

vim workers 添加如下：  
m1机器添加  
m1.example.com  
m2.example.com

6.格式化name文件夹 hadoop namenode -format

7.在命令行输入start-all.sh启动集群

8.查看datanode健康状态  
hdfs dfsadmin -report

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhb3Rhb19ndWl3YW5n_size_16_color_FFFFFF_t_70][]

9.查看集群状态

[http://m1.example.com:8099/cluster][http_m1.example.com_8099_cluster]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhb3Rhb19ndWl3YW5n_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhb3Rhb19ndWl3YW5n_size_16_color_FFFFFF_t_70]: /images/20211109/29e24aeabc6940e7a1aa75675d0ad397.png
[http_m1.example.com_8099_cluster]: https://links.jianshu.com/go?to=http%3A%2F%2Fm1.example.com%3A8088%2Fcluster
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhb3Rhb19ndWl3YW5n_size_16_color_FFFFFF_t_70 1]: /images/20211109/2e5bc68c1ee64a6895b06cfebd210d3a.png