Hadoop集群安装部署_分布式集群安装_02

妖狐艹你老母 2022-10-12 04:16 367阅读 0赞

文章目录

          • 一、上传与 解压
              1. 上传安装包
              1. 解压hadoop安装包
          • 二、修改hadoop相关配置文件
            • 2.1. hadoop-env.sh
            • 2.2. core-site.xml
            • 2.3. hdfs-site.xml
            • 2.4. mapred-site.xml
            • 2.5. yarn-site.xml
            • 2.6. workers
            • 2.7. 修改启动脚本
          • 三、同步初始化
            • 3.1. 安装包同步
            • 3.2. 主节点格式化HDFS
            • 3.3. 启动集群
            • 3.4. 验证集群
            • 3.5. webui
            • 3.6. Hadoop的客户端节点
一、上传与 解压

首先在bigdata01节点上安装。

1. 上传安装包

把hadoop-3.2.0.tar.gz安装包上传到linux机器的/data/soft目录下

  1. [root@bigdata01 ~]# ll /data/soft/
  2. total 527024
  3. -rw-r--r--. 1 root root 345625475 Jul  2 21:18 hadoop-3.2.0.tar.gz
  4. drwxr-xr-x. 7   10  143       245 Dec 16  2018 jdk1.8
  5. -rw-r--r--. 1 root root 194042837 Mar  8  2020 jdk-8u202-linux-x64.tar.gz
  6. You have new mail in /var/spool/mail/root
  7. [root@bigdata01 ~]#
2. 解压hadoop安装包
  1. [root@bigdata01 soft]# tar -zxvf hadoop-3.2.0.tar.gz
二、修改hadoop相关配置文件

进入配置文件所在目录

  1. [root@bigdata01 soft]# cd hadoop-3.2.0/etc/hadoop/
  2. [root@bigdata01 hadoop]#
2.1. hadoop-env.sh

首先修改hadoop-env.sh文件，在文件末尾增加环境变量信息

  1. [root@bigdata01 hadoop]# vi hadoop-env.sh 
  2. export JAVA_HOME=/data/soft/jdk1.8
  3. export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
2.2. core-site.xml

修改core-site.xml文件，注意fs.defaultFS属性中的主机名需要和主节点的主机名保持一致

  1. [root@bigdata01 hadoop]# vi core-site.xml
  2. <configuration>
  3.     <property>
  4.         <name>fs.defaultFS</name>
  5.         <value>hdfs://bigdata01:9000</value>
  6.     </property>
  7.     <property>
  8.         <name>hadoop.tmp.dir</name>
  9.         <value>/data/hadoop_repo</value>
  10.    </property>
  11. </configuration>
2.3. hdfs-site.xml

修改hdfs-site.xml文件，把hdfs中文件副本的数量设置为2，最多为2，因为现在集群中有两个从节点，还有secondaryNamenode进程所在的节点信息

  1. [root@bigdata01 hadoop]# vi hdfs-site.xml 
  2. <configuration>
  3.     <property>
  4.         <name>dfs.replication</name>
  5.         <value>2</value>
  6.     </property>
  7.     <property>
  8.         <name>dfs.namenode.secondary.http-address</name>
  9.         <value>bigdata01:50090</value>
  10.     </property>
  11. </configuration>
2.4. mapred-site.xml

修改mapred-site.xml，设置mapreduce使用的资源调度框架

  1. [root@bigdata01 hadoop]# vi mapred-site.xml
  2. <configuration>
  3.     <property>
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  7. </configuration>
2.5. yarn-site.xml

修改yarn-site.xml，设置yarn上支持运行的服务和环境变量白名单

注意，针对分布式集群在这个配置文件中还需要设置resourcemanager的hostname，否则nodemanager找不到resourcemanager节点。

  1. [root@bigdata01 hadoop]# vi yarn-site.xml
  2. <configuration>
  3.     <property>
  4.         <name>yarn.nodemanager.aux-services</name>
  5.         <value>mapreduce_shuffle</value>
  6.     </property>
  7.     <property>
  8.         <name>yarn.nodemanager.env-whitelist</name>
  9.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  10.     </property>
  11.     <property>
  12.         <name>yarn.resourcemanager.hostname</name>
  13.         <value>bigdata01</value>
  14.     </property>
  15. </configuration>
2.6. workers

修改workers文件，增加所有从节点的主机名，一个一行

  1. [root@bigdata01 hadoop]# vi workers
  2. bigdata02
  3. bigdata03
2.7. 修改启动脚本

修改start-dfs.sh，stop-dfs.sh这两个脚本文件，在文件前面增加如下内容

  1. [root@bigdata01 hadoop]# cd /data/soft/hadoop-3.2.0/sbin
  2. [root@bigdata01 sbin]# vi start-dfs.sh
  3. HDFS_DATANODE_USER=root
  4. HDFS_DATANODE_SECURE_USER=hdfs
  5. HDFS_NAMENODE_USER=root
  6. HDFS_SECONDARYNAMENODE_USER=root
  8. [root@bigdata01 sbin]# vi stop-dfs.sh
  9. HDFS_DATANODE_USER=root
  10. HDFS_DATANODE_SECURE_USER=hdfs
  11. HDFS_NAMENODE_USER=root
  12. HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh，stop-yarn.sh这两个脚本文件，在文件前面增加如下内容

  1. [root@bigdata01 sbin]# vi start-yarn.sh
  2. YARN_RESOURCEMANAGER_USER=root
  3. HADOOP_SECURE_DN_USER=yarn
  4. YARN_NODEMANAGER_USER=root
  6. [root@bigdata01 sbin]# vi stop-yarn.sh
  7. YARN_RESOURCEMANAGER_USER=root
  8. HADOOP_SECURE_DN_USER=yarn
  9. YARN_NODEMANAGER_USER=root
三、同步初始化
3.1. 安装包同步

把bigdata01节点上将修改好配置的安装包拷贝到其他两个从节点

  1. [root@bigdata01 sbin]# cd /data/soft/
  2. [root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata02:/data/soft/
  3. [root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata03:/data/soft/

由于小文件较多，同步会慢一下，耐心等待一会哈！

3.2. 主节点格式化HDFS

在bigdata01节点上格式化HDFS

  1. [root@bigdata01 soft]# cd /data/soft/hadoop-3.2.0
  2. [root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format

如果在后面的日志信息中能看到这一行，则说明namenode格式化成功。

bash common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successfully formatted.
在这里插入图片描述

3.3. 启动集群

在bigdata01节点上执行下面命令

  1. [root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh 
  2. Starting namenodes on [bigdata01]
  3. Last login: Sat Jul  3 10:42:24 CST 2021 from 192.168.92.1 on pts/1
  4. Starting datanodes
  5. Last login: Sat Jul  3 11:33:14 CST 2021 on pts/1
  6. bigdata03: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
  7. bigdata02: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
  8. Starting secondary namenodes [bigdata01]
  9. Last login: Sat Jul  3 11:33:16 CST 2021 on pts/1
  10. Starting resourcemanager
  11. Last login: Sat Jul  3 11:33:23 CST 2021 on pts/1
  12. Starting nodemanagers
  13. Last login: Sat Jul  3 11:33:39 CST 2021 on pts/1
  14. You have new mail in /var/spool/mail/root
  15. [root@bigdata01 hadoop-3.2.0]#
3.4. 验证集群

分别在3台机器上执行jps命令，进程信息如下所示：

在bigdata01节点执行

  1. [root@bigdata01 hadoop-3.2.0]# jps
  2. 22485 SecondaryNameNode
  3. 22214 NameNode
  4. 22743 ResourceManager
  5. 23082 Jps

在bigdata02节点执行

  1. [root@bigdata02 ~]# jps
  2. 26709 DataNode
  3. 26822 NodeManager
  4. 26939 Jps

在bigdata03节点执行

  1. [root@bigdata03 ~]# jps
  2. 16759 DataNode
  3. 16874 NodeManager
  4. 16990 Jps
3.5. webui

还可以通过webui界面来验证集群服务是否正常

HDFS webui界面：http://192.168.92.100:9870
YARN webui界面：http://192.168.92.100:8088
在这里插入图片描述
在这里插入图片描述
至此，hadoop分布式集群安装成功！

注意：前面这些操作步骤这么多，如果我是新手我怎么知道需要做这些操作呢？不用担心，官方给提供的有使用说明，也就是我们平时所说的官方文档，我们平时买各种各样的东西都是有说明书的，上面会告诉你该怎么使用，这个是最权威最准确的。

那我们来看一下Hadoop的官网文档:

3.6. Hadoop的客户端节点

在实际工作中不建议直接连接集群中的节点来操作集群，直接把集群中的节点暴露给普通开发人员是不安全的

建议在业务机器上安装Hadoop，只需要保证业务机器上的Hadoop的配置和集群中的配置保持一致即可，这样就可以在业务机器上操作Hadoop集群了，此机器就称为是Hadoop的客户端节点

Hadoop的客户端节点可能会有多个，理论上是我们想要在哪台机器上操作hadoop集群就可以把这台机器配置为hadoop集群的客户端节点。
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，367人围观）

还没有评论，来说两句吧...

相关阅读

    相关 hadoop 集群安装

    单机hadoop 集群部署，在单机版基础上进行的,我们需要配置4个机器master,node1,node2,node3 [hadoop单机部署 教程 步骤][hado

    朱雀朱雀/ 0 赞/ 22 阅读

    相关 hadoop分布式集群安装

    搭建分布式集群的前提安装步骤需要每一台机器都要执行（jdk安装，ip配置，主机名设置，hosts文件配置，关闭防火墙，免密登录） 免密登录注意，至少确保主节点可以免密登录到

    秒速五厘米秒速五厘米/ 0 赞/ 105 阅读

    相关 hadoop完全分布式集群安装

    因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽

    清疚清疚/ 0 赞/ 338 阅读