CentOS下部署Hadoop高性能集群

待我称王封你为后i 2022-12-26 04:44 227阅读 0赞

目录：  
•Hadoop 概述  
•实战1:部署Hadoop高性能集群

# Hadoop是什么 #

Hadoop是Lucene创始人Doug Cutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。

Hadoop概述：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。  
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

网方网站：http://hadoop.apache.org/  
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]  
各版本下载：  
http://hadoop.apache.org/releases.html  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]  
hadoop基于java开发的。

Hadoop包括两大核心，分布式存储系统和分布式计算系统。  
Map/Reduce: 分布式计算”框架”  
HDFS: 分布式文件系统

如图：这就是分布式文件系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]

# 分布式存储 #

为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器的很多硬盘中。那么，要处理这么多数据，必须从一台一台服务器分别读取数据和写入数据，太麻烦了！  
我们希望有一种文件系统，可以管辖很多服务器用于存储数据。通过这个文件系统存储数据时，感觉不到是存储到不同的服务器上的。当读取数据时，感觉不到是从不同的服务器上读取。  
如图：这就是分布式文件系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]  
分布式文件系统管理的是一个服务器集群。在这个集群中，数据存储在集群的节点（即集群中的服务器）中，但是该文件系统把服务器的差异屏蔽了。那么，我们就可以像使用普通的文件系统一样使用，但是数据却分散在不同的服务器中。

**命名空间**（namespace）：在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件，为了组织众多的文件，把文件可以放到不同的文件夹中，文件夹可以一级一级的包含。我们把这种组织形式称为命名空间（namespace）。命名空间管理着整个服务器集群中的所有文件。命名空间的职责与存储真实数据的职责是不一样的。  
负责命名空间职责的节点称为主节点（master node），负责存储真实数据职责的节点称为从节点（slave node）。

**主/从节点**：主节点负责管理文件系统的文件结构，从节点负责存储真实的数据，称为主从式结构（master-slaves）。  
用户操作时，也应该先和主节点打交道，查询数据在哪些从节点上存储，然后再从从节点读取。在主节点，为了加快用户访问的速度，会把整个命名空间信息都放在内存中，当存储的文件越多时，那么主节点就需要越多的内存空间。

**block**：在从节点存储数据时，有的原始数据文件可能很大，有的可能很小，大小不一的文件不容易管理，那么可以抽象出一个独立的存储文件单位，称为块（block）。  
容灾： 数据存放在集群中，可能因为网络原因或者服务器硬件原因造成访问失败，最好采用副本（replication）机制，把数据同时备份到多台服务器中，这样数据就安全了，数据丢失或者访问失败的概率就小了。  
**工作流程图：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]  
**名词解释**  
（1）Hadoop：Apache开源的分布式框架。  
（2）HDSF：Hadoop的分布式文件系统。  
（3）NameNode：Hadoop HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息，这个服务器是单点的。  
（4）JobTracker：Hadoop的Map/Reduce调度器，负责与TaskTracker通信分配计算任务并跟踪任务进度，这个服务器也是单点的。  
（5）DataNode：Hadoop数据节点，负责存储数据。  
（6）TaskTracker：Hadoop调度程序，负责Map,Reduce任务的启动和执行。  
Namenode记录着每个文件中各个块所在的数据节点的位置信息

**Hadoop1的组件依赖关系图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]  
在以上的主从式结构中，由于主节点含有整个文件系统的目录结构信息，因为非常重要。另外，由于主节点运行时会把命名空间信息都放到内存中，因此存储的文件越多，主节点的内存就需要的越多。  
在hadoop中，分布式存储系统称为HDFS（hadoop distributed file system）。其中，主节点称为名字节点（namenode），从节点称为数据节点（datanode）。

# 总结： #

在以上的主从式结构中，由于主节点含有整个文件系统的目录结构信息，因为非常重要。另外，由于主节点运行时会把命名空间信息都放到内存中，因此存储的文件越多，主节点的内存就需要的越多。  
在hadoop中，分布式存储系统称为HDFS（hadoop distributed file system）。其中，主节点称为名字节点（namenode），从节点称为数据节点（datanode）。

# 分布式计算： #

对数据进行处理时，我们会把数据读取到内存中进行处理。如果我们对海量数据进行处理，比如数据大小是100GB，我们要统计文件中一共有多少个单词。要想把数据都加载到内存中几乎是不可能的，称为移动数据。

那么是否可以把程序代码放到存放数据的服务器上哪？因为程序代码与原始数据相比，一般很小，几乎可以忽略的，所以省下了原始数据传输的时间了。现在，数据是存放在分布式文件系统中，100GB的数据可能存放在很多的服务器上，那么就可以把程序代码分发到这些服务器上，在这些服务器上同时执行，也就是并行计算，也是分布式计算。这就大大缩短了程序的执行时间。我们把程序代码移动到数据节点的机器上执行的计算方式称为移动计算。

分布式计算需要的是最终的结果，程序代码在很多机器上并行执行后会产生很多的结果，因此需要有一段代码对这些中间结果进行汇总。Hadoop中的分布式计算一般是由两阶段完成的。第一阶段负责读取各数据节点中的原始数据，进行初步处理，对各个节点中的数据求单词数。然后把处理结果传输到第二个阶段，对中间结果进行汇总，产生最终结果，求出100GB文件总共有多少个单词，如图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]  
**在hadoop中，分布式计算部分称为MapReduce。**  
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。  
**在分布式计算过程中有以下角色：**

*  主节点称为作业节点（jobtracker），
 *  从节点称为任务节点（tasktracker）。

在任务节点中，运行第一阶段的代码称为map任务（map task），运行第二阶段的代码称为reduce任务（reduce task）。

*  task ： 任务
 *  tracker ，跟踪器

# 关于hadoop的名词解释 #

（1）Hadoop：Apache开源的分布式框架。  
（2）HDFS：Hadoop的分布式文件系统。  
（3）NameNode：Hadoop HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息，这个服务器是单点的。  
（4）JobTracker：Hadoop的Map/Reduce调度器，负责与TaskTracker通信分配计算任务并跟踪任务进度，这个服务器也是单点的。  
（5）DataNode：Hadoop数据节点，负责存储数据。  
（6）TaskTracker：Hadoop调度程序，负责Map,Reduce任务的启动和执行。  
注：Namenode记录着每个文件中各个块所在的数据节点的位置信息

# 实战：搭建Hadoop集群： #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]  
**实验环境**  
安装前，3台虚拟机IP及机器名称如下：  
主机名 IP地址 角色  
63.cn 192.168.1.63 NameNode  
64.cn 192.168.1.64 DataNode1  
62.cn 192.168.1.62 DataNode2

# 验前期环境准备： #

三台机器上配置hosts文件，如下：

63 ~]# vim  /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.1.63   xuegod63.cn
    192.168.1.64   xuegod64.cn
    192.168.1.62   xuegod62.cn

复制hosts到其它两机器：

63 ~]# scp /etc/hosts root@192.168.1.64:/etc/
    63 ~]# scp /etc/hosts root@192.168.1.62:/etc/
    注意：在/etc/hosts中，不要把机器名字，同时对应到127.0.0.1这个地址，否则会导致数据节点连接不上namenode，报错如下：
    org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.10:9000

创建运行hadoop用户账号和Hadoop目录。 尽量不用root帐号运行  
63：

63 ~]# useradd -u 8000  hadoop   #为了保障，在其它服务器上创建的hadoop用户ID保持一致，创建时，尽量把UID调大
    
    63 ~]# echo 123456 | passwd --stdin hadoop
    
    64 ~]# useradd -u 8000 hadoop 
    64 ~]# echo 123456 | passwd --stdin hadoop
    
    62 ~]# useradd -u 8000 hadoop
    62 ~]# echo 123456 | passwd --stdin hadoop

注：创建用户hadoop时，不能使用参数-s /sbin/nologin ,因为稍后我们要su - hadoop 切换用户

（4）给hadoop账户增加sudo权限： vim /etc/sudoers ，增加内容：

63 ~]#  vim /etc/sudoers
    hadoop  ALL=(ALL)  ALL

注意：以上对于每一台机器都要执行

配置在63上，可以ssh无密码登录机器x63，64，62 ，方便后期复制文件和启动服务。因为namenode启动时，会连接到datanode上启动对应的服务。  
生成公钥和私钥  
注意：切换到hadoop用户再操作

63 ~]# ssh-keygen 
    Generating public/private rsa key pair.
    Enter file in which to save the key (/root/.ssh/id_rsa): 
    Created directory '/root/.ssh'.
    Enter passphrase (empty for no passphrase): 
    Enter same passphrase again: 
    Your identification has been saved in /root/.ssh/id_rsa.
    Your public key has been saved in /root/.ssh/id_rsa.pub.
    The key fingerprint is:
    b6:be:c5:0f:d5:70:52:cf:5f:7a:a4:c1:bd:26:b9:84 root@xuegod63.cn
    The key's randomart image is:
    +--[ RSA 2048]----+
    |              .  |
    |             o + |
    |            o + *|
    |            .=.=+|
    |        S  E.++oo|
    |       . o .. +. |
    |        . +  .   |
    |       . . o     |
    |        o.  .    |
    +-----------------+

导入公钥到其他datanode节点认证文件  
\[hadoop@xuegod63 ~\]\# ssh-copy-id root@192.168.1.62  
\[hadoop@xuegod63 ~\]\# ssh-copy-id root@192.168.1.64

配置Hadoop环境，安装Java环境JDK：三台机器上都要配置  
63安装jdk  
上传jdk-8u161-linux-x64.rpm软件包到63

d63 ~]# rpm -ivh jdk-8u161-linux-x64.rpm

1、安装及配置Java运行环境—jdk。升级了jdk的版本

63 ~]# rpm -ivh jdk-8u161-linux-x64.rpm 
    63 ~]#rpm -pql /root/jdk-8u161-linux-x64.rpm   #通过查看jdk的信息可以知道jdk的安装目录在/usr/java 
    
    63 ~]#vim /etc/profile   #在文件的最后添加以下内容：
    export JAVA_HOME=/usr/java/jdk1.8.0_161
    export JAVA_BIN=/usr/java/jdk1.8.0_161/bin
    export PATH=${ JAVA_HOME}/bin:$PATH
    export CLASSPATH=.:${ JAVA_HOME}/lib/dt.jar:${ JAVA_HOME}/lib/tools.jar
    
    63 ~]#source /etc/profile #使配置文件生效

验证java运行环境是否安装成功：

63 ~]#  java -version
    java version "1.8.0_161"
    Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
    Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

如果出现安装的对应版本，说明java运行环境已经安装成功。  
注：这里只是升级了jdk的版本，因为在我安装的系统中已经安装了jdk。

将jdk部署到其它两台机器上：

63 ~]# scp jdk-8u161-linux-x64.rpm root@192.168.1.62:/root
    63 ~]# scp jdk-8u161-linux-x64.rpm root@192.168.1.64:/root
    63 ~]# scp /etc/profile 192.168.1.62:/etc/profile
    63 ~]# scp /etc/profile 192.168.1.64:/etc/profile

安装：  
\[root@xuegod64 ~\]\# rpm -ivh jdk-8u161-linux-x64.rpm  
\[root@xuegod62 ~\]\# rpm -ivh jdk-8u161-linux-x64.rpm

重新参加java运行环境：  
\[root@xuegod64 ~\]\# source /etc/profile  
\[root@xuegod62 ~\]\# source /etc/profile  
测试：  
\[root@xuegod64 ~\]\# java -version  
java version “1.7.0\_71”  
Java™ SE Runtime Environment (build 1.7.0\_71-b14)  
Java HotSpot™ 64-Bit Server VM (build 24.71-b01, mixed mode)  
\[root@xuegod62 ~\]\# java -version  
java version “1.7.0\_71”  
Java™ SE Runtime Environment (build 1.7.0\_71-b14)  
Java HotSpot™ 64-Bit Server VM (build 24.71-b01, mixed mode)

三台机器关闭防火墙：  
\[root@xuegod63 ~\]\# systemctl stop firewalld.service  
\[root@xuegod63 ~\]\# systemctl disable firewalld.service  
\[root@xuegod62 ~\]\# systemctl stop firewalld.service  
\[root@xuegod62 ~\]\# systemctl disable firewalld.service  
\[root@xuegod64 ~\]\# systemctl stop firewalld.service  
\[root@xuegod64 ~\]\# systemctl disable firewalld.service  
在xuegod63安装Hadoop 并配置成namenode主节点  
Hadoop安装目录：/home/hadoop/hadoop-3.0.0  
使用root帐号将hadoop-3.0.0.tar.gz 上传到服务器  
\[root@xuegod63 ~\]\# mv hadoop-3.0.0.tar.gz /home/hadoop/  
注意：以下步骤使用hadoop账号操作。  
\[root@xuegod63 ~\]\# su - hadoop  
\[hadoop@xuegod63 ~\]$ tar zxvf hadoop-3.0.0.tar.gz \#只要解压文件就可以，不需要编译安装

创建hadoop相关的工作目录  
\[hadoop@xuegod63 ~\]$ mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp  
\[hadoop@xuegod623 ~\]$ ls  
dfs hadoop-3.0.0 hadoop-3.0.0.tar.gz tmp  
配置Hadoop：需要修改7个配置文件。  
文件位置：/home/hadoop/hadoop-3.0.0/etc/hadoop/  
文件名称：hadoop-env.sh、yarn-evn.sh、workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

1、配置文件hadoop-env.sh，指定hadoop的java运行环境  
该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim /home/hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.sh  
改：54 \# export JAVA\_HOME=  
为：export JAVA\_HOME=/usr/java/jdk1.8.0\_161  
注：指定java运行环境变量

2、配置文件yarn-env.sh，保存yarn框架的运行环境  
该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。  
yarn ：Hadoop 的新 MapReduce 框架Yarn是Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理 。  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim /home/hadoop/hadoop-3.0.0/etc/hadoop/yarn-env.sh 不需要修改。  
查看优先规则:

## Precedence rules: ##

##  ##

## yarn-env.sh > hadoop-env.sh > hard-coded defaults ##

Precedence \[ˈpresɪdəns\] 优先

4、配置文件core-site.xml，指定访问hadoop web界面访问路径  
这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的命名，位置为主机的9000端口；  
hadoop.tmp.dir配置了hadoop的tmp目录的根位置。这里使用了一个文件系统中没有的位置，所以要先用mkdir命令新建一下。  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim /home/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml  
改：  
19  
20  
注： 在和中间插入以一下红色和蓝色标记内容：  
为：

fs.defaultFS hdfs://xuegod63.cn:9000 io.file.buffer.size 13107 hadoop.tmp.dir file:/home/hadoop/tmp Abase for other temporary directories. 注：property 财产 \[ˈprɒpəti\] io.file.buffer.size 的默认值 4096 。这是读写 sequence file 的 buffer size, 可减少 I/O 次数。在大型的 Hadoop cluster，建议可设定为 65536

5、配置文件hdfs-site.xml  
这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；  
dfs.replication配置了文件块的副本数，一般不大于从机的个数。  
\[root@xuegod63 ~\]\# vim /home/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml  
改：19  
20  
21  
注： 在和中间插入以一下红色和蓝色标记内容：  
为：  
  
  
dfs.namenode.secondary.http-address  
xuegod63.cn:9001

dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.replication 2 dfs.webhdfs.enabled true

注：  
  
dfs.namenode.secondary.http-address  
xuegod63.cn:9001 \# 通过web界面来查看HDFS状态  
  
  
dfs.replication  
2 \#每个Block有2个备份。

6、配置文件mapred-site.xml  
这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，  
同时指定：Hadoop的历史服务器historyserver  
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器  
$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver  
historyserverWARNING: Use of this script to start the MR JobHistory daemon is deprecated.  
WARNING: Attempting to execute replacement “mapred --daemon start” instead.  
WARNING: /home/hadoop/hadoop-3.0.0/logs does not exist. Creating.  
这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。  
修改mapred-site.xml  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim  
6、配置文件mapred-site.xml  
这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，  
同时指定：Hadoop的历史服务器historyserver  
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器  
$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver  
historyserverWARNING: Use of this script to start the MR JobHistory daemon is deprecated.  
WARNING: Attempting to execute replacement “mapred --daemon start” instead.  
WARNING: /home/hadoop/hadoop-3.0.0/logs does not exist. Creating.  
这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。  
修改mapred-site.xml  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim /home/hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml  
改：19  
20  
21  
注： 在和中间插入以一下红色和蓝色标记内容：  
为：

mapreduce.framework.name yarn mapreduce.jobhistory.address 0.0.0.0:10020 mapreduce.jobhistory.webapp.address 0.0.0.0:19888

7、配置节点yarn-site.xml  
该文件为yarn框架的配置,主要是一些任务的启动位置  
\[hadoop@xuegod63 hadoop-3.0.0\]$ vim /home/hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml

# 修改configuration内容如下： #

改：

注： 在和中间插入以一下红色和蓝色标记内容：

为：

yarn.nodemanager.aux-services mapreduce\_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address xuegod63.cn:8032 yarn.resourcemanager.scheduler.address xuegod63.cn:8030 yarn.resourcemanager.resource-tracker.address xuegod63.cn:8031 yarn.resourcemanager.admin.address xuegod63.cn:8033 yarn.resourcemanager.webapp.address xuegod63.cn:8088 yarn.application.classpath /home/hadoop/hadoop-3.0.0/etc/hadoop:/home/hadoop/hadoop-3.0.0/share/hadoop/c ommon/lib/\*:/home/hadoop/hadoop-3.0.0/share/hadoop/common/\*:/home/hadoop/hadoop-3.0. 0/share/hadoop/hdfs:/home/hadoop/hadoop-3.0.0/share/hadoop/hdfs/lib/\*:/home/hadoop/h adoop-3.0.0/share/hadoop/hdfs/\*:/home/hadoop/hadoop-3.0.0/share/hadoop/mapreduce/\*:/ home/hadoop/hadoop-3.0.0/share/hadoop/yarn:/home/hadoop/hadoop-3.0.0/share/hadoop/ya rn/lib/\*:/home/hadoop/hadoop-3.0.0/share/hadoop/yarn/\*

编辑datanode节点host  
\[hadoop@xuegod63 hadoop\]$ vim workers  
xuegod62.cn  
xuegod64.cn

复制到其他datanode节点： xuegod64和xuegod62  
\[hadoop@xuegod63 hadoop-3.0.0\]$ scp core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-site.xml workers 192.168.1.62:/home/hadoop/hadoop-3.0.0/etc/hadoop/

\[hadoop@xuegod63 hadoop-3.0.0\]$ scp core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-site.xml workers 192.168.1.64:/home/hadoop/hadoop-3.0.0/etc/hadoop/

在xuegod63上启动Hadoop  
切换到hadoop用户  
\[root@xuegod63 ~\]\# su - hadoop  
（3）格式化  
hadoop namenode的初始化,只需要第一次的时候初始化，之后就不需要了  
\[hadoop@xuegod63 hadoop-3.0.0\]$ /home/hadoop/hadoop-3.0.0/bin/hdfs namenode -format  
15/08/03 22:35:21 INFO common.Storage: Storage directory /home/hadoop/dfs/name has been successfully formatted.  
。。。  
15/08/03 22:35:21 INFO util.ExitUtil: Exiting with status 0  
15/08/03 22:35:21 INFO namenode.NameNode: SHUTDOWN\_MSG:  
/\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
SHUTDOWN\_MSG: Shutting down NameNode at xuegod63.cn/192.168.1.63  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*/

\[root@xuegod63 hadoop-3.0.0\]\# echo KaTeX parse error: Expected 'EOF', got '\#' at position 36: …oot@xuegod63 ~\]\#̲ rpm -ivh /mnt/… tree /home/hadoop/dfs/  
/home/hadoop/dfs/  
├── data  
└── name  
└── current  
├── fsimage\_0000000000000000000  
├── fsimage\_0000000000000000000.md5  
├── seen\_txid  
└── VERSION

生成基于hadoop用户的不输入密码登录：因为后期使用hadoop用户启动datanode节点使用需要直接登录到对应的服务器上启动datanode相关服务。  
\[hadoop@xuegod63 hadoop-3.0.0\]$ ssh-keygen  
\[hadoop@xuegod63 hadoop-3.0.0\]$ ssh-copy-id 192.168.1.64  
\[hadoop@xuegod63 hadoop-3.0.0\]$ ssh-copy-id 192.168.1.62  
\[hadoop@xuegod63 hadoop-3.0.0\]$ ssh-copy-id 192.168.1.63

（4）启动hdfs: ./sbin/start-dfs.sh，即启动HDFS分布式存储  
\[root@xuegod63 hadoop-3.0.0\]\# /home/hadoop/hadoop-3.0.0/sbin/start-dfs.sh  
Starting namenodes on \[xuegod63.cn\]  
xuegod63.cn: starting namenode, logging to /home/hadoop/hadoop-3.0.0/logs/hadoop-root-namenode-xuegod63.cn.out  
xuegod64.cn: starting datanode, logging to /home/hadoop/hadoop-3.0.0/logs/hadoop-root-datanode-xuegod64.cn.out  
xuegod62.cn: starting datanode, logging to /home/hadoop/hadoop-3.0.0/logs/hadoop-root-datanode-xuegod62.cn.out  
Starting secondary namenodes \[xuegod63.cn\]  
xuegod63.cn: starting secondarynamenode, logging to /home/hadoop/hadoop-3.0.0/logs/hadoop-root-secondarynamenode-xuegod63.cn.out  
注：如果报错，如：  
xuegod64.cn: Host key verification failed.  
解决：  
\[hadoop@xuegod63 ~\]$ ssh 192.168.1.64 \#确认可以不输入密码直接连接上xuegod64  
关闭后再重启：  
\[root@xuegod63 hadoop-3.0.0\]\# /home/hadoop/hadoop-3.0.0/sbin/stop-dfs.sh  
\[root@xuegod63 hadoop-3.0.0\]\# /home/hadoop/hadoop-3.0.0/sbin/start-dfs.sh

（5）查看进程，此时master有进程：namenode和 secondarynamenode进程：  
\[root@xuegod63 ~\]\# ps -axu | grep namenode --color  
Warning: bad syntax, perhaps a bogus ‘-’? See /usr/share/doc/procps-3.2.8/FAQ  
root 8214 4.1 9.5 1882176 110804 ? Sl 17:39 0:17 /usr/java/jdk1.8.0\_161/bin/java -Dproc\_namenode -Xmx1000m  
。。。  
\-Dhadoop.log.dir=/home/hadoop/hadoop-3.0.0/logs -Dhadoop.log.file=hadoop-root-secondarynamenode-xuegod63.cn.log

xuegod64和xuegod62上有进程：DataNode  
\[root@xuegod64 ~\]\# ps -axu | grep datanode --color  
Warning: bad syntax, perhaps a bogus ‘-’? See /usr/share/doc/procps-3.2.8/FAQ  
root 5749 8.8 5.2 1851956 60656 ? Sl 17:55 0:06 /usr/java/jdk1.8.0\_161/bin/java -Dproc\_datanode -Xmx1000m  
。。。

（6）在xuegod63上启动yarn: ./sbin/start-yarn.sh 即，启动分布式计算  
\[hadoop@xuegod63 hadoop-3.0.0\]\# /home/hadoop/hadoop-3.0.0/sbin/start-yarn.sh  
starting yarn daemons  
starting resourcemanager, logging to /home/hadoop/hadoop-3.0.0/logs/yarn-root-resourcemanager-xuegod63.cn.out  
xuegod62.cn: starting nodemanager, logging to /home/hadoop/hadoop-3.0.0/logs/yarn-root-nodemanager-xuegod62.cn.out  
xuegod64.cn: starting nodemanager, logging to /home/hadoop/hadoop-3.0.0/logs/yarn-root-nodemanager-xuegod64.cn.out

（7）查看进程：  
查看xuegod63上的ResourceManager进程，xuegod62和xuegod64上的进程：DataNode NodeManager  
\[root@xuegod63 ~\]\# ps -axu | grep resourcemanager --color  
Warning: bad syntax, perhaps a bogus ‘-’? See /usr/share/doc/procps-3.2.8/FAQ  
root 9664 0.2 11.0 2044624 128724 pts/3 Sl 17:58 0:27 /usr/java/jdk1.8.0\_161/bin/java -Dproc\_resourcemanager -Xmx1000m

\[root@xuegod62 ~\]\# ps -axu | grep nodemanager --color  
Warning: bad syntax, perhaps a bogus ‘-’? See /usr/share/doc/procps-3.2.8/FAQ  
hadoop 5486 31.8 7.8 1913012 91692 ? Sl 23:01 0:20 /usr/java/jdk1.8.0\_161/bin/java -Dproc\_nodemanager -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-3.0.0/logs

\[root@xuegod64 ~\]\# ps -axu | grep nodemanager --color  
Warning: bad syntax, perhaps a bogus ‘-’? See /usr/share/doc/procps-3.2.8/FAQ  
hadoop 2872 20.8 7.9 1913144 92860 ? Sl 21:42 0:15 /usr/java/jdk1.8.0\_161/bin/java -Dproc\_nodemanager -Xmx1000m

注：start-dfs.sh 和 start-yarn.sh 这两个脚本可用start-all.sh代替。  
\[hadoop@xuegod63 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/start-all.sh  
关闭：  
\[hadoop@xuegod63 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/stop-all.sh

启动： jobhistory服务，查看mapreduce运行状态  
\[hadoop@xuegod63 hadoop-3.0.0\]\# /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver  
starting historyserver, logging to /home/hadoop/hadoop-3.0.0/logs/mapred-root-historyserver-xuegod63.cn.out

在主节点上启动存储服务和资源管理主服务。使用命令：  
\[hadoop@xuegod63 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode \#启动从存储服务  
\[hadoop@xuegod63 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager \#启动资源管理从服务

登录从结点：启动存储从服务和资源管理从服务  
\[hadoop@xuegod62 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode \#启动从存储服务  
\[hadoop@xuegod62 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager \#启动资源管理从服务

\[hadoop@xuegod64 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode \#启动从存储服务  
\[hadoop@xuegod64 ~\]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager \#启动资源管理从服务

## （8）查看HDFS分布式文件系统状态：   \[hadoop@xuegod63 hadoop-3.0.0\]$ /home/hadoop/hadoop-3.0.0/bin/hdfs dfsadmin -report   。。。 ##

Datanodes available: 1 (1 total, 0 dead)

Live datanodes:  
Name: 192.168.1.62:50010 (xuegod62.cn)  
Hostname: xuegod62.cn  
Decommission Status : Normal  
Configured Capacity: 10320982016 (9.61 GB)  
DFS Used: 24576 (24 KB)  
Non DFS Used: 4737789952 (4.41 GB)  
DFS Remaining: 5583167488 (5.20 GB)  
DFS Used%: 0.00%  
DFS Remaining%: 54.10%  
Last contact: Sun May 31 21:58:00 CST 2015

Name: 192.168.1.64:50010 (xuegod64.cn)  
Hostname: xuegod64.cn  
Decommission Status : Normal  
Configured Capacity: 10320982016 (9.61 GB)  
DFS Used: 24576 (24 KB)  
Non DFS Used: 5014945792 (4.67 GB)  
DFS Remaining: 5306011648 (4.94 GB)  
DFS Used%: 0.00%  
DFS Remaining%: 51.41%  
Last contact: Mon Aug 03 23:00:03 CST 2015

（9）查看文件块组成部分：  
\[hadoop@xuegod63 hadoop-3.0.0\]$ ./bin/hdfs fsck / -files -blocks  
或：  
http://192.168.1.63:9870/dfshealth.html\#tab-datanode  
![在这里插入图片描述][20201203113138925.png]  
（10）通过web界面来查看HDFS状态： http://192.168.1.63:9001/status.html

（11）通过Web查看hadoop集群状态: http://192.168.1.63:8088  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]  
（12）查看JobHistory的内容：  
http://192.168.1.63:19888/jobhistory  
![在这里插入图片描述][20201203113204565.png]  
（13）设置HADOOP\_HOME环境变量，方便后期调用命令。  
\[root@xuegod63 ~\]\# vim /etc/profile \#添加追加以下内容：  
export HADOOP\_HOME=/home/hadoop/hadoop-3.0.0  
export PATH= J A V A H O M E / b i n : JAVA\_HOME/bin: JAVAHOME/bin:HADOOP\_HOME/bin: H A D O O P H O M E / s b i n : HADOOP\_HOME/sbin: HADOOPHOME/sbin:PATH  
\[root@xuegod63 ~\]\# source /etc/profile  
\[root@xuegod63 ~\]\# start \#输入start 按两下tab键，测试命令补齐

测试：  
运行Hadoop计算任务，Word Count 字数统计  
\[hadoop@xuegod63 ~\]$ source /etc/profile  
（1）/home/hadoop目录下有两个文本文件file01.txt和file02.txt，文件内容分别为：  
\[hadoop@xuegod63 ~\]$ vim file01.txt  
man  
kong  
man  
Hello World  
mk  
\[hadoop@xuegod63 ~\]$ vim file02.txt  
mk  
www.xuegod.cn  
cd  
cat  
man

（2）将这两个文件放入hadoop的HDFS中：  
\[hadoop@xuegod63 ~\]$ hadoop fs -ls //查看hdfs目录情况  
ls: \`.’: No such file or directory

\[hadoop@xuegod63 ~\]$ hadoop fs -mkdir -p input  
\[hadoop@xuegod63 ~\]$ hadoop fs -put /home/hadoop/file\*.txt input  
\[hadoop@xuegod63 ~\]$ hadoop fs -cat input/file01.txt //查看命令  
man  
kong  
man  
Hello World  
mk

（3）计执行 wordCount单词统计汇总并查看结果：  
\[hadoop@xuegod63 ~\] hadoop jar hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount input output

查看运行之后产生的文件  
hadoop fs -ls output

查看运行结果  
hadoop fs -cat output/part-r-00000  
可以看到数据都已经被统计出来了。  
![在这里插入图片描述][20201203113216299.png]  
实例2：运行排序计算  
如下的这个程序，会现在每个节点生成10个G的随机数字，然后排序出结果：  
\[hadoop@xuegod63 ~\]$ hadoop jar hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar randomwriter rand

\[hadoop@xuegod63 ~\]$ hadoop jar /home/hadoop/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar sort rand sort-rand

第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据，排序，然后写入rand-sort 目录。

排错常见错误  
（1）Name node is in safe mode  
运行hadoop程序时， 异常终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：  
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode  
解决的命令：  
\[hadoop@xuegod63 ~\]$ hadoop dfsadmin -safemode leave \#关闭safe mode  
DEPRECATED: Use of this script to execute hdfs command is deprecated.  
Instead use the hdfs command for it.

Safe mode is OFF

（2）DataNode 无法启动  
我遇到过两种情况的DataNode无法启动：第一种是/etc/hosts里面机器名字除了和IP对应之外，还和127.0.0.1对应，导致DataNode连接NameNode的9000端口一直连接不上；第二种是多次format namenode 造成namenode 和datanode的clusterID不一致，通过查看NameNode和DataNode的/home/hadoop/dfs/data/current/VERSION，发现确实不一致。

总之，遇到错误不要慌，多看看$HADOOP\_HOME/logs下面的日志，就能找到问题。

http://www.aboutyun.com/thread-7088-1-1.html

# Hadoop单机版 #

jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s

jdk放到/usr/local目录下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]  
解压jdk，

tar -zxvf jdk-7u45-linux-x64.tar.gz

配置环境变量 vim /etc/profile 在文件末尾加上

JAVA_HOME=/usr/local/jdk1.7.0_45
    export JAVA_HOME
    export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量配置 source /etc/profile

测试jdk安装是否成功，显示如下截图代表成功 java -version

2、安装hadoop2.9.2 下载hadoop2.9.2 地址http://mirrors.hust.edu.cn/apache/hadoop/common/

放到 /usr/local目录下

解压 tar -zxvf hadoop-2.9.2.tar.gz 查看 ll

配置hadoop环境变量 vim /etc/profile 添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2
    export PATH=$HADOOP_HOME/bin:$PATH

重新刷新配置 source /etc/profile

查看版本 hadoop version  
![在这里插入图片描述][20201203114507221.png]  
配置几个配置文件，路径是 cd /usr/local/hadoop-2.9.2/etc/hadoop/

vim core-site.xml 添加如下配置

<property>
        <name>fs.defaultFS</name>
        
        <value>hdfs://192.168.124.144:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        
        <value>/usr/local/hadoop-2.9.2/tmp</value>
    </property>
    
    <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>Should native hadoop libraries, if present, be used.
        </description>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]  
vim hadoop-env.sh 配置成你自己的jdk安装路径  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]  
vim hdfs-site.xml 添加如下内容

<property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    
        <property>
            <name>dfs.secondary.http.address</name>
    
    
            <value>192.168.124.144:50090</value>
        </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]  
复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml 添加如下配置

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]  
配置yarn-site.xml

vim yarn-site.xml 添加如下配置
    
    <property>
        <name>yarn.resourcemanager.hostname</name>
        
        <value>192.168.124.144</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]  
配置好之后切换到sbin目录下

cd /usr/local/hadoop-2.9.2/sbin/  查看命令 ll

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 18]  
格式化hadoop文件格式，执行命令 hadoop namenode -format，成功之后启动

执行启动所有命令 ./start-all.sh  
或者

sbin/stop-all.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 19]  
没启动一个进程需要输入密码，可以通过配置ssh来解决，就不需要输入了，暂时配置

使用 jps 查看进程，能看到这些进程证明启动成功了，

也可以通过网页来查看 localhost:50070  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 20]  
关闭防火墙的方法为：  
1. 永久性生效  
开启：chkconfig iptables on  
关闭：chkconfig iptables off  
2. 即时生效，重启后失效  
开启：service iptables start  
关闭：service iptables stop  
启动：/apreduce运行状态

63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh start historyserver
    starting historyserver, logging to /home/hadoop/hadoop-2.2.0/logs/mapred-root-historyserver-xuegod63.cn.out

（8）查看HDFS分布式文件系统状态：

63 hadoop-2.2.0]$ /home/hadoop/hadoop-2.2.0/bin/hdfs dfsadmin -report
    。。。
    -------------------------------------------------
    Datanodes available: 1 (1 total, 0 dead)
    
    Live datanodes:
    Name: 192.168.1.62:50010 (xuegod62.cn)
    Hostname: xuegod62.cn
    Decommission Status : Normal
    Configured Capacity: 10320982016 (9.61 GB)
    DFS Used: 24576 (24 KB)
    Non DFS Used: 4737789952 (4.41 GB)
    DFS Remaining: 5583167488 (5.20 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 54.10%
    Last contact: Sun May 31 21:58:00 CST 2015
    
    Name: 192.168.1.64:50010 (xuegod64.cn)
    Hostname: xuegod64.cn
    Decommission Status : Normal
    Configured Capacity: 10320982016 (9.61 GB)
    DFS Used: 24576 (24 KB)
    Non DFS Used: 5014945792 (4.67 GB)
    DFS Remaining: 5306011648 (4.94 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 51.41%
    Last contact: Mon Aug 03 23:00:03 CST 2015

（9）查看文件块组成： 一个文件由哪些块组成

63 ~]$ /home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks

（10）Web查看HDFS: http://192.168.1.63:50070  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 21]  
（11）通过Web查看hadoop集群状态: http://192.168.1.63:8088  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 22]  
剩下的工作就是开发人员的事情了

附：hadoop中文文档http://hadoop.apache.org/docs/r1.0.4/cn/

参考链接 ：

https://blog.csdn.net/lu1171901273/article/details/86518494

hadoop2.7.3在centos7上部署安装（单机版）：https://blog.csdn.net/cafebar123/article/details/73500014/

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]: /images/20221120/89f73c4a3ac449faaf1718576be7e172.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]: /images/20221120/022c0f7cce3f4750bbd9aead74144b72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]: /images/20221120/13f705d76a06408aa6d4ff29caad89b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]: /images/20221120/2bb15cc9ed494bfab047327d7fc2a262.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]: /images/20221120/24b7036c2bf94843a6f2e5135fd567fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]: /images/20221120/0fc912db933e46edad347e2eb8f26701.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]: /images/20221120/52f025fb46b84d0ea1796e6ca9d79531.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]: /images/20221120/5068cfe1a1634fe88fa1e4d70c444f42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]: /images/20221120/7bd99c1d34cf4aa8a53a289395ce13de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]: /images/20221120/5e042a49169446b48d9399253a967dd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]: /images/20221120/2dd10516a2cc4831a2c5752cd0be93ea.png
[20201203113138925.png]: /images/20221120/188d302e91914adf8db48d4b7fbf8344.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]: /images/20221120/695b9fb2bcf949b6830ed0c17a8efaad.png
[20201203113204565.png]: /images/20221120/f5975786f6d3452aa9976ebae0755e10.png
[20201203113216299.png]: /images/20221120/97be3a4056714532bc96506b0c6996c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]: /images/20221120/61a478c986f04a61a2e1a89a775e4505.png
[20201203114507221.png]: /images/20221120/e33737cb29e14e2eb23f9ec9077290eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]: /images/20221120/5be17900a6a24fbfbec16e80296b4731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]: /images/20221120/0b52c607fd2543efacdacd799cb652c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]: /images/20221120/9c8dd6e3a1e9469bb6874b0bc32d0284.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]: /images/20221120/71f1e00c4b7a4727b0547f5eb5fe6db5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]: /images/20221120/9c95b74f6e744a02819e9b3d74b3fb12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 18]: /images/20221120/2d6acbeb7da34e17bb502186a7cdd666.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 19]: /images/20221120/c3ba2988ed1d4b9dad66c24a7223cf38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 20]: /images/20221120/0bee6afb6e72495686384f02a83934bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 21]: /images/20221120/aabda48973a344a98a4ba1b8b9562b65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 22]: /images/20221120/0a950b3a46be4fa9a0f888ef0b52ad64.png