步步为赢：打造一个酷炫而吸引人的Hadoop HDFS分布式文件系统集群部署方案

曾经终败给现在 2024-03-24 18:36 7阅读 0赞

#### 文章目录 ####

*  版权声明
 *  一 分布式存储缘起
 *  二 分布式的基础架构
 *   *  2.1 大数据架构模式
     *  2.2 主从模式
 *  三 HDFS的基础架构
 *   *  HDFS的角色组成
 *  四 HDFS集群环境部署
 *   *  4.1 安装包下载
     *  4.2 Hadoop安装包目录结构
     *  4.3 修改配置文件，应用自定义设置
     *  4.4 分发Hadoop文件夹
     *  4.5 配置环境变量
     *  4.6 授权为hadoop用户
     *  4.7 格式化整个文件系统

*  本博客的内容基于我个人学习黑马程序员课程的学习笔记整理而成。我特此声明，所有版权属于黑马程序员或相关权利人所有。本博客的目的仅为个人学习和交流之用，并非商业用途。
 *  我在整理学习笔记的过程中尽力确保准确性，但无法保证内容的完整性和时效性。本博客的内容可能会随着时间的推移而过时或需要更新。
 *  若您是黑马程序员或相关权利人，如有任何侵犯版权的地方，请您及时联系我，我将立即予以删除或进行必要的修改。
 *  对于其他读者，请在阅读本博客内容时保持遵守相关法律法规和道德准则，谨慎参考，并自行承担因此产生的风险和责任。本博客中的部分观点和意见仅代表我个人，不代表黑马程序员的立场。

## 一 分布式存储缘起 ##

*  数据量太大，单机存储能力有上限，需要靠数量来解决问题
 *  数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果

## 二 分布式的基础架构 ##

### 2.1 大数据架构模式 ###

大数据体系中，分布式的调度主要有2类架构模式：

*  去中心化模式
 *  中心化模式  
    ![在这里插入图片描述][46d854315c66442d8e43801fcd737b23.png]  
    ![在这里插入图片描述][9ab019d5dc6a45f4b26b305b2c803b47.png]

### 2.2 主从模式 ###

*  大数据框架，大多数的基础架构上，都是符合：**中心化模式的**。即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。这种模式，也被称之为：**一主多从模式，简称主从模式（Master And Slaves）**  
    ![在这里插入图片描述][b22ae950ed8c4ca48e2c1a7a24506ef5.png]

## 三 HDFS的基础架构 ##

![在这里插入图片描述][62d4a5c736854d6490d70bcf49b88ef4.png]

### HDFS的角色组成 ###

![在这里插入图片描述][c544d8bbde864e2cabfd290b2a46c25f.png]  
**NameNode：**

*  HDFS系统的主角色，是一个独立的进程
 *  负责管理HDFS整个文件系统
 *  负责管理DataNode

**SecondaryNameNode：**

*  NameNode的辅助，是一个独立进程
 *  主要帮助NameNode完成元数据整理工作（打杂）

**DataNode：**

*  HDFS系统的从角色，是一个独立进程
 *  主要负责数据的存储，即存入数据和取出数据

![在这里插入图片描述][0af288df2d534571a9c2111955f7f2da.png]

*  一个典型的HDFS集群，就是由1个DataNode加若干（至少一个）DataNode组成

## 四 HDFS集群环境部署 ##

### 4.1 安装包下载 ###

*  [官方网址][Link 1]  
    ![在这里插入图片描述][8ac9a119977b4c2d99395d9664d434b1.png]  
    ![在这里插入图片描述][76f044bf4b0245f1912a765eb8b264ea.png]
 *  VMware的三台虚拟机[环境准备][Link 2]

--------------------

Hadoop HDFS的角色包含：

*  NameNode，主节点管理者
 *  DataNode，从节点工作者
 *  SecondaryNameNode，主节点辅助

![在这里插入图片描述][807322a65fd74c2396e60763b1f7ecfb.png]  
![在这里插入图片描述][acd48bee7d31443e87ee13d74f8dc9fe.png]

1.  上传Hadoop安装包到node1节点中
2.  解压缩安装包到`/export/server/`中
    
        tar -zxvf hadoop-3.3.6.tar.gz -C /export/server
3.  构建软链接

cd /export/server
    ln -s /export/server/hadoop-3.3.6 hadoop

1.  进入hadoop安装包内

cd hadoop

### 4.2 Hadoop安装包目录结构 ###

*  cd 进入Hadoop安装包内，通过ls -l命令查看文件夹内部结构  
    ![在这里插入图片描述][da2d57cd54b14a76bf17428560643c1a.png]

bin  
(Hadoop程序/命令)

etc  
(Hadoop配置文件)

include  
(C语言头文件)

lib  
(Linux系统动态链接库 - .so文件)

libexec  
(Hadoop系统配置脚本 - .sh和.cmd文件)

licenses-binary  
(许可证文件)

sbin  
(管理员程序 - 超级bin)

share  
(二进制源代码 - Java jar包)

hadop根目录

### 4.3 修改配置文件，应用自定义设置 ###

配置HDFS集群，主要涉及到如下文件(均在`hadoop/etc/hadoop`目录)的修改：

*  workers： 配置从节点（DataNode）
 *  hadoop-env.sh：配置Hadoop的相关环境变量
 *  core-site.xml：Hadoop核心配置文件
 *  hdfs-site.xml：HDFS核心配置文件

这些文件均存在与`$HADOOP_HOME/etc/hadoop`文件夹中。

*  ps：`$HADOOP_HOME`是后续要设置的环境变量，其指代Hadoop安装文件夹即`/export/server/hadoop`

--------------------

*  配置workers文件:填入的node1、node2、node3表明集群记录了三个从节点（DataNode）

# 进入配置文件目录
    cd etc/hadoop
    # 编辑workers文件
    vim workers
    # 填入如下内容
    node1
    node2
    node3

--------------------

*  配置`/export/server/hadoop/etc/hadoop/hadoop-env.sh`文件

# 填入如下内容
    export JAVA_HOME=/export/server/jdk8
    export HADOOP_HOME=/export/server/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs

*  JAVA\_HOME，指明JDK环境的位置在哪
 *  HADOOP\_HOME，指明Hadoop安装位置
 *  HADOOP\_CONF\_DIR，指明Hadoop配置文件目录位置
 *  HADOOP\_LOG\_DIR，指明Hadoop运行日志目录位置

--------------------

*  配置core-site.xml文件,在文件内部填入如下内容

<configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
      </property>
    
      <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>
    </configuration>

*  key：fs.defaultFS
 *  含义：HDFS文件系统的网络通讯路径
 *  值：hdfs://node1:8020
    
     *  协议为hdfs://
     *  namenode为node1
     *  namenode通讯端口为8020
 *  key：io.file.buffer.size
 *  含义：io操作文件缓冲区大小
 *  值：131072 bit
 *  hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）
 *  表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器
 *  此配置固定了node1必须启动NameNode进程

--------------------

*  配置hdfs-site.xml文件

# 在文件内部填入如下内容
    <configuration>
      <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
      </property>
      <property>
        <name>dfs.namenode.hosts</name>
        <value>node1,node2,node3</value>
      </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
      </property>
      <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
      </property>
    </configuration>

![在这里插入图片描述][0943b52bf53a40c29ea1391e9bcf0301.png]  
![在这里插入图片描述][53881869a5234a02bfd1be2eeb11dbea.png]  
![在这里插入图片描述][cfafe22005104d2b8ea176d1991f660a.png]

*  我们需要手动需要创建相关的目录
 *  在node1节点：
    
        mkdir -p /data/nn
        mkdir /data/dn
 *  在node2和node3节点：
    
        mkdir -p /data/dn

--------------------

### 4.4 分发Hadoop文件夹 ###

*  至此已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3分发
    
        # 在node1执行如下命令
        cd /export/server
        scp -r hadoop-3.3.4 node2:`pwd`/
        scp -r hadoop-3.3.4 node3:`pwd`/
 *  在node2执行，为hadoop配置软链接
    
        # 在node2执行如下命令
        ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
 *  在node3执行，为hadoop配置软链接
    
        # 在node3执行如下命令
        ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

### 4.5 配置环境变量 ###

*  为了方便操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用  
    ![在这里插入图片描述][d3da7bf209a744e2843ddc986a098dad.png]
 *  在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量

1.  编辑环境变量配置文件

vim /etc/profile

# 在/etc/profile文件底部追加如下内容
    export HADOOP_HOME=/export/server/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.  在node2和node3配置同样的环境变量
2.  使环境变量生效

source /etc/profile

### 4.6 授权为hadoop用户 ###

*  hadoop部署的准备工作基本完成。为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务。所以，现在需要对文件权限进行授权。
 *  以root身份，在node1、node2、node3三台服务器上均执行如下命令

# 以root身份，在三台服务器上均执行
    chown -R hadoop:hadoop /data
    chown -R hadoop:hadoop /export

### 4.7 格式化整个文件系统 ###

*  格式化namenode
    
        # 确保以hadoop用户执行
        su - hadoop
        # 格式化namenode
        hadoop namenode -format
 *  启动
    
        # 一键启动hdfs集群
        start-dfs.sh
        # 一键关闭hdfs集群
        stop-dfs.sh
        # 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
        /export/server/hadoop/sbin/start-dfs.sh
        /export/server/hadoop/sbin/stop-dfs.sh
 *  查看三种角色的运行状态
    
        # node1的情况
        [hadoop@node1 ~]$ jps
        25937 Jps
        25063 NameNode
        25207 DataNode
        25543 SecondaryNameNode
 *  查看HDFS WEBUI  
    ![在这里插入图片描述][d2efdd11f65a40b4b68f8528ccd86f02.png]  
    ![在这里插入图片描述][34593585d9df4f0a8b83581c629e1df0.png]

[46d854315c66442d8e43801fcd737b23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/22090ad356f742b0a286598ab3adcf3b.png
[9ab019d5dc6a45f4b26b305b2c803b47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/703814f8375a40efa599ceab060f2853.png
[b22ae950ed8c4ca48e2c1a7a24506ef5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/2e04feb1cb8a41fd9a18a9fef2d80277.png
[62d4a5c736854d6490d70bcf49b88ef4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/e1bf044d68c944eca0b95d6bf9df47cd.png
[c544d8bbde864e2cabfd290b2a46c25f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/98509e09ef0f4f43b089747057a63938.png
[0af288df2d534571a9c2111955f7f2da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/511cc7c5204d41028012921d5dc9f3d2.png
[Link 1]: https://hadoop.apache.org
[8ac9a119977b4c2d99395d9664d434b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6c62a9e2c7074de8918a025f033dab87.png
[76f044bf4b0245f1912a765eb8b264ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/58511d75772e48aa8d40abb773d2c1d8.png
[Link 2]: https://blog.csdn.net/yang2330648064/article/details/132322370?spm=1001.2014.3001.5501
[807322a65fd74c2396e60763b1f7ecfb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/97c3fb3090e6486f9ab83372358a10b8.png
[acd48bee7d31443e87ee13d74f8dc9fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/f34cfe8e607b4d43be0caaabad173a90.png
[da2d57cd54b14a76bf17428560643c1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/cb9066a22a7b435095e9a3b7fe26b5b6.png
[0943b52bf53a40c29ea1391e9bcf0301.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/e42c8e502d1644a59719b854396419e2.png
[53881869a5234a02bfd1be2eeb11dbea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/ec37ad931d0f4ac68eff5a6b41155b40.png
[cfafe22005104d2b8ea176d1991f660a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/1dffa42b70ec4caba92eae1d27c56f2f.png
[d3da7bf209a744e2843ddc986a098dad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/0dda3335ab8e4df79aca418812fe4569.png
[d2efdd11f65a40b4b68f8528ccd86f02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/aa71f5d3ea0042969ef0a588941ddb3c.png
[34593585d9df4f0a8b83581c629e1df0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/f01b484cf2ab4a2d9147a97e8d30dba3.png