2.1.6 hadoop体系之离线计算-hdfs分布式文件系统-全分布式安装

梦里梦外; 2022-12-09 04:52 165阅读 0赞

**目录**

1.写在前面

2.安装条件

3.修改配置文件

3.1 修改hadoop-env.sh

3.2 修改core-site.xml文件

3.3 修改hdfs-site.xml

3.4 修改workers（从节点别名）

4.向node02，node03，node04分发安装hadoop

5.配置hadoop环境

6.主节点node01格式化当前NAMENODE节点-创建文件夹

7.在主节点node01上启动集群

7.1 打开node01监听端口：ss -nal

--------------------

# 1.写在前面 #

之前在node01节点上搭建了一个伪分布式安装的hadoop，现在想利用我们手里的4台虚拟机，搭建一个4台主机的完全分布式的hadoop。

# 2.安装条件 #

需要安装jdk环境和ssh免秘钥登陆

安装hadoop在：cd /opt/sxt/ 下面

![20200922092604465.png][]

# 3.修改配置文件 #

cd etc/hadoop 进入这个目录（集群启动的时候，只会读当前这个文件夹），其中有大量配置文件。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## 3.1 修改hadoop-env.sh ##

**直接启动 vi hadoop-en.sh，找到末尾，需要引入jdk环境变量，写上角色和对应进程，目前是需要三个角色：1个namenode+2个datanode。（一共四个配置项）**

**        echo $JAVA\_HOME  可以输出路径**

![20200922093104720.png][]

## 3.2 修改core-site.xml文件 ##

直接启动 vi core-site.xml ,文件本身没有任何配置信息，需要手动填写进来。localhost修改为节点的别名，一般默认端口开启9820，修改临时目录。

![20200922093800405.png][]

<configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://node01:9820</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/var/sxt/hadoop/full</value>
            </property>
    </configuration>

## 3.3 修改hdfs-site.xml ##

直接启动 vi hdfs-site.xml ，replication代表的是副本的意思，副本保证了高可用。

![20200922094009742.png][]

<configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>2</value>
            </property>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>node02:9868</value>
            </property>
    </configuration>

## 3.4 修改workers（从节点别名） ##

![20200922094124357.png][]

# 4.向node02，node03，node04分发安装hadoop #

node02下面没有sxt文件夹，但是有opt，所以将sxt整个发给他们。

![2020092209433159.png][]

![2020092209444857.png][]

![20200922094513875.png][]

# 5.配置hadoop环境 #

查找到hadoop所在文件夹：

![20200922094726825.png][]

编译profile文件：vi + /etc/profile  ，添加HADOOP\_HOME和PATH

![20200922094927772.png][]

分发到其他三个节点：

![20200922095046424.png][]

重读profile文件（四台机器都要做）

![2020092209515532.png][]

# 6.主节点node01格式化当前NAMENODE节点-创建文件夹 #

执行：hdfs namenode -format

![20200922095336726.png][]

查看最后执行结果：

![20200922095435752.png][]

文件夹下面也会多了一个集群的ID信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

其他三个节点是没有这些文件的，因为我们只是在主节点上创建的。存放的就是元数据信息。

# 7.在主节点node01上启动集群 #

直接使用start-dfs.sh命令就可以启动：

node01：namenode

node02：secondaryNamenode、datanode

node03：datanode

node04：datanode

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

## 7.1 打开node01监听端口：ss -nal ##

![20200922100210677.png][]

浏览器访问：node01:9870(192.138.0.101:9870)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

有一个主节点NameNode用来存储元数据信息，还有文件持久化合并的secondaryNameNode，三个存放数据的从节点datanode。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

[20200922092604465.png]: /images/20221123/e9ec16e66f4741d69ba2a3ec6b9e85e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221123/f9aa1e4a12b5473289e8b50bb09cafc6.png
[20200922093104720.png]: /images/20221123/e414f28eff9f4aff8d1c0eee86396a53.png
[20200922093800405.png]: /images/20221123/3ea979b545c1431d80393d10c016f3a6.png
[20200922094009742.png]: /images/20221123/e8a3adce0c0b43b4ab9150f23801c2eb.png
[20200922094124357.png]: /images/20221123/21e0872eb7e24e94a312c2b71610536d.png
[2020092209433159.png]: /images/20221123/6e4d2a3a8a044740a86c2f4771b63058.png
[2020092209444857.png]: /images/20221123/252b2e876a2e4c02b7b7c58a723127b4.png
[20200922094513875.png]: /images/20221123/c20fa3d7607b44c9af519215a99035ef.png
[20200922094726825.png]: /images/20221123/3311d90d3e3245fd93324747ce3cd918.png
[20200922094927772.png]: /images/20221123/72ce2b4634b74a689f6f778fc39f1463.png
[20200922095046424.png]: /images/20221123/f313017824b844578eaa94acb433d199.png
[2020092209515532.png]: /images/20221123/609d0e0a69004402a0ba7fd93e9b438a.png
[20200922095336726.png]: /images/20221123/0a27572234e240a49ed793fdece326dd.png
[20200922095435752.png]: /images/20221123/a65db31d35a040df95940b305571a13e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221123/21eb7c22acea4e9a9977776e0efab223.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221123/71559b5277154f5d8b01a1f45128c276.png
[20200922100210677.png]: /images/20221123/f7b48cd316af4782ba064963a5a095e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221123/7c34df92493f4cdc922cce33e13e3b12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20221123/5ac2433dddc940b4ba0f163d42876675.png