大数据集群（Hadoop生态）安装部署——Linux

短命女 2024-03-24 14:23 33阅读 0赞

#### 大数据集群（Hadoop生态）安装部署——Linux ####

*   *  简介
     *   *  前置要求
         *  Hadoop集群角色
         *  角色和节点分配
     *  安装
     *   *  调整虚拟机内存
         *  Hadoop集群部署
     *  验证Hadoop集群运行情况

### 简介 ###

1）`Hadoop`是一个由`Apache`基金会所开发的分布式系统基础架构。  
2）主要解决，海量数据的**存储**和海量数据的**分析计算**问题。

*  `Hadoop HDFS` 提供分布式海量**数据存储**能力
 *  `Hadoop YARN` 提供分布式集群**资源管理**能力
 *  `Hadoop MapReduce` 提供分布式海量**数据计算**能力

#### 前置要求 ####

*  1、请确保完成了[集群化环境前置准备][Link 1]
    
     *  即：`JDK`、`SSH免密`、`关闭防火墙`、`配置主机名映射`等前置操作
 *  2、[Zookeeper集群部署][Zookeeper]

#### Hadoop集群角色 ####

**Hadoop生态体系**中总共会出现如下`进程`角色：

1.  **Hadoop HDFS的管理角色：**`Namenode`进程（仅需1个即可（管理者一个就够））
2.  **Hadoop HDFS的工作角色**：`Datanode`进程（需要多个（工人，越多越好，一个机器启动一个））
3.  **Hadoop YARN的管理角色：**`ResourceManager`进程（仅需1个即可（管理者一个就够））
4.  **Hadoop YARN的工作角色**：`NodeManager`进程（需要多个（工人，越多越好，一个机器启动一个））
5.  **Hadoop 历史记录服务器角色**：`HistoryServer`进程（仅需1个即可（功能进程无需太多1个足够））
6.  **Hadoop 代理服务器角色：**`WebProxyServer`进程（仅需1个即可（功能进程无需太多1个足够））
7.  **Zookeeper的进程：**`QuorumPeerMain`进程（仅需1个即可（Zookeeper的工作者，越多越好））

#### 角色和节点分配 ####

角色分配如下：

<table> 
 <thead> 
  <tr> 
   <th>node1</th> 
   <th>Namenode、Datanode、ResourceManager、NodeManager、HistoryServer、WebProxyServer、QuorumPeerMain</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>node2</td> 
   <td>Datanode、NodeManager、QuorumPeerMain</td> 
  </tr> 
  <tr> 
   <td>node3</td> 
   <td>Datanode、NodeManager、QuorumPeerMain</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][a91e6944affb4e28ae5c98bf71b599ee.png]

### 安装 ###

#### 调整虚拟机内存 ####

如上图，可以看出`node1`承载了太多的压力。同时`node2`和`node3`也同时运行了不少程序

*  为了确保集群的稳定，需要对虚拟机进行**内存设置**。

请在**VMware**中，对：

1.  `node1`设置`4GB或以上内存`
2.  `node2`和`node3`设置`2GB或以上内存`

> 大数据的软件本身就是集群化（一堆服务器）一起运行的。  
> 现在我们在一台电脑中以多台虚拟机来模拟集群，确实会有很大的内存压力哦。

#### Hadoop集群部署 ####

1、下载Hadoop安装包、解压、配置软链接

# 1. 下载
    wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

> 直接下载较慢，或者在我[百度网盘, 提取码：155l ][_155l]

# 2. 解压
    # 请确保目录/export/server存在
    tar -zxvf hadoop-3.3.0.tar.gz -C /export/server/
    # 3. 构建软链接
    ln -s /export/server/hadoop-3.3.0 /export/server/hadoop

![在这里插入图片描述][6c2ecc006907431da55851829893e902.png]

2、修改配置文件：`hadoop-env.sh` (Hadoop的配置文件要修改的地方很多，请细心!)

*  进入到`/export/server/hadoop/etc/hadoop`，文件夹中，配置文件都在这里修改`hadoop-env.sh`文件

cd /export/server/hadoop/etc/hadoop
    vim hadoop-env.sh

![在这里插入图片描述][4babc544038846da917aab75beb783bd.png]

> 此文件是配置一些`Hadoop`用到的环境变量  
> 这些是临时变量，在`Hadoop`运行时有用  
> 如果要永久生效，需要写到`/etc/profile`中

**在文件开头加入：**

# 配置Java安装路径
    export JAVA_HOME=/export/server/jdk
    # 配置Hadoop安装路径
    export HADOOP_HOME=/export/server/hadoop
    
    # Hadoop hdfs配置文件路径
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    # Hadoop YARN配置文件路径
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    # Hadoop YARN 日志文件夹
    export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
    # Hadoop hdfs 日志文件夹
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs
    
    # Hadoop的使用启动用户配置
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    export YARN_PROXYSERVER_USER=root

![在这里插入图片描述][1aa8d112dfa54c1fb7e7375266428adc.png]

3、修改配置文件：`core-site.xml` 如下，**清空文件**，**填入如下内容**

vim core-site.xml

**清空文件：** 先按`d` 再按 `G`,  
再按`i`进入插入模式，复制粘贴如下内容:

![在这里插入图片描述][6dd7086c2f0c45b59e1642f721997453.png]

4、配置：`hdfs-site.xml`文件

vim hdfs-site.xml

**清空文件：** 先按`d` 再按 `G`,  
再按`i`进入插入模式，复制粘贴如下内容:

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    <configuration>
    	<property>
    		<name>dfs.datanode.data.dir.perm</name>
    		<value>700</value>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>/data/nn</value>
    		<description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently </description>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.hosts</name>
    		<value>node1,node2,node3</value>
    		<description>List of permitted DataNodes.
    		</description>
    	</property>
    	
    	<property>
    		<name>dfs.blocksize</name>
    		<value>268435456</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>dfs.namenode.handler.count</name>
    		<value>100</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>/data/dn</value>
    	</property>
    </configuration>

![在这里插入图片描述][bb41d9aadd7544dfbf6dc548bfc57bf7.png]

5、配置：`mapred-env.sh`文件

vim mapred-env.sh

按`Shift`\+ `o`, 在 **文件的开头** 加入如下环境变量设置:

export JAVA_HOME=/export/server/jdk
    export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
    export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

![在这里插入图片描述][92b5f2ef638e4c3fa3622fa6eeb37921.png]

6、配置：`mapred-site.xml`文件

vim mapred-site.xml

：  
\*\*清空文件：\*\*先按`d` 再按 `G`, 填入如下内容:

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    <configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    		<description></description>
    	</property>
    
    	<property>
    		<name>mapreduce.jobhistory.address</name>
    		<value>node1:10020</value>
    		<description></description>
    	</property>
    
    	<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>node1:19888</value>
    		<description></description>
    	</property>
    
    	<property>
    		<name>mapreduce.jobhistory.intermediate-donedir</name>
    		<value>/data/mr-history/tmp</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>mapreduce.jobhistory.done-dir</name>
    		<value>/data/mr-history/done</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>yarn.app.mapreduce.am.env</name>
    		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.map.env</name>
    		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    	
    	<property>
    		<name>mapreduce.reduce.env</name>
    		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    </configuration>

![在这里插入图片描述][9c1864429cca4970b45d082d3bcf84b5.png]

7、配置：`yarn-env.sh`文件

vim yarn-env.sh

按`Shift`\+ `o`, 在 **文件的开头** 加入如下环境变量设置:

export JAVA_HOME=/export/server/jdk
    export HADOOP_HOME=/export/server/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

![在这里插入图片描述][752ead39bc374e02838abeaee892ebae.png]

8、配置：`yarn-site.xml`文件

vim yarn-site.xml

**清空文件：** 先按`d` 再按 `G`, 填入如下内容:

<?xml version="1.0"?>
    
    <configuration>
    	
    	<property>
    		<name>yarn.log.server.url</name>
    		<value>http://node1:19888/jobhistory/logs</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>yarn.web-proxy.address</name>
    		<value>node1:8089</value>
    		<description>proxy server hostname and port</description>
    	</property>
    	
    	<property>
    		<name>yarn.log-aggregation-enable</name>
    		<value>true</value>
    		<description>Configuration to enable or disable log aggregation</description>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.remote-app-logdir</name>
    		<value>/tmp/logs</value>
    		<description>Configuration to enable or disable log aggregation</description>
    	</property>
    	
    	
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>node1</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>yarn.resourcemanager.scheduler.class</name>
    		<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    		<description></description>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.local-dirs</name>
    		<value>/data/nm-local</value>
    		<description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.log-dirs</name>
    		<value>/data/nm-log</value>
    		<description>Comma-separated list of paths on the local filesystem where logs are written.</description>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.log.retainseconds</name>
    		<value>10800</value>
    		<description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
    	</property>
    	
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    		<description>Shuffle service that needs to be set for Map Reduce applications.</description>
    	</property>
    	 
        <property>
            <description>The class to use as the resource scheduler.</description>
            <name>yarn.resourcemanager.scheduler.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
        </property>
    </configuration>

![在这里插入图片描述][7c2ecd6a01d64ed8adb5f6b52a0acc24.png]

9、修改`workers`文件

vim workers

全部内容如下:

node1
    node2
    node3

![在这里插入图片描述][17ad71e476d045af8a9495709b06502a.png]

10、**【在`node1`执行】** 分发`hadoop`到其它机器

cd /export/server

scp -r hadoop-3.3.0 node2:`pwd`/
    scp -r hadoop-3.3.0 node3:`pwd`/

> 分发时间挺久的，耐心等待！

11、在`node2`、`node3`执行

# 创建软链接
    ln -s /export/server/hadoop-3.3.0 /export/server/hadoop

![在这里插入图片描述][d05c7674150d4e0ea665081909147d22.png]

12、创建所需目录

*  在`node1`执行：

mkdir -p /data/nn
    mkdir -p /data/dn
    mkdir -p /data/nm-log
    mkdir -p /data/nm-local

![在这里插入图片描述][f9f3f1574bf04ffab52833a93d464673.png]

*  在`node2`执行：

mkdir -p /data/dn
    mkdir -p /data/nm-log
    mkdir -p /data/nm-local

![在这里插入图片描述][f7b46d8c7dab446089615c2a6ceda99e.png]

*  在`node3`执行：

mkdir -p /data/dn
    mkdir -p /data/nm-log
    mkdir -p /data/nm-local

![在这里插入图片描述][8bdb9c0bc97d4f11a71a2310ae67ac51.png]

13、配置环境变量  
在`node1`、`node2`、`node3`修改`/etc/profile`

vim /etc/profile

在文件最下面添加：

export HADOOP_HOME=/export/server/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

![在这里插入图片描述][ea0e29f97c9b4f78b2e38b87cd421566.png]

生效，执行：

source /etc/profile

14、格式化`NameNode`，在`node1`执行

hadoop namenode -format

> `hadoop`这个命令来自于：`$HADOOP_HOME/bin`中的程序  
> 由于配置了环境变量`PATH`，所以可以在任意位置执行`hadoop`命令哦

15、启动`hadoop`的`hdfs`集群，在`node1`执行即可

start-dfs.sh

![在这里插入图片描述][205f0bd39f144350a66d8275ec1890b9.png]

# 如需停止可以执行
    stop-dfs.sh

> `start-dfs.sh`这个命令来自于：`$HADOOP_HOME/sbin`中的程序  
> 由于配置了环境变量`PATH`，所以可以在任意位置执行`start-dfs.sh`命令哦

16、启动`hadoop`的`yarn`集群，在`node1`执行即可

start-yarn.sh

![在这里插入图片描述][291715c263ca466186e55a8b8b2e69ce.png]  
输入 `jps`，查看进程  
![在这里插入图片描述][637c3ccc37534a6a84a4f3c759287bef.png]

# 如需停止可以执行
    stop-yarn.sh

17、启动历史服务器

mapred --daemon start historyserver
    # 如需停止将start更换为stop

![在这里插入图片描述][4286872091fb4fb69706e64f21fa039e.png]

18、启动web代理服务器

yarn-daemon.sh start proxyserver
    # 如需停止将start更换为stop

### 验证Hadoop集群运行情况 ###

1.  在`node1`、`node2`、`node3`上通过 `jps` 验证进程是否都启动成功

![3a898aa3dceb47828e588e242d057a50.png][]

![在这里插入图片描述][106cfabd96a944efa4f5c4f2f3e08d3b.png]

1.  验证`HDFS`，浏览器打开：`http://node1:9870`

![在这里插入图片描述][39b77b247fcc4dbba628b249887ff47f.png]  
![在这里插入图片描述][dd50af0d1b4f4cdfb13fb39ebea6513d.png]

创建文件`test.txt`，随意填入内容，

vim test.txt

![在这里插入图片描述][0acdb9e618c64e86a0984d867afee1c6.png]

hhh
    hello
    Linux

![在这里插入图片描述][318330d61e2c49d6a441bc9c0937d164.png]

并执行：

hadoop fs -put test.txt /test.txt
    hadoop fs -cat /test.txt

![在这里插入图片描述][445b2e62bd4c42e88a22311d095ba673.png]

1.  验证`YARN`，浏览器打开：`http://node1:8088`

执行：  
![在这里插入图片描述][52283cd499ab430ea75519f86599aee8.png]

# 创建文件words.txt，填入如下内容
    it itcast hadoop
    it hadoop hadoop
    it itcast
    # 将文件上传到HDFS中
    hadoop fs -put words.txt /words.txt
    # 执行如下命令验证YARN是否正常
    hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmapred.job.queue.name=root.root /words.txt /output

![在这里插入图片描述][f70ff2a7f76b4c9a881bfa64a82f210a.png]  
（附加）集群启动和关闭：  
注意：启动集群前，一定要启动zookeeper

三台机器都要执行

/export/server/zookeeper/bin/zkServer.sh start

node1执行

start-dfs.sh
    start-yarn.sh
    mapred --daemon start historyserver

\#**如需停止将start更换为stop**

node1执行

stop-yarn.sh
    stop-dfs.sh

三台机器都要执行

/export/server/zookeeper/bin/zkServer.sh stop

**上传到HDFS**

hdfs dfs -mkdir -p /usr/hadoop/in
    hdfs dfs -ls /usr/hadoop/
    hdfs dfs -put data.txt /usr/hadoop/in/

**运行**

hadoop jar temperature_test-1.0-SNAPSHOT.jar cn.sky.hadoop.JobMain

[Link 1]: https://blog.csdn.net/weixin_43412762/article/details/129740624
[Zookeeper]: https://blog.csdn.net/weixin_43412762/article/details/129918363
[a91e6944affb4e28ae5c98bf71b599ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/9dbc802afd4048e6be11ce450ee1aa56.png
[_155l]: https://pan.baidu.com/s/1Eej6GmEQ1xafcJIfDMGKAw?pwd=155l
[6c2ecc006907431da55851829893e902.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ceac841ada1941e1a7f8a7515c2048e4.png
[4babc544038846da917aab75beb783bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/54ee14ffe6844b62bdb661857cdc95bb.png
[1aa8d112dfa54c1fb7e7375266428adc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ffb6e03071fd42b1a14b17a39cd33283.png
[6dd7086c2f0c45b59e1642f721997453.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e22e9c0690e8458685896208bd532626.png
[bb41d9aadd7544dfbf6dc548bfc57bf7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b768e14eb4564fcd886df4bfffce7ed0.png
[92b5f2ef638e4c3fa3622fa6eeb37921.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3b1c0e7af8a14b2d96fb929cdbbd56e5.png
[9c1864429cca4970b45d082d3bcf84b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/46fd63f27da046ea82ebd8b2e58f9595.png
[752ead39bc374e02838abeaee892ebae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/834a13b07e82479cb2152f763795ba88.png
[7c2ecd6a01d64ed8adb5f6b52a0acc24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6734c2b0a27a46678ac9dd5fefb910f6.png
[17ad71e476d045af8a9495709b06502a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/28037193f8454c10ac3d47bf48fb278f.png
[d05c7674150d4e0ea665081909147d22.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/95a4cbb5d3304cbdaaf2eddfdbf4008c.png
[f9f3f1574bf04ffab52833a93d464673.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/cce665cbdf7d4a20af0ec58979fff8bb.png
[f7b46d8c7dab446089615c2a6ceda99e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6338ca0875724a0a9037173698d79bb8.png
[8bdb9c0bc97d4f11a71a2310ae67ac51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/0765d39978bb4adf9458280b774e4a23.png
[ea0e29f97c9b4f78b2e38b87cd421566.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/d0f1e35928434b37a72d8cd9f5d4ef62.png
[205f0bd39f144350a66d8275ec1890b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6a7f4e82cce441af9ca9e5219758f023.png
[291715c263ca466186e55a8b8b2e69ce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/0311d6f418e048bbac5ea34394973b5d.png
[637c3ccc37534a6a84a4f3c759287bef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5dbd56a42b7b49aea48cf6a8220e15c5.png
[4286872091fb4fb69706e64f21fa039e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/eb1c81015a43475fb5a61ce7a4755202.png
[3a898aa3dceb47828e588e242d057a50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/1c037ae386164b47836710aeca4caf34.png
[106cfabd96a944efa4f5c4f2f3e08d3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/cded8b4c3f3c4d41af6d7d0143b23086.png
[39b77b247fcc4dbba628b249887ff47f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e45e76f50f3040889b8e1f8b2c564dc9.png
[dd50af0d1b4f4cdfb13fb39ebea6513d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/24f9c5e51c824437b2814c756d656df7.png
[0acdb9e618c64e86a0984d867afee1c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/fd63eccf160945c0bc313122d022581f.png
[318330d61e2c49d6a441bc9c0937d164.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/71762970c0db4880a3707693a2304594.png
[445b2e62bd4c42e88a22311d095ba673.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/329626a1ae664510b60caa732f18571d.png
[52283cd499ab430ea75519f86599aee8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/185eb8a98ffd4d5dbf6ecd6aac6d7126.png
[f70ff2a7f76b4c9a881bfa64a82f210a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/31f640ce848f4e6c8a928dccfa2fbb5a.png