单机版 Hadoop 安装经验笔记

冷不防 2022-10-24 01:38 217阅读 0赞

### 目录 ###

*  硬件条件
 *  安装Java
 *   *  JDK下载
     *  文件上传
     *  解压
     *  配置环境变量
     *  检测是否安装成功
 *  安装Hadoop
 *   *  Hadoop下载
     *  文件上传、解压
     *  配置环境变量
     *  修改配置文件
     *   *  1、修改core-site.xml
         *  2、修改 hadoop-env.sh
         *  3、修改 hdfs-site.xml
         *  4、修改 mapred-site.xml
         *  5、修改 yarn-site.xml
     *  格式化 hadoop 文件
     *  启动 Hadoop 、查看安装情况
     *  Hadoop 任务监控
 *  总结

# 硬件条件 #

本篇笔记所使用的操作系统是安装在VMware Workstation15.5 pro的Ubuntu18.04-server（64位）  
操作系统分配4GB内存和100G硬盘存储空间。系统安装的流程不做过多赘述。  
操作流程使用到了xhell6和xftp6 目前这两款软件都有家庭/学生版供免费下载，没必要去下盗版软件  
下载链接：  
[https://www.netsarang.com/en/free-for-home-school/][https_www.netsarang.com_en_free-for-home-school]

# 安装Java #

## JDK下载 ##

选择了JDK1.8在2020年更新的8U251版本，应该目前已经更新到8U281了  
下面给出下载链接：  
[https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html][https_www.oracle.com_java_technologies_javase_javase-jdk8-downloads.html]

## 文件上传 ##

使用xftp6将下载好的文件上传至Ubuntu下的指定路径当中：  
我常使用 `/opt` 作为软件安装路径  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center]

## 解压 ##

解压到当前路径下：

# 解压缩
    tar -zxvf jdk-8u251-linux-x64.tar.gz

解压完成后的截图  
![在这里插入图片描述][20210128192824207.jpg_pic_center]

## 配置环境变量 ##

cd /etc/
    vi profile

添加如下语句：

# Here is the Java Environment
    JAVA_HOME=/opt/jdk1.8.0_251
    export JAVA_HOME
    export PATH=$JAVA_HOME/bin:$PATH

添加完成截图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 1]  
刷新环境变量配置

source /etc/profile

## 检测是否安装成功 ##

输入指令查看Java版本

java -version

如下图所示，则安装完成，可以开始安装Hadoop  
![在这里插入图片描述][20210128192824203.jpg_pic_center]

# 安装Hadoop #

## Hadoop下载 ##

目前最新的Hadoop2版本应该是2.10.1，3版本也更新到了3.3.0。  
下载路径：[https://hadoop.apache.org/releases.html][https_hadoop.apache.org_releases.html]

## 文件上传、解压 ##

使用xftp上传压缩包  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 2]

# 解压文件
    tar -zxvf hadoop-2.9.2.tar.gz

解压完成后  
![在这里插入图片描述][20210128192824215.jpg_pic_center]

## 配置环境变量 ##

和前面安装JDK流程一样

cd /etc/
    vi profile

添加如下语句：

# Here is the Hadoop Environment
    export HADOOP_HOME=/opt/hadoop-2.9.2
    export PATH=$HADOOP_HOME/bin:$PATH

添加完成截图  
![在这里插入图片描述][20210128192824206.jpg_pic_center]  
刷新配置信息

source /etc/profile

查看版本

hadoop version

如下图所示，则可进行下一步  
![在这里插入图片描述][20210128210445324.png]

## 修改配置文件 ##

进入hadoop配置文件存储路径

cd /opt/hadoop-2.9.2/etc/hadoop

路径下的文件如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 3]

### 1、修改core-site.xml ###

在 `<configuration>`标签中添加

vi core-site.xml

<configuration>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://192.168.189.133:9000</value>
    	</property>
    	<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/opt/hadoop-2.9.2/Worksparce</value>
    	</property>
    	<property>
    		<name>hadoop.native.lib</name>
    		<value>false</value>
    		<description>
    		Should native hadoop libraries, if present, be used.
    		</description>
    	</property>
    </configuration>

以上参数分别是设置：  
fs.defaultFS：默认文件系统的名称  
hadoop.tmp.dir：临时文件的基路径  
hadoop.native.lib：是否使用本地库

配置好后截图如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70]

### 2、修改 hadoop-env.sh ###

配置JDK安装路径：

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_251

添加完成后截图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 4]

### 3、修改 hdfs-site.xml ###

vi hdfs-site.xml

在 `<configuration>`标签中添加

<configuration>
    	<property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>
    	<property>
    		<name>dfs.secondary.http.address</name>
    		<value>192.168.189.133:50090</value>
    	</property>
    </configuration>

以上参数分别是设置：  
dfs.replication：上传文件的副本数量  
dfs.secondary.http.address：HTTP状态监控地址

配置完成后截图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 5]

### 4、修改 mapred-site.xml ###

vi mapred-site.xml

添加如下内容

<configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    </configuration>

以上参数分别是设置：  
mapreduce.framework.name：使用什么执行MapReduce任务（默认local）

配置完成后截图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 6]

### 5、修改 yarn-site.xml ###

vi yarn-site.xml

添加如下内容

<configuration>
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>192.168.189.133</value>
    	</property>
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    </configuration>

以上参数分别是设置：  
yarn.resourcemanager.hostname：RM主机名  
yarn.nodemanager.aux-services：NodeManager上运行的附属服务。需配置成mapreduce\_shuffle，才可运行MapReduce程序

[该配置文档的全部参数可参考][Link 1]

配置完成后截图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 7]

## 格式化 hadoop 文件 ##

执行指令  
**切记以下指令仅可执行一次，执行两次及以上将导致集群出现问题**

cd /opt/hadoop-2.9.2/sbin/
    hadoop namenode -format

## 启动 Hadoop 、查看安装情况 ##

执行指令：

cd /opt/hadoop-2.9.2/sbin/
    # start-all.sh相当于`start-dfs.sh`+`start-yarn.sh`
    ./start-all.sh

初次执行会输入几次密码  
可能出现输密码无论如何提示`permission denied`  
我出现这个问题是更改 该文件夹权限 解决的（需要root）

cd /opt/hadoop-2.9.2/sbin/
    chmod 777 ./

最后使用经典Hadoop安装检查指令

jps

如果出现以下六个进程则证明安装成功。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 8]

## Hadoop 任务监控 ##

如果在虚拟机安装时采用桥接NAT网络适配器模式的话，可以在本机脱网的情况下连接虚拟机监控任务执行情况和存储空间分配情况，IP使用虚拟机的网络地址，端口号默认50090

使用网址：192.168.189.133:50090  
看到如下界面的话，单机版 hadoop就已经安装并启动成功了

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 9]

# 总结 #

该笔记中使用的所有软件都是直接从开源官网中下载的，如果遇到下载速度问题，可以使用国内的开源镜像站进行下载。

参考：  
1、[https://blog.csdn.net/lu1171901273/article/details/86518494][https_blog.csdn.net_lu1171901273_article_details_86518494]

[https_www.netsarang.com_en_free-for-home-school]: https://www.netsarang.com/en/free-for-home-school/
[https_www.oracle.com_java_technologies_javase_javase-jdk8-downloads.html]: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/85aedf9d368449a2842650582bb62f63.png
[20210128192824207.jpg_pic_center]: /images/20221024/25b43dd7a7d54895b53d6e317118b71b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/c73937c349ab485492bafa8eace71e0d.png
[20210128192824203.jpg_pic_center]: /images/20221024/d05eac3e1b2045e2b107e8e6520c9603.png
[https_hadoop.apache.org_releases.html]: https://hadoop.apache.org/releases.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/7e734a7e69744bd1b5040cb7d50455a7.png
[20210128192824215.jpg_pic_center]: /images/20221024/27360c6af745481da834ca516858dd2d.png
[20210128192824206.jpg_pic_center]: /images/20221024/4bba8bbf13d44c67aea731075c5aeac8.png
[20210128210445324.png]: /images/20221024/1c36d0fd51f044bdaf1f0514fe051a51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221024/a18efa14745a40c3b4dbdd5266f31e31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70]: /images/20221024/5a7695cfccb544749d940a5ced9a5f2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221024/f2bc0abc259d44c3842e412958bc87a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221024/76f136aff0984f3694ecd264421a5792.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221024/471ac2d9f1cb408abb9a32684df5165f.png
[Link 1]: https://www.cnblogs.com/yinchengzhe/p/5142659.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221024/ce7048c74b894c5d8c51487124b2a817.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221024/0ca9b0e58a5045ccb1ccb3c96a3098b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTQ0NDQ2_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221024/fdced897be674866b42aec6afb96bddc.png
[https_blog.csdn.net_lu1171901273_article_details_86518494]: https://blog.csdn.net/lu1171901273/article/details/86518494