9个步骤，手把手教你在Windows上安装Hadoop

本是古典何须时尚 2023-10-13 17:12 12阅读 0赞

> 在Windows上安装Hadoop时经常会出现许多错误，很多用户使用基于Linux的操作系统。本文详细讲述如何在Windows上安装和运行Apache Hadoop，如果遇到了问题，可以参考文章中的步骤进行解决。

微信搜索关注《Java学研大本营》

在 Microsoft Windows 上运行 Apache Hadoop 是比较繁琐的任务，在安装过程中会出现许多错误，最终，大多数用户放弃了通过 Windows 使用 Hadoop，并转而使用基于 Linux 的操作系统。

本文讲述了有关如何在Windows上无误安装和运行Apache Hadoop所有组件的各个方面。请先为以下先决条件准备好PC/笔记本电脑：

![图片][75cbdd311fa3b74a9fce64cd3292a084.png]

### 1. Java开发工具包 ###

Apache Hadoop 与最新版本的JDK不兼容。建议下载Java SE Development Kit版本15.0.x（可能需要注册Oracle帐户）。

**安装链接：https://www.oracle.com/java/technologies/javase/jdk15-archive-downloads.html**

### 2. 设置环境路径 ###

（仅在未安装Java或从未设置Java路径时才执行此步骤）。

进入设置 -> 搜索 "环境变量" -> 选择 "编辑系统变量 "选项。出现以下对话框：

![图片][b04d97ec1acaf52dd525a2c454fb2117.png]

单击“环境变量…”按钮。出现以下窗口：

![图片][a2354f11970303eb935b8a588749989f.png]

选择新按钮并在变量名称中键入“JAVA\_HOME”，将值设置为Java SDK的bin文件夹的路径（通常为类型：C:\\Program Files\\Java\\jdk-15.0.1\\bin）。对于用户和系统变量都执行此步骤。

![图片][58678a001e2948cd53bf0b7601e1c0c4.png]

从用户变量中选择路径选项（稍后同样适用于系统变量）。单击“编辑”并通过单击“新建”按钮（从右侧）添加Java bin路径。对于用户和系统变量都执行此步骤。

![图片][23d91d14e2a9c173ab164b059d5087fe.png]

现在，通过满足先决条件，已准备好在Windows上安装Apache Hadoop。

从以下链接中下载tar.gz文件（注意-最可能需要下载的是底部的第三个文件）。

**安装链接：https://downloads.apache.org/hadoop/common/hadoop-3.3.4/**

确保将Hadoop文件夹提取到C：驱动器中（而不是任何文件夹或其他驱动器中）

提取后，请确保hadoop-3.3.4（文件夹名称）对用户具有写入权限。

下面我们进入安装步骤的关键部分，设置Hadoop的配置，请仔细遵循这些步骤。我们需要更改以下文件：

1.  编辑文件C：\\ Hadoop-3.3.4 \\ etc \\ hadoop \\ core-site.xml，编辑xml代码并保存：

<configuration> 
    <property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://localhost:9000</value> 
    </property> 
    </configuration>

注意：如果端口正在使用，则可能需要更改端口（此处为9000）。

1.  编辑文件C:\\Hadoop-3.3.4\\etc\\hadoop\\mapred-site.xml，编辑xml代码并保存：

<configuration> 
    <property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
    </property> 
    </configuration>

### 3. 编辑文件 ###

编辑C:\\Hadoop-3.3.4\\etc\\hadoop\\hdfs-site.xml，编辑xml代码并保存：

<configuration> 
    <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
    </property> 
    <property> 
    <name>dfs.namenode.name.dir</name> 
    <value>/hadoop-3.3.4/data/namenode</value> 
    </property> 
    <property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/hadoop-3.3.4/data/datanode</value> 
    </property> 
    </configuration>

### 4. 创建目录 ###

创建以下目录

a. 在“C：\\ hadoop-3.3.4 \\”下创建文件夹“data”

b. 在“C：\\ hadoop-3.3.4 \\ data \\”下创建文件夹“datanode”

c. 在“C：\\ hadoopo-3.3.4 \\ data \\”下创建文件夹“namenode”

### 5. 编辑文件 ###

编辑文件C：\\ Hadoop-3.3.4 \\ etc \\ hadoop \\ yarn-site.xml，编辑xml代码并保存：

<configuration> 
    <property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.auservices.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    </configuration>

### 6. 编辑文件 ###

编辑文件C:\\Hadoop-3.3.4\\etc\\hadoop\\hadoop-env.cmd，编辑以下行：

“JAVA_HOME=C:\\Progra~1\Java\jdk-15.0.1\bin” instead of set “JAVA_HOME=C:\Java”

注意：可以使用JAVA\_HOME变量，但由于路径地址(Program Files)中存在空格，会引发错误。

到这一步已经完成了编辑配置的工作。现在，我们将在cmd中执行命令以运行Hadoop。

从下面链接中的bin文件夹中粘贴文件到Hadoop bin文件夹中，注意不要替换整个bin文件夹，复制文件并仅替换选定的文件。确保bin文件夹总共有22个项目。这一步很关键，因为现有的bin文件夹具有不完整的文件集，这些文件集是运行资源管理器所需的。

**安装链接：https://drive.google.com/drive/folders/1fDbblP61sUKmDqvQ8pfU98nMt\_we4b5J?usp=share\_link**

### 7. 为Hadoop设置环境和路径变量 ###

进入设置->打开环境变量->在用户变量中添加新变量：

![图片][0f823de5202c4bb94e3b9688881612d3.png]

变量名称：HADOOP\_HOME，值：C：\\ hadoop-3.3.4 \\ bin（到hadoop bin文件夹的路径）。

进入用户变量中的路径，点击编辑，添加新路径：

![图片][9d0fe2142ee633f8da00a904ab67a9c1.png]

路径值与上面相同（到Hadoop bin文件夹的路径）。

将以下路径值添加到系统变量中：

C：\\ hadoop-3.3.4 \\ bin

C：\\ hadoop-3.3.4 \\ sbin

![图片][6347de08c4eec11bfd0120f2d6495d52.png]

以“管理员身份运行”打开cmd（或powershell），并使用cd命令导航到Hadoop的bin目录：

cd C:\hadoop-3.3.4\bin\

### 8. 格式化目录 ###

使用相同的cmd（powershell）命令格式化“namenode”目录；

hdfs namenode -format

### 9. 启动组件 ###

要启动Hadoop组件，将当前目录改为sbin文件夹：

cd C:\hadoop-3.3.4\sbin\

并运行“start-all.cmd”可执行文件。可以通过在文件资源管理器中导航到sbin目录中的start-all.cmd并选择“以管理员身份运行”来执行此操作。

注意：如果通过执行第8步，无法查看yarn终端（cmd），请从同一目录中以管理员身份打开“start-yarn.cmd”。

现在就能看到四个终端(cmd)同时运行。

![图片][2b70010573d007907214a542144d7a05.png]

确保所有四个组件都在运行，这些组件是：

a. hadoop namenode

b. hadoop datanode

c. yarn resourcemanager

d. yarn nodemanager

注意：可以使用终端中的“jps”命令进行验证。如果任何一个（或多个）进程“关闭”，请检查上一部分中的Hadoop配置步骤。

在成功运行组件后，可以通过在Web浏览器中打开http://localhost:8088来访问Hadoop默认创建的群集。

![图片][18be84df9a293c551bb258b2c515a528.png]

上图显示了具有值1的活动节点的突出显示字段，表示已创建一个节点并正在运行。

单击左侧栏上的“节点”以查看所创建节点的详细信息。

![图片][e80d5842d29f46d72a8d7a2cd39f878a.png]

要检查namenode的状态，请在Web浏览器中打开http://localhost:9870。可以通过顶部导航栏下的“实用程序”部分在GUI下访问HDFS。

![图片][cac53a977d6cdf45d2c39e9c9cc942e8.png]

注意：图中显示 "localhost:9001"，因为端口号9000已经被我的电脑使用了。我已经在Hadoop配置步骤中改变了它。(在core-site.xml文件中)。

恭喜，已成功在PC上安装了Apache Hadoop。现在，可以从本地计算机执行map reduce任务，开始探索Hadoop Map Reduce的功能吧。

### 推荐书单 ###

#### 《Hadoop大数据分析实战》 ####

本书详细阐述了与Hadoop 3大数据分析相关的基本解决方案，主要包括Hadoop简介、大数据分析概述、基于MapReduce的大数据处理、Python-Hadoop科学计算和大数据分析、R-Hadoop统计数据计算、Apache Spark批处理分析、Apache Spark实时数据分析、Apache Flink批处理分析、Apache Flink流式处 理、大数据可视化技术、云计算简介、使用亚马Web服务等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。

本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学教材和参考手册。

[《Hadoop大数据分析实战》(\[美\]，斯里达尔·奥拉)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《Hadoop大数据分析实战》在线选购，本书作者：，出版社：清华大学出版社。买图书，到京东。网购图书，享受最低优惠折扣!![icon-default.png?t=N6B9][icon-default.png_t_N6B9]https://item.jd.com/12613682.html][Hadoop_ _ _- _JD.COM_Hadoop_icon-default.png_t_N6B9_icon-default.png_t_N6B9_https_item.jd.com_12613682.html]

![图片][89cbd9918252f03f7de582f76dcd96a3.png]

> > ### 精彩回顾 ###
> > 
> > [一文讲清RabbitMQ、Apache Kafka、ActiveMQ][RabbitMQ_Apache Kafka_ActiveMQ]
> > 
> > [一文讲清数据集市、数据湖、数据网格、数据编织][Link 1]
> > 
> > [分布式计算哪家强：Spark、Dask、Ray大比拼][Spark_Dask_Ray]
> > 
> > [使用FPGA制作低延时高性能的深度学习处理器][FPGA]
> > 
> > [ChatGPT是如何运行起来的？（下）][ChatGPT]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[75cbdd311fa3b74a9fce64cd3292a084.png]: https://img-blog.csdnimg.cn/img_convert/75cbdd311fa3b74a9fce64cd3292a084.png
[b04d97ec1acaf52dd525a2c454fb2117.png]: https://img-blog.csdnimg.cn/img_convert/b04d97ec1acaf52dd525a2c454fb2117.png
[a2354f11970303eb935b8a588749989f.png]: https://img-blog.csdnimg.cn/img_convert/a2354f11970303eb935b8a588749989f.png
[58678a001e2948cd53bf0b7601e1c0c4.png]: https://img-blog.csdnimg.cn/img_convert/58678a001e2948cd53bf0b7601e1c0c4.png
[23d91d14e2a9c173ab164b059d5087fe.png]: https://img-blog.csdnimg.cn/img_convert/23d91d14e2a9c173ab164b059d5087fe.png
[0f823de5202c4bb94e3b9688881612d3.png]: https://img-blog.csdnimg.cn/img_convert/0f823de5202c4bb94e3b9688881612d3.png
[9d0fe2142ee633f8da00a904ab67a9c1.png]: https://img-blog.csdnimg.cn/img_convert/9d0fe2142ee633f8da00a904ab67a9c1.png
[6347de08c4eec11bfd0120f2d6495d52.png]: https://img-blog.csdnimg.cn/img_convert/6347de08c4eec11bfd0120f2d6495d52.png
[2b70010573d007907214a542144d7a05.png]: https://img-blog.csdnimg.cn/img_convert/2b70010573d007907214a542144d7a05.png
[18be84df9a293c551bb258b2c515a528.png]: https://img-blog.csdnimg.cn/img_convert/18be84df9a293c551bb258b2c515a528.png
[e80d5842d29f46d72a8d7a2cd39f878a.png]: https://img-blog.csdnimg.cn/img_convert/e80d5842d29f46d72a8d7a2cd39f878a.png
[cac53a977d6cdf45d2c39e9c9cc942e8.png]: https://img-blog.csdnimg.cn/img_convert/cac53a977d6cdf45d2c39e9c9cc942e8.png
[icon-default.png_t_N6B9]: https://csdnimg.cn/release/blog_editor_html/release2.3.5/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N6B9
[Hadoop_ _ _- _JD.COM_Hadoop_icon-default.png_t_N6B9_icon-default.png_t_N6B9_https_item.jd.com_12613682.html]: https://item.jd.com/12613682.html
[89cbd9918252f03f7de582f76dcd96a3.png]: https://img-blog.csdnimg.cn/img_convert/89cbd9918252f03f7de582f76dcd96a3.png
[RabbitMQ_Apache Kafka_ActiveMQ]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247488170&idx=1&sn=645e1a47b2c43248fe1c8a100292067f&scene=21#wechat_redirect
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247488135&idx=1&sn=0fb919d96cf1ccb42dac0b2b8cf7a8f6&scene=21#wechat_redirect
[Spark_Dask_Ray]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247488124&idx=1&sn=3a2681bc87b3e2cf9b9fa771b9a2a216&scene=21#wechat_redirect
[FPGA]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247488111&idx=1&sn=26b24b57724ae12a663997bf0b8c87b4&scene=21#wechat_redirect
[ChatGPT]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247488096&idx=1&sn=97b184699d6975adbdda44d5d8e92ab0&scene=21#wechat_redirect