windows下安装hadoop

￡神魔★判官ぃ 2023-03-04 08:29 11阅读 0赞

### windows下安装hadoop ###

*  背景
 *   *  环境
 *  搭建
 *   *  安装jdk
     *  安装Hadoop
     *  安装window下编译必须库文件
     *  启动Hadoop集群
     *   *  初始化namenode
         *  启动Hadoop
         *  webUI验证
         *  运行wc来进行测试
     *  遇见问题

# 背景 #

原本使用虚拟机搭建集群，后来因为某些原因，不能使用虚拟机。然后想在一台配置还行的云主机上搭建一下。结果遇见了小坑，希望能给小伙伴搭建的时候提供一些想法。

## 环境 ##

windows 2019  
hadoop 2.9.0  
jdk 1.8

# 搭建 #

## 安装jdk ##

必须依赖jdk,如果已经安装好以及配置好环境变量请跳过

1.  下载  
    下载地址：[jdk8下载路径][jdk8]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70]
2.  安装jdk  
    注意路径不要有空格，不再赘述
3.  配置环境变量

# 添加
    JAVA_HOME=安装路径
    # 添加
    CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
    # path中属性追加
    %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20200802222321809.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 2]  
4. 验证环境变量  
确定设置之后，重新打开cmd，输入命令

java -version
    javac -version

如果 两个命令都提示jdk版本即为安装配置成功  
![在这里插入图片描述][20200802222831717.png]  
如果java命令就出现错误说明jdk安装的有问题，如果javac出现错误提示，就说明环境变量配置的不正确或者没有生效。

## 安装Hadoop ##

1.  下载hadoop安装包：[hadoop2.9官方下载地址][hadoop2.9]  
    然后解压到合适的位置
2.  开始配置  
    2.1 进入安装路径下/etc/hadoop/  
    因为我之前安装了cygwin所以可以使用ls，原生的可以使用dir命令查看路径下有什么文件  
    ![在这里插入图片描述][20200802223443707.png]  
    修改下面的文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 3]  
    2.2 首先修改core-site.xml  
    添加下面配置，指定默认文件系统

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 4]  
2.3 修改mapred-site.xml  
将mapred-site.xml.template文件修改名字mapred-site.xml  
添加下面内容：指定调用系统为yarn

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 5]  
2.4 修改hdfs-site.xml  
添加下面配置：  
dfs.replication指定文件副本数，单机模式，指定一个就行  
dfs.namenode.name.dir 指定namenode工作路径  
dfs.datanode.data.dir 指定datanode工作路径

<property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
          <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
      </property>
          <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
      </property>

说明：file:/指当前文件系统的根路径，此处即指定C:/,如果在D:/则是代指D:/，文件路径系统会自动创建  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 6]  
2.5 修改yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
        <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 7]  
2.6 修改hadoop-env.cmd  
此文件需要指定JAVA\_HOME，修改为文件系统  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 8]  
2.6 修改slaves文件  
指定hdfs子节点的主机，如果只使用本地可以保持默认值localhost，如果需要添加多台，一行一台主机名

## 安装window下编译必须库文件 ##

1.  winutils.exe下载  
    这个文件不管是在windows下使用hadoop以及在windows下远程调用hadoop集群都要使用的。[winutils.exe下载][winutils.exe]  
    找到对应版本后，将bin下面的文件全部复制到hadoop安装路径下的bin目录，然后将hadoop.dll复制到  
    如果是32位系统

C:\Windows\System32

如果是64位系统

C:\Windows\SysWOW64

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 9]  
然后验证winutils.exe是否安装成功，双击hadoop2.9.0/bin/winutils.exe如果出现cmd闪退就说明安装成功，如果提示缺少MSVCR100.dll就执行下面的步骤。  
2. Visual C++ 2010 Redistributable Package (x64)安装  
下载路径：[Visual C++ 2010 Redistributable Package ][Visual C_ 2010 Redistributable Package]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 10]

下载之后安装，然后回测winutils.exe

## 启动Hadoop集群 ##

注意：如果是第一次启动需要初始化namenode

### 初始化namenode ###

输入`hadoop namenode -format`  
![在这里插入图片描述][20200803101154728.png]  
如果出现下图提示说明namenode初始化成功  
![TODO 改天把图补上][TODO]

### 启动Hadoop ###

sbin/start-all.cmd

会出现四个cmd窗口，不要手动关闭  
查看是否有异常信息

使用jps查看进程  
![在这里插入图片描述][2020080223235281.png]

### webUI验证 ###

查看hdfs  
浏览器输入

http://localhost:50070

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 11]  
查看集群应用情况

http://localhost:8088

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 12]

### 运行wc来进行测试 ###

首先要创建文件夹

hdfs dfs -mkdir -p /wc/input

上传文件到输入路径

hdfs dfs -put aaa.txt /wc/input

进入hadoop2.9.0/share/hadoop/mapreduce路径，运行

hadoop jar hadoop-mapreduce-examples-2.9.0.jar wordcount /wc/input /wc/output

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 13]

## 遇见问题 ##

1.  Java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.$Windows  
    启动时这个，测试一下winUtil.exe会不会出现错误信息，我就是因为这个找了两天。  
    2.普通用户启动start-all.cmd出现Exception message: CreateSymbolicLink error (1314): ???  
    解决办法cmd使用管理员进行

[jdk8]: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70]: /images/20230208/9179369d9d394a7fa9b1a62816ad504b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 1]: /images/20230208/c91d6c4935fd45d48226e8d204346b9e.png
[20200802222321809.png]: /images/20230208/a6becb80533e43869afbc1501f4250c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 2]: /images/20230208/fe5cb898168a4d09bafbfd3fc2fdccbe.png
[20200802222831717.png]: /images/20230208/3adb650cf5124204b5774a8c6a42fed7.png
[hadoop2.9]: http://archive.apache.org/dist/hadoop/core/hadoop-2.9.0/
[20200802223443707.png]: /images/20230208/141ba4f0b5a84347bd58788ca05ea19e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 3]: /images/20230208/6e4b3bb61e9d4fa5bc7c7741291eb97e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 4]: /images/20230208/d11e75d1cc0b499cbd191aeb94a0a23a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 5]: /images/20230208/586e5b6a1a9d42baa2a06b8a791deeaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 6]: /images/20230208/dca82d2db6d24a7d851381903b07d03f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 7]: /images/20230208/c72702c282bd44fa92aad27a7c5d73ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 8]: /images/20230208/f57e9e12c0c14f40b484ab8e75c5007e.png
[winutils.exe]: https://github.com/cdarlint/winutils
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 9]: /images/20230208/726a513cc7aa4961a89fd35413f3c7de.png
[Visual C_ 2010 Redistributable Package]: https://www.microsoft.com/en-us/download/details.aspx?id=14632
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 10]: /images/20230208/d4fc921677684318ab8c61d96aa4cc46.png
[20200803101154728.png]: /images/20230208/5a1e9cf4dc0a46d6b60ad5569f62cecd.png
[TODO]: /images/20230208/9d0b085f46924cc1ad7b5ebe5934c7af.png
[2020080223235281.png]: /images/20230208/acb3b584384d4e859398460e1aa661a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 11]: /images/20230208/33bdc2cb33af4f2c8e450491df1f03eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 12]: /images/20230208/b88b70e5a9d047f88c693c7b0544a6d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYXpoYWd1_size_16_color_FFFFFF_t_70 13]: /images/20230208/da0327e5c1ce474f9acebb9f0bf6f32e.png