二十二、安装Hadoop图文详解

落日映苍穹つ 2022-05-08 11:20 228阅读 0赞

#                                              安装Hadoop图文详解 #

### 1、解压hadoop-2.7.2.tar.gz到/opt/module目录下 ###

tar -zxvf hadoop-2.7.2.tar.gz

### 2、设置环境变量 ###

vim  /etc/profile

在profile文件末尾添加：

##HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

让配置文件生效：

source /etc/profile

### 3、测试Hadoop是否 安装成功 ###

[admin@hadoop11 hadoop-2.7.2]$ hadoop
    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
      CLASSNAME            run the class named CLASSNAME
     or
      where COMMAND is one of:
      fs                   run a generic filesystem user client
      version              print the version
      jar <jar>            run a jar file
                           note: please use "yarn jar" to launch
                                 YARN applications, not this command.
      checknative [-a|-h]  check native hadoop and compression libraries availability
      distcp <srcurl> <desturl> copy file or directories recursively
      archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
      classpath            prints the class path needed to get the
      credential           interact with credential providers
                           Hadoop jar and the required libraries
      daemonlog            get/set the log level for each daemon
      trace                view and modify Hadoop tracing settings
    
    Most commands print help when invoked w/o parameters.

如上标识Hadoop安装成功。

### 4、修改hadoop-env.sh文件中JAVA\_HOME路径 ###

分布式部署的时候，namenode节点可能读取不到

export JAVA_HOME=${JAVA_HOME}
    
    改为如下：
    
    export JAVA_HOME=/opt/module/jdk8

### 5、hadoop安装包下各个目录的作用 ###

bin：**Hadoop最基本的管理脚本和使用脚本的目录**，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：**Hadoop配置文件所在的目录**，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include：**对外提供的编程库头文件**（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了**Hadoop对外提供的编程动态库和静态库**，与include目录中的头文件结合使用。

libexec：**各个服务对用的shell配置文件所在的目录**，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

sbin：**Hadoop管理脚本**所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块**编译后的jar包**所在的目录。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220508/30c73d857cd74dc4891db3d4c165a857.png