Hadoop-安装和集群搭建以及基本使用

以你之姓@ 2022-05-28 22:55 101阅读 0赞

### 文章目录 ###

*  Hadoop-安装和集群搭建以及基本使用
 *   *   *   *  1.Hadoop的简单安装
             *   *  1.1.进入hadoop官网
                 *  1.2.解压安装Hadoop
                 *   *  1.2.1 解压压缩文件
                     *  1.2.2 移动重命名
                     *  1.2.3 配置环境变量
                     *  1.2.4 检验
             *  2.Hadoop集群搭建
             *   *  2.1 同上上传解压hadoop
                 *  2.2 修改配置文件
                 *   *  hadoop-env.sh
                     *  core-site.xml
                     *  hdfs-site.xml
                     *  mapred-site.xml
                     *  yarn-site.xml
                 *  2.3 初始化HDFS
                 *  检验
                 *  2.4 启动 hadoop
                 *   *  2.4.1 先启动 hdfs
                     *  2.4.2 配置免密登录
                     *  2.4.3 stop dfs
                     *  2.4.3 再启动 yarn
             *  3.Hadoop基本使用
             *   *  3.1 查看本地文件系统
                 *  3.2 从本地系统拷贝文件到DFS
                 *  3.3 展示文件内容
             *  4.HDFS的Java API简单使用
             *   *  4.1 pom引用
                 *  4.2 HdfsClientDemo
                 *  4.3 第一种调用方式
                 *   *  HdfsClientDemo.java
                     *  IDEA设置JVM参数

# Hadoop-安装和集群搭建以及基本使用 #

#### 1.Hadoop的简单安装 ####

>  安装Hadoop前提需要配置安装好JDK

##### 1.1.进入hadoop官网 #####

[Hadoop官网][Hadoop]  
![这里写图片描述][70]  
![这里写图片描述][70 1]  
[镜像地址][Link 1]

![这里写图片描述][70 2]

##### 1.2.解压安装Hadoop #####

###### 1.2.1 解压压缩文件 ######

![这里写图片描述][Image 1]  
![这里写图片描述][Image 1]

###### 1.2.2 移动重命名 ######

![这里写图片描述][Image 1]

###### 1.2.3 配置环境变量 ######

sudo gedit /etc/profile

![这里写图片描述][Image 1]

>  注意：此处不用HADOOP\_HOME 由于在bin/sbin可执行文件下会动态创建HADOOP\_HOME环境变量，若我们自定义了之后可能会干扰动态创建，所以用一个个性化的环境变量名来表示

source /etc/profile 配置文件立即生效

###### 1.2.4 检验 ######

hadoop version

![这里写图片描述][Image 1]

#### 2.Hadoop集群搭建 ####

##### 2.1 同上上传解压hadoop #####

##### 2.2 修改配置文件 #####

>  hadoop2.x的配置文件$HADOOP\_HOME/etc/hadoop，伪分布式需要修改5个配置文件

###### [hadoop-env.sh][] ######

>  之后启动通过ssh方式，$\{\}获取参数会失效，所以改为定值，各配置文件参考中注释自行去除、否则之后初始化会失败  
> ![这里写图片描述][70 3]

###### core-site.xml ######

![这里写图片描述][70 4]

###### hdfs-site.xml ######

![这里写图片描述][70 5]

###### mapred-site.xml ######

mv mapred-site.xml.template mapred-site.xml

![这里写图片描述][70 6]

###### yarn-site.xml ######

![这里写图片描述][70 7]

##### 2.3 初始化HDFS #####

hdfs namenode -format (hadoop namenode -format)

![这里写图片描述][70 8]

##### 检验 #####

>  主服务器 启动namenode sbin/hadoop-daemon.sh start namenode，启动完成之后通过JPS 可以查看到namenode正在运行  
> ![这里写图片描述][70 9]

>  浏览器访问http://10.102.150.231:50070可以查看相关信息  
> ![这里写图片描述][70 10]

>  然后任意服务器启动datanode sbin/hadoop-daemon.sh start datanode，同理JPS 可以查看datanode正在运行，再次访问http://10.102.150.231:50070可以看到集群最新状态  
> ![这里写图片描述][70 11]  
>  注意：  
>   如果启动datanode之后，界面并未监测到最新状态,例如Live Nodes依然为0，则通过以下方法可能解决:
> 
> 1.  由于多次初始化HDFS导致  
>     删除core-site.xml 中hadoop.tmp.dir中配置文件夹下的其他所有因为初始化生成的文件  
>     rm -rf /home/hadoop/tmp  
>     重新初始化
> 2.  未知的名称或服务  
>     ![这里写图片描述][70 12]  
>      执行hostname查看主机名  
>     ![这里写图片描述][70 13]  
>      修改localhost为hostname显示的主机名,通上删除初始化生成文件重新初始化  
>     ![这里写图片描述][70 14]
> 3.  由于hadoop 不使用hostname，使用ip遇到的问题  
>     （Datanode denied communication with namenode because hostname cann）  
>     通过查看hadoop安装目录下的日志发现  
>     tail -f /usr/local/hadoop/logs/hadoop-root-datanode-ithzk.log  
>     ![这里写图片描述][70 15]

>  需要在hdfs-site.xml加上以下配置

<property>
        <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
        <value>false</value>
    </property>

>  重新初始化HDFS即可

##### 2.4 启动 hadoop #####

###### 2.4.1 先启动 hdfs ######

vi /usr/local/hadoop/etc/hadoop/slaves

>  此处配置启动datanode的hostname或者ip都可  
> ![这里写图片描述][70 16]

sbin/start-dfs.sh

>  启动之后slaves配置的服务器使用jps可以发现开启了datanode，主服务器会出现namenode和secondarynamenode则启动成功，此操作需要输入各服务器密码  
> ![这里写图片描述][70 17]

###### 2.4.2 配置免密登录 ######

> 1.  ssh-keygen(生成公钥和私钥文件)  
>     ![这里写图片描述][70 18]
> 2.  ssh-copy-id 10.102.150.231，依次配置主服务器连接其他服务器的免密登录  
>     ![这里写图片描述][70 19]
> 3.  通过ssh ip 可验证  
>     ![这里写图片描述][70 20]

###### 2.4.3 stop dfs ######

sbin/stop-dfs.sh

>  配置免密登录后，运行该命令则可免密关闭所有相关功能  
> ![这里写图片描述][70 21]

###### 2.4.3 再启动 yarn ######

sbin/start-yarn.she

#### 3.Hadoop基本使用 ####

##### 3.1 查看本地文件系统 #####

hadoop fs -ls /

![这里写图片描述][70 22]  
![这里写图片描述][70 23]

##### 3.2 从本地系统拷贝文件到DFS #####

hadoop fs -put text.log /

![这里写图片描述][70 24]

##### 3.3 展示文件内容 #####

hadoop fs -cat /text.log

![这里写图片描述][70 25]

[更多命令可以参考网友博客][Link 2]

#### 4.HDFS的Java API简单使用 ####

##### 4.1 pom引用 #####

<dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>2.7.4</version>
          <scope>provided</scope>
        </dependency>
        
        <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-hdfs</artifactId>
          <version>2.7.4</version>
        </dependency>

##### 4.2 HdfsClientDemo #####

package com.ithzk.hadoop;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Before;
    import org.junit.Test;
    
    import java.io.IOException;
    
    
    /** * @author hzk * @date 2018/4/23 */
    public class HdfsClientDemo { 
    
        FileSystem fileSystem = null;
    
        @Before
        public void init() throws IOException { 
            Configuration configuration = new Configuration();
            //获取文件系统操作的客户端实例对象
            fileSystem = FileSystem.get(configuration);
        }
    
        @Test
        public void test() throws IOException { 
            fileSystem.copyFromLocalFile(new Path("G://blogs.txt"),new Path("/blogs.txt.copy"));
            fileSystem.close();
        }
    }

![这里写图片描述][70 26]

>  此时运行可能会抛出以上错误,由于此时拿到的是本地文件系统,windows下未配置hadoop所需文件  
>  第一种解决办法:
> 
> 1.  配置HADOOP\_HOME环境变量
> 2.  由于hadoop本身bin下文件不适用于windows，可以将以下地址下载文件bin目录下替换原来的bin下文件  
>     [Hadoop-2.7.4-win-bin][]  
>     第二种解决办法:  
>     或者加上这一句也是可以解决的System.setProperty(“hadoop.home.dir”,“G://JavaUtils/Hadoop/hadoop-2.7.4” );  
>     此处设置hadoop路径

##### 4.3 第一种调用方式 #####

>  客户端去操作hdfs时有一个用户身份，默认情况下会从JVM中获取一个参数作为自己的用户参数 -DHADOOP\_USER\_NAME 或者通过代码设置

###### HdfsClientDemo.java ######

package com.ithzk.hadoop;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Before;
    import org.junit.Test;
    
    import java.io.IOException;
    
    
    /** * 客户端去操作hdfs时有一个用户身份 * 默认情况下会从JVM中获取一个参数作为自己的用户参数 -DHADOOP_USER_NAME 或者通过代码设置 * @author hzk * @date 2018/4/23 */
    public class HdfsClientDemo { 
    
        FileSystem fileSystem = null;
    
        @Before
        public void init() throws IOException { 
            Configuration configuration = new Configuration();
            configuration.set("fs.defaultFS","hdfs://10.102.150.231:9000");
            //获取文件系统操作的客户端实例对象
            fileSystem = FileSystem.get(configuration);
        }
    
        @Test
        public void test() throws IOException { 
            fileSystem.copyFromLocalFile(new Path("G://blogs.txt"),new Path("/blogs.txt.copy"));
            fileSystem.close();
        }
    }

###### IDEA设置JVM参数 ######

![这里写图片描述][70 27]

>  此时，可以看到HDFS上已经存在该文件,即成功  
> ![这里写图片描述][70 28]

[Hadoop]: http://hadoop.apache.org/
[70]: /images/20220529/db66b58dd5af455b9534d9b8f0894b46.png
[70 1]: /images/20220529/75b32951051b442ab7b94a1c5f90b067.png
[Link 1]: http://mirror.bit.edu.cn/apache/hadoop/common/
[70 2]: /images/20220529/b11d97ee70fb403c9a41de58cd640503.png
[Image 1]: 
[hadoop-env.sh]: http://hadoop-env.sh
[70 3]: /images/20220529/31ef6efd19fe420ab4ce24242c840e7d.png
[70 4]: /images/20220529/eb25531e752947238a054dd328679895.png
[70 5]: /images/20220529/8045c0606b114d909f66e51ab39af256.png
[70 6]: /images/20220529/939d50eda9f04680a136b3f8c234b65e.png
[70 7]: /images/20220529/b2274f0603d2434f9c281341869fb047.png
[70 8]: /images/20220529/7e8b99c0e1724c7e9050d872e9e4f322.png
[70 9]: /images/20220529/b1936449612e4864970d0fe157a25589.png
[70 10]: /images/20220529/823e60581c7e4b9c991e3daad13c5a3b.png
[70 11]: /images/20220529/29007fe0aba64c0e95ac0bbc2ecc65af.png
[70 12]: /images/20220529/95e4d1ad3050454fa7dcd8f6c0fe5140.png
[70 13]: /images/20220529/94c77ff160b7448f9bf2ef5765429bee.png
[70 14]: /images/20220529/93a491890f8f49568a2947702654a096.png
[70 15]: /images/20220529/0e729f9c3ce740ec86b6ebe48dea3ca0.png
[70 16]: /images/20220529/ba9c77940f4d49cd8badc2b4571b5404.png
[70 17]: /images/20220529/048e68b4eb9e4009a55f7554d675cabb.png
[70 18]: /images/20220529/5b1102263503475494057a85d152c507.png
[70 19]: /images/20220529/b7d1be81fece4502a9f3790942e6843d.png
[70 20]: /images/20220529/b70ef87907a148029d0633c1a26b11c4.png
[70 21]: /images/20220529/efd7fbabc4ae407fbee6072ad1741393.png
[70 22]: /images/20220529/cba2b014c81546608dcf5f8e8537ee7a.png
[70 23]: /images/20220529/29a38eae836348e4a7fd2bad28aa5196.png
[70 24]: /images/20220529/42a8af776f664140a8c89977faba338e.png
[70 25]: /images/20220529/a95406eaa7ae412e948ba1dbb4b6f32a.png
[Link 2]: https://blog.csdn.net/sdl_ok/article/details/50053973
[70 26]: /images/20220529/350629efb92d4cea9905654d344653fe.png
[Hadoop-2.7.4-win-bin]: https://download.csdn.net/download/u013985664/10369471
[70 27]: /images/20220529/0bbbbf95bf8f4e8a93ec1a7b5e4aefac.png
[70 28]: /images/20220529/e225ef8f5eb6463cb1d7a4eb8dfeb178.png