Centos7下的Hadoop伪分布式安装搭建

布满荆棘的人生 2022-05-10 13:33 212阅读 0赞

Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。

### 1、环境准备： ###

1.  虚拟机系统:Centos-7
2.  JDK:JDK1.8.0\_171。
3.  关闭防火墙、配置好机器静态IP。

### 2、下载： ###

[http://hadoop.apache.org/][http_hadoop.apache.org]官网进行下载安装包、自行选择版本下载。但是、大家最好还是下载跟我同一个版本的安装包，这样配置的时候才不会出很多问题。因为不同版本的安装包，Apache可能会修改了某些参数，导致就算你的配置跟我的配置一样，但是还是不能启用。话不多说，这里我选择了hadoop-2.7.1版本下载。

### 3、安装配置: ###

1.  配置主机名:执行以下命令进行打开虚拟机主机名配置文件，进行相应的修改。将文件中原有的主机名删除，添加你自己的主机名。保存并退出。随后重启虚拟机。
    
        vi /etc/hostname
    
    ![20181031144008174.png][]
2.  配置hosts文件:执行以下命令进行打开hosts配置文件，进行修改。在文件最后增加机器的IP地址和刚才配好的主机名。保存并退出。
    
        vi /etc/hosts
    
    ![201810311446520.png][]
3.  生成SSH密钥:执行以下命令，然后一直回车。来生成SSH密钥。生成的密钥文件会存放在/root/.ssh/目录下。前提是你用的root帐号登录并且生成的ssh密钥。
    
        ssh-keygen
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70][]
4.  配置机器免密登录:执行以下命令、将刚才生成好的SSH密钥发送指定的机器上，来实现机器免密登录。
    
        ssh-copy-id root@CSDN01
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 1][]
5.  上传和解压下载好的Hadoop安装包:使用ftp工具将Hadoop安装包上传到/usr/local/目录下、然后使用以下命令解压安装包。
    
        tar -zxvf hadoop-2.7.1_64bit.tar.gz
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 2][]![20181031150937956.png][]
6.  配置hadoop-env.sh文件:这个文件里写的是hadoop的环境变量，主要修改hadoop的JAVA\_HOME和HADOOP\_CONF\_DIR 路径。使用以下命令打开文件进行修改。修改完成后保存退出。
    
        cd hadoop-2.7.1/etc/hadoop/
        vi hadoop-env.sh
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 3][]
7.  修改core-site.xml文件:使用vi core-site.xml打开文件，增加以下配置参数。
    
        <configuration> 
             
            <property> 
                <name>fs.defaultFS</name> 
                <value>hdfs://CSDN01:9000</value> 
            </property> 
             
            <property> 
                <name>hadoop.tmp.dir</name> 
                <value>/usr/local/hadoop-2.7.1/tmp</value> 
            </property> 
         </configuration>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 4][]
8.  修改hdfs-site.xml:使用vi hdfs-site.xml打开文件，增加以下配置参数。
    
        <configuration> 
             
             
            <property> 
                <name>dfs.replication</name> 
                <value>1</value> 
            </property>   
             
            <property> 
                <name>dfs.permissions</name> 
                <value>false</value> 
            </property>   
        </configuration>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 5][]
9.  修改 mapred-site.xml:这个文件初始时是没有的，有的是模板文件，mapred-site.xml.template   
    所以需要拷贝一份，并重命名为 mapred-site.xml 。执行以下命令进行复制。
    
        cp mapred-site.xml.template mapred-site.xml
    
    ![20181031152624937.png][]                                                            复制完成后、使用vi mapred-site.xml打开文件，增加以下配置参数。
    
        <configuration> 
            <property> 
             
                <name>mapreduce.framework.name</name> 
                <value>yarn</value> 
            </property> 
        </configuration>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 6][]
10. 修改 yarn-site.xml:使用vi yarn-site.xml打开文件，增加以下配置参数。
    
        <configuration> 
             
            <property> 
             
                <name>yarn.resourcemanager.hostname</name> 
                <value>CSDN01</value> 
            </property> 
            <property> 
             
                <name>yarn.nodemanager.aux-services</name> 
                <value>mapreduce_shuffle</value> 
            </property> 
        </configuration>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 7][]
11. 配置 slaves 文件:使用vi slaves打开文件，增加以下配置参数。
    
        CSDN01
    
    ![20181031153241966.png][]
12. 配置Hadoop的环境变量:使用vi /etc/profile打开文件，增加以下配置参数。保存退出后，使用source /etc/profile命令来使配置立即生效。
    
        #配置hadoop的环境变量
        export HADOOP_HOME=/usr/local/hadoop-2.7.1
        export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 8][]![20181031154149232.png][]
13. 格式化namenode:使用以下命令进行格式化hadoop的namenode。出现successfully代表成功。
    
        hadoop namenode -format
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 9][]
14. 启动hadoop:使用start-all.sh命令启动hadoop。启动完成后，通过jps命令查看进程节点。如果出现以下六个说明成功启动。![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 10][]
15. 通过浏览器查看和管理hadoop: [http://ip:50070][http_ip_50070]来进行查看hadoop。![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 11][]

到此、Centos7下的Hadoop伪分布式安装搭建就成功完成了。

[http_hadoop.apache.org]: http://hadoop.apache.org/
[20181031144008174.png]: /images/20220505/e2ebd96b894645a2b77ac6b351efa7f5.png
[201810311446520.png]: /images/20220505/aa5ad35593f24fa3a7a7a3a97bd32038.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70]: /images/20220505/e6df67e46a5f4f5c8fb7a749f541032e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 1]: /images/20220505/7d00ea096aa948aaa7580dfaae64e2a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20181031150357973.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3,size_16,color_FFFFFF,t_70
[20181031150937956.png]: /images/20220505/faeeb757cfe14ed7a6fa3c243cbebafe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 3]: /images/20220505/7327cd9fe81141e0bb603907c958b74b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 4]: /images/20220505/ea93af1ad1b6443fbb8f949565b602ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 5]: /images/20220505/ca480240902740239574586f61a66cb6.png
[20181031152624937.png]: /images/20220505/0fb5941ff93440a7ae180d4a148beee4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 6]: /images/20220505/d1e7e019884f4abf8ef1e3e6b15ba2b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 7]: /images/20220505/2afd524fbdab4d9cb9b761029beaa1c5.png
[20181031153241966.png]: /images/20220505/79e80f16f4864cc591f16a997e93803e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20181031154048136.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3,size_16,color_FFFFFF,t_70
[20181031154149232.png]: /images/20220505/659c021e019a43bcb222613fefeaba51.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 9]: /images/20220505/ca67808391a540bcbfe5e77c37c975c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 10]: /images/20220505/7a8a4171160b426bb8937fc4158aac24.png
[http_ip_50070]: http://ip:50070
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 11]: /images/20220505/65ca96403bfe46bda888fd9dd1d5eb17.png