阿里云服务器安装Hadoop

红太狼 2021-03-11 14:15 623阅读 0赞

## 详细讲解 Hadoop2.7.7 安装（单节点） ##

此篇文章只是学习不实用于生产。
安装Hadoop前需要，需要安装java环境。还有ssh免密登录，ssh免密登录可以选择不安装。
如果不安装ssh启动Hadoop的时候需要输入多次密码。

本次用的是centos7.2 + hadoop2.7.7

*  修改主机名称 配置 hosts 文件  
    修改主机名称

> hostname hadoop  
> vi /etc/hosts

![在这里插入图片描述][20181224204829754.png]

*  使用 wget 下载 Hadoop 非常方便  
    复制以下命令下载 可能会有点慢

> wget -r [https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz][https_archive.apache.org_dist_hadoop_core_hadoop-2.7.7_hadoop-2.7.7.tar.gz] ./

*  解压 Hadoop tar -zxf

> tar -zxf hadoop-2.7.7.tar.gz

*  配置四个文件 其中 mapred-site.xml 需要复制一份  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70]
 *  配置 [Hadoop-env.sh][]  
    ![在这里插入图片描述][2018122419485110.png]
 *  配置 core-site.xml
````
    <configuration>
        
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://0.0.0.0:9000</value>
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/root/hadoop/temp</value>
        </property>
    </configuration>
````
 *  配置 hdfs-site.xml
````
    <configuration>
            
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
````
 *  配置 mapred-site.xml
````
    <configuration>
        
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
````
 *  配置 yarn-site.xml
````
    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
````
 *  配置 Hadoop 环境变量  
 修改文件 vi ~/.bashrc  
 ![在这里插入图片描述][20181224203137828.png]  
 重新启动加载配置文件 source ~/.bashrc
 *  启动Hadoop 第一次启动需要格式化

> hdfs namenode -format //格式化命令  
> [start-all.sh][] //启动命令

*  启动之后输入 jps 查看启动程序 以下程序都启动算完成  
    ![在这里插入图片描述][20181224203920813.png]  
    可以输入网址进行查看  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70 2]

[20181224204829754.png]: /images/1615472131391.png
[https_archive.apache.org_dist_hadoop_core_hadoop-2.7.7_hadoop-2.7.7.tar.gz]: https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70]: /images/1615472099713.png
[Hadoop-env.sh]: http://Hadoop-env.sh
[2018122419485110.png]: /images/1615472076212.png
[20181224203137828.png]: /images/1615472050701.png
[start-all.sh]: http://start-all.sh
[20181224203920813.png]: /images/1615472030320.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70 1]: /images/1615472001906.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzg2NTMxMg_size_16_color_FFFFFF_t_70 2]: /images/1615471977407.png