linux安装hadoop详细步骤（伪分布式）

港控/mmm° 2023-02-20 02:06 161阅读 0赞

今天重装了下hadoop，特在此记录下！

一.准备好hdk和hadoop安装文件，上传到linux

![20200621170211310.png][]

二.安装jdk，我之前博客有专门写过安装jdk步骤，这里就不重复了，有需要的小伙伴可以去翻翻之前的

三.安装hadoop

1.解压hadoop tar -zxvf hadoop文件

2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/etc/hadoop

第一个：**hadoop-env.sh**  
        vim hadoop-env.sh  
        export JAVA\_HOME=/usr/wangjian/software/jdk/jdk1.8.0\_241

第二个：**core-site.xml**

<property>  
            <name>fs.defaultFS</name>  
            <value>hdfs://wangjian:9000</value>  
        </property>  
          
        <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/usr/wangjian/software/hadoop/hadoop-2.10.0/data</value>  
    </property>

第三个：**hdfs-site.xml**    
          
        <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
       </property>

第四个：**mapred-site.xml** (mv mapred-site.xml.template mapred-site.xml)  
        mv mapred-site.xml.template mapred-site.xml  
        vim mapred-site.xml  
          
        <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
    </property>

第五个：**yarn-site.xml**  
          
        <property>  
            <name>yarn.resourcemanager.hostname</name>  
            <value>wangjian</value>  
    </property>  
          
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce\_shuffle</value>  
     </property>

3.将hadoop添加到环境变量

![20200621181842297.png][]

4.格式化namenode（是对namenode进行初始化）

hadoop namenode -format

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70][]

5.启动hadoop     cd /usr/wangjian/software/hadoop/hadoop-2.10.0/sbin  
        先启动HDFS  
        sbin/start-dfs.sh  
        需要输入几次登录密码

jps查看启动程序

![20200621182456217.png][]  
        再启动YARN  
        sbin/start-yarn.sh

输入密码

6.验证是否启动

jps

![20200621182745655.png][]

在浏览器输入地址http://192.168.36.239:50070 （HDFS管理界面）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70 1][]

http://192.168.36.129:8088 （MR管理界面）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70 2][]

[20200621170211310.png]: https://img-blog.csdnimg.cn/20200621170211310.png
[20200621181842297.png]: https://img-blog.csdnimg.cn/20200621181842297.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200621182029750.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz,size_16,color_FFFFFF,t_70
[20200621182456217.png]: https://img-blog.csdnimg.cn/20200621182456217.png
[20200621182745655.png]: https://img-blog.csdnimg.cn/20200621182745655.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200621182939968.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200621183014473.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDk2MzAz,size_16,color_FFFFFF,t_70