Hadoop集群搭建详细步骤

小咪咪 2022-01-21 02:45 211阅读 0赞

一套大数据视频断断续续都看了三遍了，有半年了，有时候真的看不下去，有时候看的人打瞌睡，有时候几天都不想看

但还是咬着牙看。

最近无意中看了一部电视剧《孔子》，然后又在知乎上了解了下真实的孔子和他的弟子们，内心真鸡冻不已，久久不能平复，所以下定决心一点一点开始搭大数据框架。

子曰：十室之邑，必有忠信如丘者焉，不如丘之好学也

学而不厌，诲人不倦，发奋忘食，乐以忘忧，不知老之将至

建议大家也了解一下真实的孔子，真是天不生夫子，万古如长夜！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70][]

身高一米九，力能扛鼎，精通六艺，身配长剑，讲道理你讲不过，骂你骂不过，打你打不过

见了他，谁又不温良恭俭让呢？

况且老夫子是以理服人（道理或物理）因材施教（各种意义上的）

哈哈，佩服的五体投地

下来开始搭建大数据框架，今天端午节祝大家端午节安康！

![20190607192905800.jpg][]

一、 下载hadoop的jar包并解压

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 1][]

二 、我们可以看一看hadoo的目录

bin:自己的操作命令  
        sbin:系统启动管理的命令  
        etc:配置文件  
        include:c语言头文件  
        lib:本地库  
        share：jar包

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 2][]

三、 修改配置文件 cd etc/hadoop，发现文件超多

我们需要改这几个：

1：hadoop-env.sh  
        vi  hadoop-env.sh  
        \#第27行  
        export JAVA\_HOME=/root/hadoop/tools/jdk/jdk1.8.0\_201

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 3][]

2：core-site.xml

<property>  
            <name>fs.defaultFS</name>  
            <value>hdfs://weekend-1206-01:9000</value>  
        </property>  
          
        <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>  
        </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 4][]

3：hdfs-site.xml     
          
        <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
        </property>  
          
        <property>  
            <name>dfs.secondary.http.address</name>  
            <value>192.168.1.152:50090</value>  
        </property>

可以不配置，用默认值。我没有配置

4：mapred-site.xml (改下名字 mv mapred-site.xml.template mapred-site.xml)  
        mv mapred-site.xml.template mapred-site.xml  
        vi mapred-site.xml  
          
        <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
        </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 5][]

5：yarn-site.xml  
          
        <property>  
            <name>yarn.resourcemanager.hostname</name>  
            <value>weekend-1206-01</value>  
        </property>  
          
        <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce\_shuffle</value>  
        </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 6][]

四、将hadoop添加到环境变量  
      
        vi /etc/proflie  
        export JAVA\_HOME=/usr/java/jdk1.7.0\_65  
        export HADOOP\_HOME=/itcast/hadoop-2.4.1  
        export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

source /etc/profile

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 7][]

五、格式化namenode（是对namenode进行初始化） 命令： hadoop namenode -format

六、拷贝server01的配置到server02、server03、server04上 。(不用改配置文件中的server01,他本来就是其他服务器的                     namenode，其他三台是datanode)

命令：scp -r /root/hadoop/tools/hadoop server02:/root/hadoop/tools/

scp -r /root/hadoop/tools/hadoop server03:/root/hadoop/tools/

scp -r /root/hadoop/tools/hadoop server04:/root/hadoop/tools/

scp -r /etc/profile server02:/etc/profile

scp -r /etc/profile server03:/etc/profile

scp -r /etc/profile server04:/etc/profile

六、启动namenode  命令：hadoop-daemon.sh start namenode

命令：jps

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 8][]

七、在server02、server03、server04上启动hadoop

命令：hadoop-daemon.sh start namenode

命令：jps

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 9][]

八、在实际生产中，集群如果有几百，上千台，不可能一台一台去启动。

我们配置免密登陆

免密登陆

在server01上执行命令：

ssh-keygen

ssh-copy-id server01 (他自己对自己也要免密)

ssh-copy-id server02

ssh-copy-id server03

ssh-copy-id server04

然后在namenode所在的服务器执

命令：start-dfs.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 10][]

九、浏览器输入server01:50070

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 11][]

十、     遇到的坑

1、配置文件，一个字母都不能错，一定要细心

2、namenode只format一次就好了，两次会出问题

3、如果start-all.sh无法启动从节点，那就hadoop-daemon.sh start datanode 启动从节点

问题还没找到，猜想是farmat之后然后scp给其他节点，有影响

我的公众号：java进阶

![20190609113724854.jpg][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70]: /images/20220121/90186f4cf8ed459bac5f396e8a5447be.png
[20190607192905800.jpg]: /images/20220121/0b64f44a2c274ab4a80f53e7da3c5a98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 1]: /images/20220121/536551546591444c902592aead2701a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 2]: /images/20220121/0013ab81d97340db8c27bc7e355d1348.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 3]: /images/20220121/8417feb609c84aad96927c0724a04bae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 4]: /images/20220121/fe3a4932dfa746ffba8f6be5d6eae814.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 5]: /images/20220121/2641f94861704d5ebc7f6d91cd926e8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 6]: /images/20220121/330949b05cbb40608ac97c6e5f966d5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 7]: /images/20220121/04e81c124c7e4fa380ef05e84bdac43c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 8]: /images/20220121/279877892515402d9366bc6f90bdceb5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 9]: /images/20220121/b72cba3f2f114706b74ed411fcc9b75f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 10]: /images/20220121/c0dca8eacf7d4c1eb49decac7a3d0429.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTEyNjg0Mg_size_16_color_FFFFFF_t_70 11]: /images/20220121/82751c102786452daed1db9101be2698.png
[20190609113724854.jpg]: /images/20220121/437ae44408c641428e17057fb7164997.png