Hadoop-3.hdfs集群

深碍√TFBOYSˉ_ 2022-04-23 01:24 152阅读 0赞

**目录：**

1.  准备三台主机（01主机、02主机、03主机）
    
    1.  修改mac地址  
        虚拟机-设置-网络适配器-高级-mac地址-生成
    2.  修改主机名  
        执行：hostnamectl set-hostname keduox01/keduox02/keduox03  
        然后执行注销：logout  
        重新登录即可看到已经修改
    3.  修改ip地址  
        ![20190126122605819.png][]
2.  三台主机安装jdk
    
    1.  在01号主机安装jdk，并配置环境变量
    2.  在02号主机安装jdk，并配置环境变量
    3.  在03号主机安装jdk，并配置环境变量
3.  三台主机安装hadoop
    
    1.  在01号主机安装hadoop，并配置环境变量，并配置hdfs（01号主机有三个节点NN、SN、DN）
    2.  在02号主机安装hadoop，并配置环境变量，并配置hdfs（一个DN）
    3.  在03号主机安装hadoop，并配置环境变量，并配置hdfs（一个DN）  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]
    4.  改进：将SN放到02号主机

### **一.三台主机安装jdk** ###

**具体步骤：**

1.  安装jdk,安装在统一的目录下  
    在三台主机下都在根目录下创建keduox目录，执行以下两条命令
    
        [root@keduox01]# cd /
        [root@keduox01]# mkdir keduox
    
      
    可以看到跟目录：  
    ![20190122230906629.png][]
2.  在oracle官网下载jdk，注意是linux版本.tar文件  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]
3.  本地文件上传到linux/keduox/，通过WinSCP软件传送
4.  在虚拟机中解压  
    \[root@keduox01 keduox\]\# tar -zxvf jdk-7u80-linux-x64.tar.gz
5.  配置环境变量  
    可以将jdk压缩文件删除了
    
    1.  第一步：获得jdk绝对路径：进入jdk，执行：pwd  
        得到：  
        ![20190122231331578.png][]
    2.  第二步：进入配置文件：\[root@keduox01 keduox\]\# vi /etc/profile  
        添加：
        
            export JAVA_HOME=/keduox/jdk1.7.0_80
            export PATH=$PATH:$JAVA_HOME/bin
    3.  第三步：让刚刚修改的profile文件生效：  
        \[root@keduox01 jdk1.7.0\_80\]\# source /etc/profile
    4.  第四步：测试  
        \[root@keduox01 jdk1.7.0\_80\]\# javac
6.  将01号的jdk复制到02号的keduox目录下
    
    1.  第一步:将01号的jdk复制到02号的keduox目录下  
        \[root@keduox01 keduox\]\# scp -r jdk1.7.0\_80 root@keduox02:/keduox/  
        解析：-r 如果是文件夹复制需要加-r
    2.  第二步：可以在02中查看/keduox目录下有了jdk
    3.  第三步：在02中配置profile文件：可以将在01号中配置好的profile文件复制过去，如果在02的etc/profile文件已经存在，会将其覆盖  
        命令：scp  /etc/profile root@keduox2:/etc/profile
7.  将01号的jdk复制到03号的keduox目录下
    
    1.  第一步:将01号的jdk复制到03号的keduox目录下  
        \[root@keduox01 keduox\]\# scp -r jdk1.7.0\_80 root@keduox03:/keduox/  
        解析：-r 如果是文件夹复制需要加-r
    2.  第二步：可以在03中查看/keduox目录下有了jdk
    3.  第三步：在03中配置profile文件：可以将在01号中配置好的profile文件复制过去，如果在03的etc/profile文件已经存在，会将其覆盖  
        命令：scp  /etc/profile root@keduox3:/etc/profile

### 二.三台主机安装hadoop： ###

1.  下载hadoop  
    ![20190122212139210.png][]
2.  在01号主机安装hadoop
    
    1.  将下载好的hadoop上传到01号主机的keduox目录下，并解压  
        上传：使用WinSCP软件  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]  
        解压：tar -zxvf hadoop-2.7.3.tar.gz
    2.  配置环境变量，在此文件中：/etc/profile
        
        1.  第一步：获得hadoop的安装的绝对路径  
            进入到hadoop的安装目录  
            执行pwd，即可获得绝对路径
        2.  第二步：打开/etc/profile，并配置  
            vi /etc/profile，在其中添加
            
                export HADOOP_HOME=/keduox/hadoop-2.7.3
                export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
            
            保存退出
        3.  第三步：source /etc/profile 让修改的信息生效
3.  在02号主机安装hadoop  
    可以将01/keduox/hadoop2.7.../doc 先删除
    
    1.  第一步：将01号主机解压好的hadoop复制到02号主机  
        scp -r /keduox/hadoop-2.7.3  root@keduox02:/keduox/
    2.  第二步：将01号主机配置好的profile文件复制到02号主机  
        scp  /etc/profile root@keduox02:/etc/profile
4.  在03号主机安装hadoop（同步骤3）
    
    1.  第一步：将01号主机解压好的hadoop复制到03号主机  
        scp /keduox/hadoop-2.7.3  root@keduox03:/keduox/
    2.  第二步：将01号主机配置好的profile文件复制到03号主机  
        scp  /etc/profile root@keduox03:/etc/profile
5.  让hadoop和jdk关联  
    文件位置：![20190122225818842.png][]
    
    1.  第一步：进入hadoop安装目录下  
        vi /keduox/hadoop-2.7.3/etc/hadoop/hadooop-env.sh  
        修改其中的  
        export JAVA\_HOME=/keduox/jdk1.7.0\_80  
        :wq 保存退出
    2.  第二步：配置统一的入口，还是在hadoop目录下  
        执行命令：vi  /keduox/hadoop-2.7.3/etc/hadoop/core-site.xml，进入修改
        
            <configuration>
                    <property> 
                        <name>fs.defaultFS</name>
                        <value>hdfs://keduox01:9000</value>  
                    </property>    
                    <property> 
                        <name>hadoop.tmp.dir</name>
                        <value>/keduox/hadoopData</value>  
                    </property>
            </configuration>
    3.  第三步：配置有哪些DataNode：修改salves文件，在hadoop安装目录下的etc/hadoop/slaves  
        修改为：  
        ![20190122230043860.png][]  
        保存退出
    4.  将第一步的配置文件复制到02、03号主机
6.  启动dfs
    
    1.  首次启动需要格式在NN进行格式化首次启动需要格式化：在NN主机上进行格式化（只需要在NN上）  
        \[root@keduox01 keduox\]\# hdfs namenode -format
    2.  格式化完成之后，在NN上执行  
        start-dfs.sh  
        注：在NN开启之后，ND都会开启，因为ND由NN管理  
        可以在3台主机下执行 jps，查看进程  
        01号  
        ![20190123111015525.png][]  
        02号  
        ![20190123112228573.png][]  
        03号  
        ![20190123112304170.png][]
7.  测试：通过浏览器访问
    
    1.  第一步：在测试之前需要关闭所有主机的防火墙  
        systemctl stop firewalld（此次关闭防火墙）  
        systemctl disable firewalld（以后都禁用掉，下次开启主机才能生效）
    2.  第二步：在浏览器输入：192.168.200.100:50070即可看到dfs界面  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]
    3.  第三步：可以上传一个文件在上面，将hadoop下载文件上传上去  
        ![20190123111749340.png][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]
8.  完成。

### 三.改进：将SN放到02号主机 ###

**详细步骤：**

1.  先关闭hdfs  
    stop -dfs.sh
2.  下一步：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]  
    ![20190123121241198.png][]
3.  让其生效即可  
    source \[文件\]

###    四.问题：单点故障：NN出现故障怎么解决？   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][] ###

[20190126122605819.png]: /images/20220323/221e0a7ceb2d4e369ced58aef88c3681.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220323/caab524452a5438b92b56b2d7c67613c.png
[20190122230906629.png]: /images/20220323/1c226215a3d04ecf9f414c130cceb50a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220323/512e7348398d4f76a02f73254d6f2efc.png
[20190122231331578.png]: /images/20220323/49be4a76e8cf4a3fbafbbb8c3e4b96e1.png
[20190122212139210.png]: /images/20220323/e722eea8faa0429db8c9d3732fae232e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220323/cbb9f229514c486684c2d7f8886705a0.png
[20190122225818842.png]: /images/20220323/6b8e19a4c6f54d66a8ad295865bc7065.png
[20190122230043860.png]: /images/20220323/73b0ea84452147d985908f313728ab63.png
[20190123111015525.png]: /images/20220323/5d918a569c984c37adc544f062dc3269.png
[20190123112228573.png]: /images/20220323/e9fffd687a844b7e9bea34631ad096fd.png
[20190123112304170.png]: /images/20220323/92f34d9890224cbfac2ffb5b1fac9305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220323/6f7f1101c71b49c882a82d1449a7768d.png
[20190123111749340.png]: /images/20220323/a33b0a128b8241488b19771ad455071e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220323/3f7091cd30ac4b148de351b715739a4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220323/382a3b30bc7a44e5abc3530f91ef5a7f.png
[20190123121241198.png]: /images/20220323/94b03d56026546568c60bbffc4657835.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220323/e051ff9e5c30402184ebc27ee7cb6a21.png