Hadoop2.7.7集群搭建安装

谁借莪１个温暖的怀抱￠ 2022-04-16 06:56 464阅读 0赞

## 修改主机名称 ##

vim /etc/sysconfig/network

内容：HOSTNAME=master

分别修改其他主机HOSTNAME

## 修改hosts文件 ##

*  vim /etc/hosts
 *  写入mater，slave1，slave2，。。。格式为 ip name 如：192.168.202.10 master  
    ![在这里插入图片描述][20181119091928809.png]
 *  `scp /etc/hosts slave1:/etc/hosts` 将文件分别复制到从机中

## 主从免密登录 ##

*  主节点 通过 ssh-keygen 回车。。。直到生成文件
 *  cd ~/.ssh
 *  写入文件： `cat id_rsa.pub > authorized_keys`
 *  从节点 ssh-keygen生成文件
 *  cd ~/.ssh
 *  cat id\_rsa.pub 将显示出的内容复制到主节点的authorized\_keys中
 *  全部复制完毕后，在主节点的.ssh目录下执行\*\*scp authorized\_keys slave1:~/.ssh/\*\*复制到所有从节点中
 *  **验证** ssh slave1直接进入从机说明操作成功

## Hadoop安装（1.0+和2.0+版本上有很多区别） ##

*  保证Java环境正常
 *  [Hadoop下载地址][Hadoop] 选择稳定发行版，当前选择2.7.7  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNjg4Nzg2Mw_size_16_color_FFFFFF_t_70]
 *  下载上传到CentOS中，tar -zxvf xxxx解压
    
    ### 修改/hadoop-2.7.7/etc/hadoop/hadoop-env.sh ###
    
    将其中的JAVA\_HOME修改为本机JAVA\_HOME路径  
    ![在这里插入图片描述][20181119092008604.png]
    
    ### 修改hadoop/core-site.xml ###
    
    hadoop 安装目录mkdir tmp创建临时文件夹
    
        vim /usr/local/src/hadoop-2.7.7/etc/hadoop/core-site.xml

<property>
                      <name>hadoop.tmp.dir</name>
                      <value>/usr/local/src/hadoop-2.7.7/tmp</value>
              </property>
              <property>
                      <name>fs.defaultFS</name>
                      <value>hdfs://192.168.202.10:9000</value>
              </property>

### 修改hadoop/mapred-site.xml ###

如果没有通过cp复制一份template文件并去掉template

打开mapred-site.xml

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

### 修改hadoop/hdfs-site.xml ###

配置hdfs副本数，默认3

<property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>master:9001</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/src/hadoop-2.7.7/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/src/hadoop-2.7.7/dfs/data</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>

## 修改yarn-site.xml ##

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
            <name>yarn.resourcemanager.address</name>
            <value>master:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>master:8030</value>
        </property>
            <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>master:8035</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>master:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>master:8088</value>
        </property>

mkdir /usr/local/src/hadoop-2.7.7/tmp
    mkdir -p /usr/local/src/hadoop-2.7.7/dfs/name
    mkdir -p /usr/local/src/hadoop-2.7.7/dfs/data

### 配置环境变量 ###

vim ~/.bashrc
    HADOOP_HOME=/usr/local/src/hadoop-2.7.7
    export PATH=$PATH:$HADOOP_HOME/bin

### 复制hadoop到其他从机 ###

`scp -rp xxx slave1:/hadoop` 存放路径

### 禁用CentOS7防火墙 ###

`systemctl stop firewalld.service` 停止防火墙进程

`systemctl disable firewalld.service` 禁止开机启动

**关闭selinux** setenforce 0

### 启动Hadoop ###

第一次启动需要格式化

进入bin目录

格式化 `./hdfs namenode -format`

进入sbin目录

启动 `./start-all.sh`

jps查看主从节点

主节点  
![在这里插入图片描述][20181119092308636.png]  
从节点  
![在这里插入图片描述][20181119092327493.png]

### 检验是否成功 ###

进入bin目录

./hadoop fs -put 任意文件 /

![在这里插入图片描述][20181119092911872.png]  
无报错说明上传成功

./hadoop fs -ls /

![在这里插入图片描述][20181119093034328.png]  
此时应该打印出刚才上传的文件

./hadoop fs -cat /test.txt

查看文件内容是我们上传的  
![在这里插入图片描述][20181119093130289.png]

进入从节点执行查看命令，应该可以看到我们刚才上传的文件

[20181119091928809.png]: /images/20220416/580e992360c441f5860675732703b4e0.png
[Hadoop]: https://hadoop.apache.org/releases.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNjg4Nzg2Mw_size_16_color_FFFFFF_t_70]: /images/20220416/c60f971aeaf5499ca33417e6f0af9be4.png
[20181119092008604.png]: /images/20220416/e835d813f7c845559803c3fbab2fe2d5.png
[20181119092308636.png]: /images/20220416/5e26c8d9087a4781bba99853711958f6.png
[20181119092327493.png]: /images/20220416/da24e29599bd4151a91e3ab511ec4ef9.png
[20181119092911872.png]: /images/20220416/ddc8a2a171b440ae8b2cb057517dc6d0.png
[20181119093034328.png]: /images/20220416/44c6e091619c4d0f848388ca795a0374.png
[20181119093130289.png]: /images/20220416/d0afdca81d67418d8f3cab232d68111f.png