Linux(CentOS7)下Hadoop的安装与使用

悠悠 2021-12-17 13:53 390阅读 0赞

## 一、安装文件准备 ##

这里我使用的是hadoop-2.6.0.tar.gz这个版本，可以直接到下面网盘里下载使用

链接: [https://pan.baidu.com/s/1tj26EGUBnpTZnbA0qkb77Q][https_pan.baidu.com_s_1tj26EGUBnpTZnbA0qkb77Q] 提取码: sepa

## 二、修改主机名为master ##

### 2.1 这里为了后面使用方便，先将主机名改为master： ###

vim /etc/hostname

![20190702224155165.png][]

### 2.2 修改hosts文件，下面加一行master的配置 ###

vim /etc/hosts

![20190702224307472.png][]

### 2.3 使配置生效 ###

hostname master

su root

### 2.4 设置免密性 ###

ssh-keygen -s -t rsa

然后一路回车，再执行下面这个命令：

ssh-copy-id master

根据提示，输入“yes”，再输入用户的密码。最后执行下面这个命令：

ssh master

## 三、安装hadoop ##

### 3.1 解压Hadoop ###

首先使用xftp等类似工具把hadoop-2.6.0.tar.gz文件传到主机，解压文件

tar -axvf hadoop-2.6.0.tar.gz

然后移动到/usr/local下：

mv hadoop-2.6.0 /usr/local/hadoop

### 3.2 配置hadoop-env.sh文件 ###

首先进入进入/usr/local/hadoop/etc/hadoop/ 路径下：

cd /usr/local/hadoop/etc/hadoop/

这里主要把jdk路径配置上，下图25行（jdk请自行安装），然后注释掉31行

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70][]

### 3.3 配置core-site.xml文件 ###

<property>
      <name>fs.default.name</name>
      <value>hdfs://master:9000</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
     </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 1][]

### 3.4 配置hdfs-site.xml文件 ###

<property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 2][]

### 3.5 配置mapred-site.xml文件 ###

首先复制mapred-site.xml.template文件得到mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml

然后配置mapred-site.xml：

<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master:10020</value>
    </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 3][]

### 3.6 配置yarn-site.xml文件 ###

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
      </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
      </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 4][]

### 3.7 配置环境变量 ###

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 5][]

使环境变量生效

source /etc/profile

### 3.8 格式化一下hadoop ###

hadoop namenode -format

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 6][]

出现上图，表示执行成功，至此hadoop已安装完成。

## 四、Hadoop的启动与关闭 ##

### 4.1 启动Hadoop ###

start-dfs.sh 
    start-yarn.sh

或者直接

./start-all.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 7][]

出现上图表示启动成功，可以浏览器验证下：

http://192.168.77.129:50070

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 8][]

http://192.168.77.129:8088

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 9][]

### 4.2 关闭Hadoop ###

./stop-all.sh

**注意：**

1、如果页面不能正常访问，检查是否开启了防火墙而没有放开50070和8088端口

关于防火墙放开端口操作参考我的一篇博客：[Linux(CentOS7) 关闭防火墙、放开端口以及关闭Selinux][Linux_CentOS7_ _Selinux]

2、JDK安装可以参考我的另一篇博客：[ CentOS7.4 安装 JDK（npm 方式安装）][CentOS7.4 _ JDK_npm]

[https_pan.baidu.com_s_1tj26EGUBnpTZnbA0qkb77Q]: https://pan.baidu.com/s/1tj26EGUBnpTZnbA0qkb77Q
[20190702224155165.png]: /images/20211217/701698f1804d48b2a6dc1f7274b1fab2.png
[20190702224307472.png]: /images/20211217/6769aa28ffe74eca93b45b8fd8d7fdf6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70]: /images/20211217/570b4c63d7a44fe08d6b604aa12f0db4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 1]: /images/20211217/b6b1354a3d08456bad80ad13a23f725c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 2]: /images/20211217/c448abe1f38e4fcaae2d12fc72335e33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 3]: /images/20211217/ae8433578e804fb4bd6083930a3a3249.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 4]: /images/20211217/ca3202de72f34ddcb198daf5640b7e29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 5]: /images/20211217/e2595c6541aa47deb499d66b88023315.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 6]: /images/20211217/15f48b790429429a9c1021aa5bf9805b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 7]: /images/20211217/f3d3e45432a741a086f91dd8a5832dc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 8]: /images/20211217/5400d041fe95444197b56a7c2ca5fe75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podWltZW5nX2J5_size_16_color_FFFFFF_t_70 9]: /images/20211217/73753b78191a41eca8f71818ca58efad.png
[Linux_CentOS7_ _Selinux]: https://blog.csdn.net/zhuimeng_by/article/details/94381912
[CentOS7.4 _ JDK_npm]: https://blog.csdn.net/zhuimeng_by/article/details/83653940