Hadoop伪分布式安装步骤

我会带着你远行 2021-12-21 12:57 350阅读 0赞

#                              Hadoop伪分布式安装步骤  #

**目录**

Hadoop伪分布式安装步骤

一.永久关闭防火墙

二.配置主机名

1.编辑network文件：vim /etc/sysconfig/network

2.将HOSTNAME属性改为指定的主机名，

3.让network文件重新生效：source /etc/sysconfig/network

三.配置hosts文件，将主机名和ip地址进行映射

1.编辑hosts文件：vim /etc/hosts

2.将主机名和ip地址对应，

四.配置ssh进行免密互通

1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下：ssh-keygen

2.把生成的公钥拷贝到远程机器上，

五.重启Linux让主机名的修改生效：reboot

六.安装JDK

七.上传或者下载Hadoop安装包到Linux中

八.解压安装包tar -xvf hadoop-2.7.1\_64bit.tar.gz

九.adoop的安装目录的子目录etc/hadoop

十.配置hadoop-env.sh

1.编辑hadoop-env.sh：vim hadoop-env.sh

2.修改JAVA\_HOME的路径，修改成具体的路径。

1. cat /etc/profile   查看所有的配置文件路径

3.修改HADOOP\_CONF\_DIR的路径，修改为具体的路径，

4.保存退出文件

5.重新加载生效：

十一.配置 core-site.xml

1.编辑core-site.xml：vim core-site.xml

2.添加如下内容：

3.保存退出

十二.配置 hdfs-site.xml

1.编辑hdfs-site.xml：

2.添加如下配置：

3.保存退出

十三.配置 mapred-site.xml

1.将mapred-site.xml.template复制为mapred-site.xml

2.编辑mapred-site.xml

3.添加如下配置：

4.保存退出

十四.配置 yarn-site.xml

1.编辑yarn-site.xml

2.添加如下内容：

3.保存退出

十五.配置slaves

1.编辑slaves：vim slaves

2.添加从节点信息，

3.保存退出

4.配置hadoop的环境变量

十六.编辑profile文件：vim /etc/profile

1.添加Hadoop的环境变量，例如：

2.保存退出

3.重新生效：source /etc/profile

4.格式化namenode：hadoop namenode -format

5.启动hadoop：start-all.sh

--------------------

# 一.永久关闭防火墙 #

**已经关闭，忽略**

![20190628113110121.png][]

# 二.配置主机名 #

**需要注意的是Hadoop的集群中的主机名不能有\_。如果存在\_会导致Hadoop集群无法找到这群主机，从而无法启动！**

## **1.编辑network文件：vim /etc/sysconfig/network** ##

![20190628113246251.png][]

## **2.将HOSTNAME属性改为指定的主机名，** ##

![20190628113411319.png][]

## **3.让network文件重新生效：source /etc/sysconfig/network** ##

![20190628113443312.png][]

# 三.配置hosts文件，将主机名和ip地址进行映射 #

## 1.编辑hosts文件：vim /etc/hosts ##

![20190628113554210.png][]

## 2.将主机名和ip地址对应， ##

![20190628113554210.png][]

# 四.配置ssh进行免密互通 #

## 1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下：ssh-keygen ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

## 2.把生成的公钥拷贝到远程机器上， ##

![20190628113919787.png][]

**格式为：ssh-copy-id \[user\]@host，例如：ssh-copy-id root@hadoop01**

# 五.重启Linux让主机名的修改生效：reboot #

![20190628114337913.png][]

# 六.安装JDK #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

# 七.上传或者下载Hadoop安装包到Linux中 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2][]

# **八.解压安装包tar -xvf hadoop-2.7.1\_64bit.tar.gz** #

![20190628123910235.png][]

# 九.adoop的安装目录的子目录etc/hadoop #

配置Hadoop：cd hadoop2.7.1/etc/hadoop

![2019062816255953.png][]

# 十.配置hadoop-env.sh #

## **1.编辑hadoop-env.sh：vim hadoop-env.sh** ##

![20190628162618791.png][]

## **2.修改JAVA\_HOME的路径，修改成具体的路径。** ##

### **1. cat /etc/profile   查看所有的配置文件路径** ###

![20190628162914779.png][]

//**home/presoftware/jdk1.8**

**例如：export JAVA\_HOME=/home/software/jdk1.8**

![20190628163106655.png][]

## **3.修改HADOOP\_CONF\_DIR的路径，修改为具体的路径，** ##

![20190628163255761.png][]

**例如：export HADOOP\_CONF\_DIR=/home/software/hadoop-2.7.1/etc/hadoop**

## **4.保存退出文件** ##

**：wq**

## **5.重新加载生效：** ##

**source hadoop-env.sh**

# 十一.配置 core-site.xml #

## 1.编辑core-site.xml：vim core-site.xml ##

![20190628163507239.png][]

## 2.添加如下内容： ##

<**property**>

<**name**>fs.defaultFS</**name**>

<**value**>hdfs://hadoop01:9000</**value**>

</**property**>

<**property**>

<**name**>hadoop.tmp.dir</**name**>

<**value**>/home/software/hadoop-2.7.1/tmp</**value**>

</**property**>

## 3.保存退出 ##

# 十二.配置 hdfs-site.xml #

## 1.编辑hdfs-site.xml： ##

**vim hdfs-site.xml**

## 2.添加如下配置： ##

<**property**>

<**name**>dfs.replication</**name**>

<**value**>1</**value**>

</**property**>

## 3.保存退出 ##

# 十三.配置 mapred-site.xml #

## 1.将mapred-site.xml.template复制为mapred-site.xml ##

**cp mapred-site.xml.template mapred-site.xml**

## 2.编辑mapred-site.xml ##

**vim mapred-site.xml**

## 3.添加如下配置： ##

<**property**>

<**name**>mapreduce.framework.name</**name**>

<**value**>yarn</**value**>

</**property**>

## 4.保存退出 ##

# 十四.配置 yarn-site.xml #

## 1.编辑yarn-site.xml ##

vim yarn-site.xml

## 2.添加如下内容： ##

<**property**>

<**name**>yarn.resourcemanager.hostname</**name**>

<**value**>hadoop01</**value**>

</**property**>

<**property**>

<**name**>yarn.nodemanager.aux-services</**name**>

<**value**>mapreduce\_shuffle</**value**>

</**property**>

## 3.保存退出 ##

# 十五.配置slaves #

## 1.编辑slaves：vim slaves ##

## 2.添加从节点信息， ##

例如：liuyong

## 3.保存退出 ##

# #

## 4.配置hadoop的环境变量 ##

# 十六.编辑profile文件：vim /etc/profile #

## 1.添加Hadoop的环境变量，例如： ##

在最后一行添加

export HADOOP\_HOME=/home/software/hadoop-2.7.1

export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

## 2.保存退出 ##

## 3.重新生效：source /etc/profile ##

## 4.格式化namenode：hadoop namenode -format  ##

第一次配置需要初始化

## 5.启动hadoop：start-all.sh ##

配置最好手敲，复制遇坑，后果自负

[20190628113110121.png]: /images/20211220/d65094b0ec854c8c923ffe6f3096066a.png
[20190628113246251.png]: /images/20211220/a46acba7b2084f6a8862061cfd371549.png
[20190628113411319.png]: /images/20211220/2f8a1f27eea5436cbc677b8acb77bb63.png
[20190628113443312.png]: /images/20211220/06111b3b91d94cb48893a630fdd41eef.png
[20190628113554210.png]: /images/20211220/bbd3652700e54a3c96e5e1d9eb4564cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211220/45edc9ec3e704f8590854559ef23d325.png
[20190628113919787.png]: /images/20211220/920452c83a9643c485db118f2851b601.png
[20190628114337913.png]: /images/20211220/c74057171d2e4d0c9cafeca514a5c7e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20211220/71a1685e5d854a3fbdbfc7b2874b46ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2]: /images/20211220/e00ae74359974cc0ae7c6b733fb60170.png
[20190628123910235.png]: /images/20211220/9197c45e9638448b815309ac4ee55157.png
[2019062816255953.png]: /images/20211220/671cc8220c884024b2ee056bfb3f9743.png
[20190628162618791.png]: /images/20211220/df43e61c77704a729404d628f1ed3397.png
[20190628162914779.png]: /images/20211220/e75dbdab7b814b588d2442488d215472.png
[20190628163106655.png]: /images/20211220/75c580a278084283b805b62030191f7a.png
[20190628163255761.png]: /images/20211220/10b12ed688fb4988b0f92af57baddbbb.png
[20190628163507239.png]: /images/20211220/338901c805464ab390bb9b845b12db91.png