（转载）Hadoop配置部署

深藏阁楼爱情的钟 2022-04-24 12:28 236阅读 0赞

**Hadoop****配置部署**

每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。

下面所有的操作都使用waibao用户，切换waibao用户的命令是：

su  waibao

密码是：waibao

将软件包中的Hadoop生态系统包复制到相应waibao用户的主目录下（直接拖拽方式即可拷贝）

**3.3.1 Hadoop****安装包解压**

进入Hadoop软件包，命令如下：

cd /home/waibao/resources/

复制并解压Hadoop安装包命令如下：

cp hadoop-2.5.2.tar.gz  ~/

tar -xvf hadoop-2.5.2.tar.gz

mv hadoop-2.5.2  hadoop

cd hadoop

ls -l看到如下图的内容，表示解压成功：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70][]

**3.3.2****配置环境变量****hadoop-env.sh**

环境变量文件中，只需要配置JDK的路径。

vi etc/hadoop/hadoop-env.sh

在文件的靠前的部分找到下面的一行代码：

export JAVA\_HOME=$\{JAVA\_HOME\}

将这行代码修改为下面的代码：

export JAVA\_HOME=/usr/java/jdk7

然后保存文件。

**3.3.3****配置环境变量****yarn-env.sh**

环境变量文件中，只需要配置JDK的路径。

vi etc/hadoop/yarn\-env.sh

在文件的靠前的部分找到下面的一行代码：

\# export JAVA\_HOME=/home/y/libexec/jdk1.6.0/

将这行代码修改为下面的代码（将\#号去掉）：

export JAVA\_HOME=/usr/java/jdk7

然后保存文件。

**3.3.4****配置核心组件****core-site.xml**

vi etc/hadoop/core-site.xml

用下面的代码替换core-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/waibao/hadoopdata</value>

</property>

</configuration>

**3.3.5****配置文件系统****hdfs-site.xml**

vi etc/hadoop/hdfs-site.xml

用下面的代码替换hdfs-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>dfs.replication</name>

</property>

</configuration>

**3.3.6****配置文件系统****yarn-site.xml**

vi  etc/hadoop/yarn-site.xml

用下面的代码替换yarn-site.xml中的内容：

<?xml version="1.0"?>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

</configuration>

**3.3.7****配置计算框架****mapred-site.xml**

复制mapred-site-template.xml文件：

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vi  etc/hadoop/mapred-site.xml

用下面的代码替换mapred-site.xml中的内容

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>mapreduce.framework.name</name>

</property>

</configuration>

**3.3.8** **在****master****节点配置****slaves****文件**

vi etc/hadoop/slaves

用下面的代码替换slaves中的内容：

slave01

slave02

slave03

**3.3.9** **复制到从节点**

使用下面的命令将已经配置完成的Hadoop复制到从节点Slave上：

scp -r hadoop  slave01:~/

scp -r hadoop  slave02:~/

scp -r hadoop  slave03:~/

注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。

**3.4** **启动****Hadoop****集群**

下面所有的操作都使用waibao用户，切换waibao用户的命令是：

su  waibao

密码是：waibao

**3.4.1** **配置****Hadoop****启动的系统环境变量**

该节的配置需要同时在所有主从节点（Master和各Slave）上进行操作，操作命令如下：

vi  ~/.bash\_profile

将下面的代码追加到.bash\_profile末尾：

\#HADOOP

export HADOOP\_HOME=/home/waibao/hadoop

export PATH=$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$PATH

然后执行命令：

source .bash\_profile

**3.4.2** **创建数据目录**

该节的配置需要同时在所有主从节点（master和各Slave）上进行操作。

在外包的用户主目录下，创建数据目录，命令如下：

mkdir  /home/waibao/hadoopdata

**3.4.3****启动****Hadoop****集群**

**1****、格式化文件系统**

格式化命令如下，该操作需要在Master节点上执行：

hdfs namenode \-format

如果出现Exception/Error，表示出问题

**2**、启动**Hadoop**

使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：

cd  ~/hadoop

sbin/start\-all.sh

执行命令后，提示出入yes/no时，输入yes。

**3****、查看进程是否启动**

在Master的终端执行jps命令，在打印结果中会看到4个进程，分别是ResourceManager、Jps、NameNode和SecondaryNameNode，如下图所示。如果出现了这4个进程表示主节点进程启动成功。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 1][]

在各个slave的终端执行jps命令，在打印结果中会看到3个进程，分别是NodeManager、DataNode和Jps，如下图所示。如果出现了这3个进程表示从节点进程启动成功。

![20190425100353258.png][]

**4**、**Web UI**查看集群是否成功启动

在Master上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:50070/，检查namenode 和datanode 是否正常。UI页面如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 2][]

在Master上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:18088/，检查Yarn是否正常，页面如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 3][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70]: /images/20220215/a56c81b9ce17488c80f5db2350955bbf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 1]: /images/20220215/5a51fdf05f294f40a254d39eefcb60b5.png
[20190425100353258.png]: /images/20220215/2461b27d7b7b4f2c85fdeb889b4fb5e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 2]: /images/20220215/8b7ac7b44e8440388d61593d0316922b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70 3]: /images/20220215/9d97a3ec04e145c185cc9f32b22199bd.png