Hadoop系列(二): Hadoop的完全分布式安装

分手后的思念是犯贱 2022-04-16 04:28 275阅读 0赞

之前，实现了Hadoop的伪分布式安装。现在来讲述一下Hadoop的集群分布，在多个虚拟机上进行安装hadoop并进行集群管理。

首先需要将一个虚拟机作为namenode也就是总的管理节点。另外选择三个虚拟机，作为数据节点datanode进行备份。在选择一个备用的secondary namenode作为namenode的备份。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTY0MTUzMDE1MQ_size_16_color_FFFFFF_t_70][]

现在我将逐步来分析如何进行hadoop的集群安装。

首先我们要安装一个linux虚拟机。然后对这个虚拟机进行一些基础的配置。

## 第一步  启动网卡 ##

安装完成之后进入root用户   
输入命令 ifup ens33启动网卡

## 第二步  环境变量的设置 ##

export JAVA\_HOME=/root/app/jdk1.8.0\_181  
export HADOOP\_HOME=/root/app/hadoop-2.8.4  
export PATH=$JAVA\_HOME/bin:$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin  
export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar

上述的语句添加到 /etc/profile的底部

## 第三步 免密登录的实现 ##

,,在实现与其他虚拟机的免密登录之前，需要将linux进行克隆。我们可以将我们之前安装好的mydb0虚拟机克隆出四个分别命名为mydb1，mydb2，mydb3，mydb4.

接下来需要修改主机名，按照刚才声明的名字依次修改各个主机的hostname(/etc/hostname)。

之后将这几个主机的ip和主机名添加到hosts文件中 。

vi  /etc/hosts

我的是这样的，你们需要根据你们的linux的ip进行添加

192.168.196.136     mydb0  
192.168.196.132     mydb1  
192.168.196.134     mydb2  
192.168.196.135        mydb3  
192.168.196.131        mydb4

之后打开mydb0，进入到root目录中

生成公私密钥  
ssh-keygen -t rsa  
添加公钥到授权key 文件  
cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys  
给授权文件权限  
chmod 600 ~/.ssh/authorized\_keys

之后我们将这个authorized\_keys发送到其他的虚拟机上

首先需要进入到 ~/.ssh目录下。

依次执行以下的命令。

scp  authorized\_keys root@mydb1:~/.ssh

scp  authorized\_keys  root@mydb2:~/.ssh

scp  authorized\_keys  root@mydb3:~/.ssh

scp  authorized\_keys  root@mydb4:~/.ssh

这样免密登录就完成了。

## 第四步 shell文件生成 ##

接下来，为了方便管理和监控其他四个结点的状态。我们可以声明一个shell文件。进入到root用户下的/user/local/bin文件夹下

声明一个xcall文件

粘贴如下的代码

pcount=$#
    
    if((pcount < 1));
    then
     echo no args;
     exit;
    fi
    for((host=4; host >=0; host--)); do
    # echo $pdir/$dataFileName $cuser@xthadoop$host:$pdir
     echo "-------主机：mydb$host execute Result:-----------------"
     ssh mydb$host $@
     echo -e "\n\n\n"
    done

之后需要为它添加权限

chmod 777 /usr/local/bin/xcall 修改权限

，ssh 远程机器 运行的命令只会运行/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin这些目录下的文件。如果想要运行jps ， java这些jdk为我们提供的命令。我们需要将它们链接(link)到这个xcall文件上。

xcall ln -s -f  、/root/app/jdk1.8.0\_181/bin/jps  /usr/local/bin/

这个路径是你的jdk安装的目录。

## 第五步 hadoop配置文件声明 ##

和之前一样，我们在mydb0上安装一个hadoop然后进行解压。对其中的一些文件进行配置

进入到/etc/hadoop文件夹下

在hadoop-env.sh中首先设置jdk的绝对路径

接下来是core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mydb0:9000</value>
    </property>
    
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/app/hadoop-2.8.4/tmp</value>
    </property>

其次是hdfs-site.xml

<property>
     <name>dfs.replication</name>
     <value>3</value>
    </property>
    <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>mydb4:50090</value>
    </property>

这个地方设置的是secondary namenode的位置。这个交给了mydb4进行管理。HDFS的副本数量设置为3，对应mydb1

mydb2 mydb3

之后是mapred-site.xml

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>

之后需要修改的是slaves文件，这个是设置数据节点的文件

之前伪分布式中设置的是localhost，现在需要修改为mydb1   mydb2   mydb3

最后yarn-site.xml文件(资源管理)

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>mydb0</value>
    </property>
    
    <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
    </property>

需要在etc/hadoop/hadoop-env.sh中设置jdk的绝对路径

在etc/hadoop/slave文件中加上你配置的作为datanode的主机的名字

这些设置完毕后，我们的hadoop就算是配置完成了。

## 第六步  hadoop集群搭建 ##

这一步主要是将hadoop安装到其他的linux上。我编写了一个sh文件。

在这个文件里面输入以下内容

scp -r /root/app/hadoop-2.8.4  mydb1:/root/app/

scp -r /root/app/hadoop-2.8.4  mydb2:/root/app/

scp -r /root/app/hadoop-2.8.4  mydb3:/root/app/

scp -r /root/app/hadoop-2.8.4  mydb4:/root/app/

然后执行这个脚本文件。这个复制需要很长时间。

## 第七步  hadoop 的 格式化以及启动 ##

复制完成之后    在mydb0虚拟机上进行hadoop的格式化

hadoop  namenode -format

之后进入到sbin文件夹下启动start-all.sh脚本文件启动所有节点。

启动完成后运行xcall jps命令。如果出现以下情况就算安装成功

在mydb0上显示 namenode resourcemanager启动

在mydb1 , mydb2,mydb3上显示的datanode以及nodemanager启动

在mydb4上显示的是 secondary namenode启动。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTY0MTUzMDE1MQ_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTY0MTUzMDE1MQ_size_16_color_FFFFFF_t_70]: /images/20220416/cbf87a3a11b246db9c25f6e0d6b5a0fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTY0MTUzMDE1MQ_size_16_color_FFFFFF_t_70 1]: /images/20220416/7e8d236c286046778c20778438bde343.png