大数据技术之Hadoop入门（第三篇）伪分布式和完全分布式的搭建

淡淡的烟草味﹌ 2021-12-09 07:23 193阅读 0赞

继Hadoop入门第二篇之后，今天我们进行一下Hadoop运行环境的搭建

三、Hdoop运行环境搭建  
1. 首先要虚拟机搭建  
在创建Hadoop运行环境前我们先要有一台Linux，所以打开虚拟机创建一台Linux。  
这里我选择了大小不到400M的CentOS-6.5-x86\_64-minimal

2、 设置虚拟机网络模式

2.1 查看自己的网络IP子网掩码等信息

这里我们主要更改三个主要文件就好  
第一个就是 /etc/hosts 配置网络映射  
\[root&node1 ~\]\# vi /etc/hosts  
1  
在这里面最后面追加上你的网络地址，以及主机名。192.168.\*\*\*.\*\*\* node1

第二个就是 /etc/sysconfig/network 配置主机名  
\[root&node1 ~\]\# vi /etc/sysconfig/network  
1  
HOSTNAME=node1

第三个就是 /etc/sysconfig/network-scripts/ifcfg-eth0  
\[root&node1 ~\]\# vi /etc/sysconfig/network-scripts/ifcfg-eth0  
1  
首先  
把里面 BOOTPROTO=dhcp  
改为 BOOTPROTO=static  
把里面 ONBOOT=no  
改为 ONBOOT=yes  
其次  
追加下面的信息  
IPADDR=这里写入你的IP地址  
GATEWAY=这里输入你的网关IP  
NETMASK=这里输入你的子网掩码  
DNS1=这里输入你的网关IP  
DNS2=8.8.8.8（或者114.114.114.114）  
最后  
将你的防火墙关闭然后为了方便起见最好永久关闭。

service iptables stop  
1  
chkconfig iptables off  
1  
然后reboot重启下和或者重启下网卡 ping一下 查看网络是否畅通。  
3、伪分布式搭建  
要求：一台正常的虚拟机，默认关闭防火墙，网络正常，配置计算机名称  
首先要上传jdk包和hadoop的包

1）使用命令rz-----yum install lrzsz -y

\[root@node01 opt\]\# rz 选择要上传的jdk和hadoop包

2）上传完成之后解压 tar -zxvf jdk

3）配置环境变量

\[root@node01 opt\]\#vi /etc/profile  
1  
然后把里面的JAVA\_HOME更改一下然后追加一个path

export JAVA\_HOME=$\{JAVA-HOME\} 改为export JAVA\_HOME=jdk路径  
export PATH=$PATH:$JAVA\_HOME/bin

修改完成之后记得生效一下文件然后查看下是否安装成功

\[root@node01 ~\]\# source /etc/profile  
\[root@node01 ~\]\# java -version  
1  
2  
这样JDK就安装完成了  
下面安装Hadoop包  
同上，上传完成之后进行解压

tar -zxvf hadoop-2.6.5.tar.gz  
1  
这里需要知道下

bin—系统的操作命令（文件的增删改查）  
sbin–系统的管理命令（集群的启动、关闭）  
然后进入 etc/hadoop下面进行配置文件的更改  
\[root@node01 hadoop-2.6.5\]\# cd etc/hadoop/  
1  
\*\*切记这里etc前面不要加 / \*\*

下面进行配置信息的修改  
1、slaves—节点（DN）

\[root@node01 hadoop\] vi slaves  
1  
里面写成你的地址后跟主机名  
2、hdfs-site.xml

\[root@node01 hadoop\] vi hdfs-site.xml  
1  
    <property>  
            <name>dfs.replication</name>     //设置备份个数  
            <value>1</value>  
        </property>  
        <property>       
            <name>dfs.namenode.secondary.http-address</name>  
            //这是secondaryNamenode  
            <value>node01:50090</value>  
        </property>  
  
3、core-site.xml

<property>  
            <name>fs.defaultFS</name>            //namenode  
            <value>hdfs://node01:9000</value>      
        </property>  
        <property>  
            <name>hadoop.tmp.dir</name>          //namenode启动后产生的信息  
            <value>/var/abc/hadoop/local</value>  
        </property>

把 \*-env.sh的文件内部所有的java路径改为绝对路径

格式化  
进入到 etc下的bin目录然后进行格式化，使文件生效

\[root@node01 bin\]\# ./hdfs namenode -format-----让所有文件生效  
1  
免密登录  
下面为了方便节点之间沟通和传输文件我们配置下免密登录  
(1)配置免密登录 node01->node01  
运行下面这个命令然后一路回车，这一步是为了得到节点的私钥和公钥

ssh-keygen -t rsa

然后运行下面的这条命令来登陆下到其他节点上来验证成功，由于是伪分布式所以我登录的是我的node01节点

ssh-copy-id -i ~/.ssh/id\_rsa.pub root@node01

启动操作  
启动操作之前要做一个格式化，格式化是为了让所有文件生效。  
进入hadoop下的bin目录然后进行格式化，格式化之后进入sbin目录启动

\[root@node01 ~\]\# cd /opt/software/hadoop-2.6.5/bin  
\[root@node01 bin\]\# ./hdfs namenode -format  
\[root@node01 sbin\]\# ./start-dfs.sh

最后在网页上查看  
输入你的IP地址：50070  
然后页面进行跳转到下面图片这样之后即为成功。

为了方便起见我们可以配置环境变量

export JAVA\_HOME=/opt/software/jdk1.8.0\_121 export  
PATH=$PATH:$JAVA\_HOME/bin  
配置完信息后记得source下 /etc/profile，是我们的profile文件生效  
这样我们就可以在任何位置启动我们的伪分布式了

\[root@node01 ~\] start-dfs.sh  
1  
4、完全分布式搭建  
完全分布式的搭建和伪分布式的搭建相似

4.1首先是虚拟机的准备  
可以克隆上文中搭建好的伪分布式虚拟机。  
4.2 主机名设置  
打开 /etc/hosts  
vim /etc/hosts  
1  
4.3 创建一个主节点  
主节点的创建类似伪分布式的创建，所以可以仿照伪分布式来创建。  
4.4修改配置文件信息  
可以按照伪分布式的搭建进行搭建hadoop中 etc的配置文件  
1、slaves---节点（DN）  
配置多个节点的网络映射  
    192.168.79.\*\*\*  node01  
    192.168.79.\*\*\*  node02  
    192.168.79.\*\*\*  node03  
    192.168.79.\*\*\*  node04  
2、hdfs-site.xml  
        <property>  
            <name>dfs.replication</name>     //设置备份个数  
            <value>3</value>  //注意要小于节点数  
        </property>  
        <property>       
            <name>dfs.namenode.secondary.http-address</name>  
            //这是secondaryNamenode  
            <value>node02:50090</value>  
            //设置第二个节点为副节点SecondaryNameNode  
        </property>  
3、core-site.xml  
        <property>  
            <name>fs.defaultFS</name>            //namenode  
            <value>hdfs://node01:9000</value>      
        </property>  
        <property>  
            <name>hadoop.tmp.dir</name>          //namenode启动后产生的信息  
            <value>/var/abc/hadoop/local/cluster</value>  
        </property>  
4、把\*-env.sh的文件内部所有的java路径改为绝对路径  
  
4.5 SSH无密登录  
每一个节点运行下面代码，生成节点的公私钥。  
ssh-keygen -t rsa  
1  
然后将公钥拷贝到要免密登录的目标机器上  
ssh-copy-id -i ~/.ssh/id\_rsa.pub root@node02  
ssh-copy-id -i ~/.ssh/id\_rsa.pub root@node03  
ssh-copy-id -i ~/.ssh/id\_rsa.pub root@node04

4.6 scp  
1)scp可以实现服务器与服务器之间的数据拷贝。  
2）将node01服务器上的/etc/profile文件拷贝到node02、node03和node04上。  
3）将node01中/opt/software/目录拷贝到node02的/opt目录上。  
这样的话就将主节点上的配置信息一并发送给了其他节点，这样其他节点就不用在配置配置信息了。  
scp -r hadoop-cluster root@node02:/opt/software  
1  
最后环节  
1）格式化，让配置文件生效  
可以参考伪分布式的格式化  
2）为了方便起见我们可以配置环境变量

export JAVA\_HOME=/opt/software/jdk1.8.0\_121 export  
PATH=$PATH:$JAVA\_HOME/bin

3)启动集群  
配置完信息后记得source下 /etc/profile，是我们的profile文件生效  
这样我们就可以在任何位置启动我们的完全分布式了  
4）检测是否成功  
使用我们的主节点ip：50070  
页面进行跳转到下面图片这样之后即为成功。

以上就是伪分布式和完全分布式的搭建  
\---------------------   
作者：夜、那么美จุ๊บ   
来源：CSDN   
原文：https://blog.csdn.net/adamaaron/article/details/91542948   
版权声明：本文为博主原创文章，转载请附上博文链接！