Hadoop完全伪分布式搭建

怼烎@ 2022-06-10 05:12 264阅读 0赞

(比较简单在这里就不逐步截图了)  
Hadoop单机以及伪分布式和完全分布式的环境搭建详细步骤  
一、首先确保网络,确保虚拟机能ping通本机电脑。  
以下为IP配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

添加以下内容：（有则修改）

IPADDR=192.168.1.163
    NETMASK=255.255.255.0
    GATEWAY=192.168.1.1
    ONBOOT=yes
    NM_CONTROLLED=yes
    BOOTPROTO=static

注意：1、配置完成后使用命令 service network restart（让ip配置生效）  
2、使用命令service iptables stop 关闭防火墙  
二、配置yum（每台机器单独配置）  
由于有些系统安装时未安装SSH，导致不能无密登陆对方主机，需做一下操作。以下为安装过程。

vi /etc/yum.repos.d/rhel-source.repo

[Base]
    name=base
    baseurl=file:///mnt/Server
    enabled=1
    gpgcheck=0
    gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

注意：在打开文件的时候gpgkey字段已经存在，千万不要修改。且Centos与红帽系统的linux的repo配置有所不同。

使用命令mount /dev/cdrom /mnt（挂在光盘）

mount: block device /dev/xvdd is write-protected, mounting read-only（以上命令系统显示内容）

安装openssh

[root@instsvr1 Packages]# rpm -ivh ftp*
        yum install openssh*    安装openssh的所有文件（为了能够无秘登陆）

如果没有iso安装光盘，需单独下载ftp\*及openssh\*文件。且文件的结尾是rpm文件。  
三.搭建环境准备完毕，Hadoop（HA）集群的搭建

3.1 集群内配置域名解析，配置好后能达到ping mast2或ping mast3能到达对方主机，配置详细

vi /etc/hosts

192.168.1.246    master

且需修改本主机名：（每个主机名要根据对应的IP地址修改HOSTNAME）

vi /etc/sysconfig/network

NETWORKING=yes
    HOSTNAME=master

3.2 配置ntp时间同步（确保所有主机时间一致，每台都用相同的配置）  
安装yum install ntp\* -y ntp服务(纯净的Linux使没有安装这些服务的)

[root@mast1 ~]# vi /etc/ntp.conf 
    server 192.168.1.246

让修改时间生效：

[root@mast1 ~]# /etc/init.d/ntpd restart 
    Starting ntpd:                                             [  OK  ]

让同步时间开机启动：

[root@mast1 ~]# chkconfig ntpd on

查看ntpd的list

[root@mast1 ~]# chkconfig --list ntpd 
    ntpd     0:off 1:off 2:on 3:on 4:on 5:on 6:off

3.3 配置SSH免密码登录  
生成秘钥：（直接四步回车）

[root@mast1 ~]$ ssh-keygen -t rsa

Generating public/private rsa key pair. 
    Enter file in which to save the key (/home/grid/.ssh/id_rsa):  
    Created directory '/home/grid/.ssh'. 
    Enter passphrase (empty for no passphrase):  
    Enter same passphrase again:  
    Your identification has been saved in /home/grid/.ssh/id_rsa. 
    Your public key has been saved in /home/grid/.ssh/id_rsa.pub. 
    The key fingerprint is: 
    d1:9d:45:e6:7c:a8:b0:8f:4d:f0:70:a5:14:b5:d6:e5 grid@dehadp01 
    The key's randomart image is: 
    +--[ RSA 2048]----+ 
    |            o+* .| 
    |         . o O =.| 
    |        . = = * E| 
    |         . B o . | 
    |        S . +    | 
    |           =     | 
    |          . o    | 
    |                 | 
    |                 | 
    +-----------------+

配置秘钥完成后，把公钥发送到所有的对方主机。

[root@mast1 ~]$ ssh-copy-id -i /root/.ssh/id_rsa.pub master

完成后用：ssh+主机名验证是否可以直接登录，不提示输入密码。

3.4 安装jdk  
安装jdk,配置环境变量，版本不要太低，最好用JDK.1.7.0以后的产品。

[root@mast1 ~]# tar zxvf jdk.1.7.tar.gz -C /usr/

配置环境变量：（以下包含了JDK、hadoop、sqoop、flume的home路径）

[root@mast1 ~]$ vi .bash_profile  
    export JAVA_HOME=/usr/jdk1.7.0_25
    export PATH=$PATH:$JAVA_HOME/bin:

1.伪分布式基本运行环境与单机环境一致  
2.Hadoop 伪分布式需要修改配置文件 core-site.xml 和 hdfs-site.xml 等。  
(1)cd Hadoop安装路径/etc/hadoop 然后 ls  
(2)需要编辑的文件有 hadoop-env.sh core-site.xml  
hdfs-site.xml （mapred-site.xml.template）  
yarn-site.xml slaves  
(3) vi hadoop-env.sh 把java环境写成绝对路径，以免没有配置JAVA\_HOME的时候，找不到jdk  
(4)配置core-site.xml 配置Common组件的属性

<configuration>
    <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:///usr/hadoop/hadoop-2.6.0/tmp</value> 
            </property>
            <property>
                 <name>fs.defaultFS</name> 
                 <value>hdfs://master:9000</value>
            </property>
    <property>
         <name>fs.checkpoint.period</name> 
         <value>3600</value>
    </property>
    </configuration>

(5)配置 hdfs-site.xml

<configuration>
    <property>
                 <name>dfs.replication</name> 
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name> 
                 <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/data</value>
            </property>
    </configuration>

(6)配置文件 mapred-site.xml(需要先将原本的文件mapred-site.xml.template cp mapred-site.xml，然后更改mapred-site.xml即可 )

<configuration>
     <property>
     <name>mapreduce.framework.name</name>
      <value>yarn</value>
      </property>
       </configuration>

(7)接着修改配置文件 yarn-site.xml

<configuration>
                <property>
                     <name>yarn.nodemanager.aux-services</name>
                     <value>mapreduce_shuffle</value>
                    </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
          </property> 
    <property>    
       <name>yarn.log-aggregation-enable</name> 
     <value>true</value>    
    </property>     
    </configuration>

3.配置完成后  
(1)执行Namenode的格式化操作

bin/hdfs namenode -format

(2)开启 NameNode 和 DataNode 守护进程

sbin/start-dfs.sh

(3)开启yarn运算框架`sbin/start-yarn.sh`  
出现jps SecondaryNamenode DataNode Namenode ResourceManager NodeManager 说明启动yarn运算框架成功  
(4)成功启动后，可以访问 Web 界面 [http://master:50070][http_master_50070] 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。  
(5)启动 YARN 可以通过 Web 界面查看任务的运行情况：[http://localhost:8088/][http_localhost_8088]查看

[http_master_50070]: http://master:50070
[http_localhost_8088]: http://localhost:8088/