(集群)linux安装Hadoop+Hbase（图文详解版）

我会带着你远行 2023-09-23 21:32 122阅读 0赞

## (集群)linux安装Hadoop+Hbase ##

### 0.前提条件 ###

已经搭建好 hadoop和hbase伪集群。如果没有，参照博主另外一个文章搭建伪集群

### 1、集群规划 ###

主节点：Master
    从节点：slave1  、slave2
    Ip:     
    Master:192.168.10.130       
    slave1:192.168.10.131     
    slave2:192.168.10.131
    
    部署条件：Master已经有了部署hadoop+hbase伪分布。

### 2、修改主机名+IP ###

#### 2.1 修改主机名： ####

不同主机不同名字：`sudo vim /etc/hostname`

#### 2.2 添加从节点ip ####

`sudo vim /etc/hosts`

#三台一样
    192.168.10.130  Master
    192.168.10.131  slave1
    192.168.10.132  slave2

#### 2.3 静态ip ####

这里的静态ip在桌面设置的，也可以在文件设置

#### 2.4 互ping ####

******三台虚拟机上都要这样配置 ，同时重启虚拟机才能使命令生效*************
    2.查看节点相互之间是否能够ping通：
    分别在master 、slave1、slave2上相互使用ping命令 
    Master上：ping  Master -c  3
              ping  slave1 -c   3
    ping  slave2 -c   3
    
    slave1上：ping  Master -c  3
              ping  slave1 -c   3
    ping  slave2 -c   3
    
    slave2上：ping  Master -c  3
              ping  slave1 -c   3
    ping  slave2 -c   3
    因为ping了3次，所以记录数received必须是3

#### 2.5设置免密登录 ####

**以下每个机子上都要弄**

`sudo apt-get install openssh-server`

生成秘钥：
    exit # 退出刚才的 ssh localhost
    cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
    ssh-keygen -t rsa # 会有提示，都按回车就可以
    cat ./id_rsa.pub >> ./authorized_keys # 加入授权

**登录本机**

`ssh localhost`

在 Master 上复制authorized_keys到 slave1 、slave2
    scp authorized_keys slave1:/home/user/.ssh/
    scp authorized_keys slave2:/home/user/.ssh/
    
    如果提示要输入密码，就输入user用户密码
    
    在 slave1 上复制authorized_keys到 Master 、slave2
    scp authorized_keys Master:/home/user/.ssh/
    scp authorized_keys slave2:/home/user/.ssh/
    
    在 slave2 上复制authorized_keys到 Master 、slave1
    scp authorized_keys Master:/home/user/.ssh/
    scp authorized_keys slave1:/home/user/.ssh/

### 3. 修改环境变量 ###

`sudo vim /etc/profile`

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351/
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
    export PATH=$PATH:/usr/local/hadoop/hadoop-3.1.3/sbin:/usr/local/hadoop/hadoop-3.1.3/bin:/usr/local/hbase/hbase-2.2.2/bin

使命令生效: `source /etc/profile`

### 4.修改配置文件 ###

进入

`cd /usr/local/hadoop/hadoop-3.1.3/etc/hadoop`

#### 4.1.修改 core-site.xml ####

`sudo vim core-site.xml`

<configuration>
     <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp</value>
            <description>Abase for other temporary directories.</description>
     </property>
     <property>
            <name>fs.defaultFS</name>
            <value>hdfs://Master:9000</value> #这里与伪集群不一样，伪集群是本机
     </property>
    </configuration>

#### 4.2.修改 hdfs-site.xml ####

`sudo vim hdfs-site.xml`

<configuration>
     <property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>Master:50090</value>
     </property>
     <property>
            <name>dfs.replication</name>
            <value>2</value>
     </property>
     <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/name</value>
     </property>
     <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/data</value>
     </property>
    </configuration>

#### 4.3.修改mapred-site.xml ####

sudo vim mapred-site.xml

<configuration>
     <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
     </property>
     <property>
            <name>mapreduce.jobhistory.address</name>
            <value>Master:10020</value>
     </property>
     <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>Master:19888</value>
     </property>
    </configuration>

#### 4.4.修改slaves（在新版本上是workers） ####

`sudo vim workers`

#### 4.5.修改 yarn-site.xml ####

`sudo vim yarn-site.xml`

<configuration>
     <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>Master</value>
     </property>
     <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
     </property>
    </configuration>

#### 4.6.修改 hadoop-env.sh ####

`sudo vim hadoop-env.sh`

添加自己jdk地址

`export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351`

### 5.将Master主节点下的user用户压缩,用复制拷贝到 slave1,slave2 ###

Master 节点：
     cd  /usr/local
     sudo rm -r ./hadoop/hadoop-3.1.3/tmp     #删除hbase临时文件
     sudo rm -r ./hadoop/hadoop-3.1.3/logs/*   #删除日志文件
     tar -zcf ~/hadoop.master.tar.gz  ./hadoop  #先压缩再复制
    
    复制：
    scp -r hadoop.master.tar.gz user@slave1:/home/user
    scp -r hadoop.master.tar.gz user@slave2:/home/user
    
    slave1  slave2节点上：
    sudo rm -r  /usr/local/hadoop               #如果有删除旧的
    sudo tar -zxvf  ~/hadoop.master.tar.gz  -C /usr/local
    sudo chown -R user:user /usr/local/hadoop      添加权限

#### 6.在Master进行初始化 ####

`./bin/hdfs namenode -format`

![在这里插入图片描述][c24176629eac4cf6815f5213ba668df6.png_pic_center]

#### 7.Master 启动所有节点 ####

`start-all.sh`

**jps检查**

Master

![在这里插入图片描述][480302f144ce497bbc39d58dff691e32.png_pic_center]

slave1

![在这里插入图片描述][66c08bfd7f1e47cdb69e56f681bd212e.png_pic_center]

slave2

![在这里插入图片描述][cd98c19d8a0e4a738841a2f091ccb68b.png_pic_center]

#### 7.1 Web 界面查看 NameNode 和 Datanode 信息 ####

还可以在线查看 HDFS 中的文件

Hadoop2.x 为 http://localhost:50070

Hadoop3.x 已改为http://localhost:9870 http://192.168.10.130:9870

![在这里插入图片描述][f7f673d6c6aa4660a8d8f031ec69cbec.png_pic_center]

#### YARN Web页面 ####

http://local:8088/cluster 远程： http://192.168.10.130:8088/cluster

![在这里插入图片描述][c19204b127494a38b5d4a33b8f7363fd.png_pic_center]

hadoop 关闭：

cd /usr/local/hadoop/hadoop-3.1.3
    ./sbin/start-all.sh

#### 至此hadoop集群首先部署好了!!! ####

### 8.hbase集群的部署： ###

Hbase集群必须要有zookeeper,暂且有两种方式，一种是使用hbase自带的zookeeper，一种是首先安装配置zookeeper的集群，为了简单的学习，这里使用hbase自带的zookeeper，进行hbase集群的简单配置。

配置环境变量：

cd ~
    sudo vim /etc/profile

### 9.配置hbase ###

### 9.1.配置 hbase-env.sh ###

cd /usr/local/hbase/hbase-2.2.2/conf/
    
    sudo vim hbase-env.sh
    
    export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351
    export HBASE_MANAGES_ZK=true

#### 9.2.配置 hbase-site.xml ####

sudo vim hbase-site.xml

<configuration>
     <property>
    	<name>hbase.rootdir</name>
    	<value>hdfs://Master:9000/hbase</value>
     </property>
     <property>
    	<name>hbase.cluster.distributed</name>
    	<value>true</value>
     </property>
     
     <property>
    	<name>hbase.zookeeper.quorum</name>
    	<value>Master,slave1,slave2</value>
     </property>
     <property>
    	<name>hbase.unsafe.stream.capability.enforce</name>
    	<value>false</value>
     </property>
    </configuration>

解释：hbase.rootdir： hbase存放数据目录 （注意与core-site.xml中fs.defaultFS的配置对应，只要是端口号） hbase.cluster.distributed：是否分布式 hbase.zookeeper.quorum：zookeeper集群

#### 9.3.regionservers ####

`sudo vim regionservers`

slave1
    slave2

### 10.压缩传送到从节点： ###

Master 节点：
     cd  /usr/local
     sudo rm -r ./hbase/hbase-2.2.2/tmp     #删除hbase临时文件
     sudo rm -r ./hbase/hbase-2.2.2/logs/*   #删除日志文件
     tar -zcf ~/hbase.master.tar.gz  ./hbase  #先压缩再复制
     
     传输：
     cd ~
    scp -r hbase.master.tar.gz user@slave1:/home/user
    scp -r hbase.master.tar.gz user@slave2:/home/user
     
    slave1  slave2节点上：
    sudo rm -r  /usr/local/hbase               #如果有删除旧的
    sudo tar -zxvf  ~/hbase.master.tar.gz  -C /usr/local
    sudo chown -R user:user /usr/local/hbase      添加权限

### 11.验证: ###

启动hbase首先要启动hadoop集群

hadoop启动：start-all.sh

输入jps看是否启动成功

Hadoop集群节点启动成功后，在Master上进入hbase文件目录

start-hbase.sh

jps截图

Master

![在这里插入图片描述][6bdf69881d5e47c3a55827a0dff0195b.png_pic_center]

slave1

![在这里插入图片描述][1a2d6b50ca8441b28ba0330507802fab.png_pic_center]

slave2

![在这里插入图片描述][35fd25b9bbf4436f8f7e02f53caea647.png_pic_center]

\***hadoop和hbase节点缺一不可！！！！！**

**输入hbse shell进入hbase：**  
`hbase shell`

查看集群状态

shell输入：`status`

![在这里插入图片描述][38159aff765b496f992fbf79065bd978.png_pic_center]

**hbase页面：**

http://192.168.10.130:16010

![在这里插入图片描述][7e488500589a4dfe954a7a4de7ad50c6.png_pic_center]

## 停机： ##

停止hbase节点：

stop-hbase.sh  
先停止hbase再停止hadoop  
停止所有节点：

stop-all.sh

至此hadoop+hbase部署成功！！！！

## 完成啦！！！！ ##

[c24176629eac4cf6815f5213ba668df6.png_pic_center]: https://img-blog.csdnimg.cn/c24176629eac4cf6815f5213ba668df6.png#pic_center
[480302f144ce497bbc39d58dff691e32.png_pic_center]: https://img-blog.csdnimg.cn/480302f144ce497bbc39d58dff691e32.png#pic_center
[66c08bfd7f1e47cdb69e56f681bd212e.png_pic_center]: https://img-blog.csdnimg.cn/66c08bfd7f1e47cdb69e56f681bd212e.png#pic_center
[cd98c19d8a0e4a738841a2f091ccb68b.png_pic_center]: https://img-blog.csdnimg.cn/cd98c19d8a0e4a738841a2f091ccb68b.png#pic_center
[f7f673d6c6aa4660a8d8f031ec69cbec.png_pic_center]: https://img-blog.csdnimg.cn/f7f673d6c6aa4660a8d8f031ec69cbec.png#pic_center
[c19204b127494a38b5d4a33b8f7363fd.png_pic_center]: https://img-blog.csdnimg.cn/c19204b127494a38b5d4a33b8f7363fd.png#pic_center
[6bdf69881d5e47c3a55827a0dff0195b.png_pic_center]: https://img-blog.csdnimg.cn/6bdf69881d5e47c3a55827a0dff0195b.png#pic_center
[1a2d6b50ca8441b28ba0330507802fab.png_pic_center]: https://img-blog.csdnimg.cn/1a2d6b50ca8441b28ba0330507802fab.png#pic_center
[35fd25b9bbf4436f8f7e02f53caea647.png_pic_center]: https://img-blog.csdnimg.cn/35fd25b9bbf4436f8f7e02f53caea647.png#pic_center
[38159aff765b496f992fbf79065bd978.png_pic_center]: https://img-blog.csdnimg.cn/38159aff765b496f992fbf79065bd978.png#pic_center
[7e488500589a4dfe954a7a4de7ad50c6.png_pic_center]: https://img-blog.csdnimg.cn/7e488500589a4dfe954a7a4de7ad50c6.png#pic_center