HBASE_API的应用

待我称王封你为后i 2022-01-28 10:25 224阅读 0赞

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="width:54.6pt;"> 实验 目的 要求 </td> 
 <td style="width:436.05pt;"> 目的： 
 <ol> 
 <li>掌握HBase编程；</li> 
 <li>搭建HBase编程环境；</li> 
 <li>配置Myeclipse引入对应的jar包；</li> 
 </ol></td> 
 </tr> 
 <tr> 
 <td style="width:54.6pt;"> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 实 验 环 境 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </td> 
 <td style="width:436.05pt;"> 
 <ol> 
 <li>Java jdk 1.8；</li> 
 <li>apache-maven-3.6.0；</li> 
 <li>Myeclipse C10；</li> 
 <li>Hadoop集群；</li> 
 <li>已配置Hbase；</li> 
 <li>具体规划：</li> 
 </ol> 
 <table style="margin-left:6.75pt;width:512px;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#4472c4;width:100.7pt;"> 主机名 </td> 
 <td style="width:127.3pt;"> IP地址 </td> 
 <td style="border-color:#4472c4;width:156.2pt;"> 服务描述 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:100.7pt;"> Cluster-01 </td> 
 <td style="width:127.3pt;"> 192.168.10.111 </td> 
 <td style="width:156.2pt;"> Hbase主控节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;vertical-align:top;width:100.7pt;"> Cluster-02 </td> 
 <td style="vertical-align:top;width:127.3pt;"> 192.168.10.112 </td> 
 <td style="vertical-align:top;width:156.2pt;"> Hbase备用主控节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:100.7pt;"> Cluster-03 </td> 
 <td style="width:127.3pt;"> 192.168.10.113 </td> 
 <td style="width:156.2pt;"> Hbase Region服务 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;vertical-align:top;width:100.7pt;"> Cluster-04 </td> 
 <td style="vertical-align:top;width:127.3pt;"> 192.168.10.114 </td> 
 <td style="vertical-align:top;width:156.2pt;"> Hbase Region服务 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:100.7pt;"> Cluster-05 </td> 
 <td style="width:127.3pt;"> 192.168.10.115 </td> 
 <td style="width:156.2pt;"> Hbase Region服务 </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; </td> 
 </tr> 
 </tbody> 
</table>

# 练习内容 #

## **任务一：编写HBaseTest.java，完成与数据库的连接、创建表、修改表、查看表结构等，并进行验证；** ##

1、创建普通java项目，并导入需要的jar包；

![20190523225802880.jpeg][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70][]

2、修改Windows下的host文件；

![20190523225802895.jpeg][]

3、连接并查看数据库中的表；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1][]

4、创建表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2][]

5、进行修改表操作

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3][]

6、查看表结构；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4][]

7、编写主类main方法；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5][]

8、结果验证；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6][]

## **任务二：****使用Put方法进行操作，并验证；** ##

1、通过Table接口和Put类向source表插入一些数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7][]

2、验证；

![20190523225802945.jpeg][]

## **任务三：****使用Get方法进行操作，并验证；** ##

1、按行键获取；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8][]

2、按行键列族获取；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9][]

3、按行键、列族、列修饰符获取；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10][]

4、写入scan方法；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11][]

5、写入main方法；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12][]

6、验证；

![20190523225802973.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13][]

## **任务四：****课后作业；** ##

1、第7题，删除source表中Jason的math课程成绩；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14][]

# **出现的问题与解决方案** #

**排错一**：

**错误：**数据库访问被拒绝连接

**排错思路：**

1.  查看网络环境是否畅通；
2.  查看HBase各节点是否正常；
3.  查看开发环境是否合适；

**解决方案：**重新启动Hadoop集群，确保每一个服务都启动正常，主节点一必须是Active状态；然后重启Myeclipse软件，重新运行程序；

**排错二：**

**错误**：主节点01，的HMaster服务经常掉线；

**排错思路：**

1.  检查集群中各服务都是否正常；
2.  检查主备两节点的状态；
3.  检查HBase环境的配置文件是否正常；

**解决：**

1、修改各节点的hbase-site.xml文件，将里面的 时钟延迟值改为240000，原来默认值为60000；

![20190523225817904.jpeg][]

2、Hadoop集群的各节点启动顺序为：

在数据节点03、04、05上启动Zookeeper服务；

在主节点01上启动Hadoop服务；

在主节点01与备用主节点02上分别启动HBase服务；

3、在关闭集群前依次的从开启服务顺序的倒序开始关闭各服务；

# 知识拓展 #

优化HBase

1、随机读密集型

优化方向：高效利用缓存和更好的索引

*   增加缓存使用的堆的百分比，通过参数 hfile.block.cache.size 配置。
 *  减少MemStore占用的百分比，通过hbase.regionserver.global.memstore.lowerLimit和hbase.regionserver.global.memstore.upperLimit来调节。
 *  使用更小的数据块，使索引的粒度更细。
 *  打开布隆过滤器，以减少为查找指定行的Key Value对象而读取的HFile的数量。
 *  设置激进缓存，可以提升随机读性能。
 *  关闭没有被用到随机读的列族，提升缓存命中率。

2、顺序读密集型

优化方向：减少使用缓存。

*  增大数据块的大小，使每次硬盘寻道时间取出的数据更多。
 *  设置较高的扫描器缓存值，以便在执行大规模顺序读时每次RPC请求扫描器可以取回更多行。 参数 hbase.client.scanner.caching 定义了在扫描器上调用next方法时取回的行的数量。
 *  关闭数据块的缓存，避免翻腾缓存的次数太多。通过Scan.setCacheBlocks(false)设置。
 *  关闭表的缓存，以便在每次扫描时不再翻腾缓存。

3、写密集型

优化方向：不要太频繁刷写，合并或者拆分。

*  调高底层存储文件（HStoreFile）的最大大小，region越大意味着在写的时候拆分越少。通过参数 hbase.hregion.max.filesize设置。
 *  增大MemStore的大小，通过参数hbase.hregion.memstore.flush.size调节。刷写到HDFS的数据越多，生产的HFile越大，会在写的时候减少生成文件的数量，从而减少合并的次数。
 *  在每台RegionServer上增加分配给MemStore的堆比例。把upperLimit设为能够容纳每个region的MemStore乘以每个RegionServer上预期region的数量。
 *  垃圾回收优化，在hbase-env.sh文件里设置，可以设置初始值为：-Xmx8g  -Xms8g  -Xmn128m  -XX:+UseParNewGC  -XX:+UseConcMarkSweepGC

-XX:CMSInitiatingOccupancyFraction=70

*  打开MemStore-Local Allocation Buffer这个特性，有助于防止堆的碎片化。 通过参数hbase.hregion.memstore.mslab.enabled设置

4、混合型

优化方向：需要反复尝试各种组合，然后运行测试，得到最佳结果。

影响性能的因素还包括：

*  压缩：可以减少集群上的IO压力
 *  好的行键设计
 *  在预期集群负载最小的时候手工处理大合并
 *  优化RegionServer处理程序计数

[20190523225802880.jpeg]: https://img-blog.csdnimg.cn/20190523225802880.jpeg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70]: /images/20220128/62a7d601382d498b97e90538676de1bf.png
[20190523225802895.jpeg]: /images/20220128/55b90f57a3c64bc78fcfb85da5a5cc1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1]: /images/20220128/2fef198e93cf44daaa20638572affa18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2]: /images/20220128/8af9250c566f4d8d88fe58be96b14abb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3]: /images/20220128/79092e4320e54933ab5fdeae334888cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4]: /images/20220128/dae93d48a80d4a179a0908416547daca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5]: /images/20220128/8243f4887fc14d14bc05a9c29abb6222.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6]: /images/20220128/05e7ea5903244d4299f4c359a79f7d38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7]: /images/20220128/3a60a3f29e1e403da5911e2da5f242bc.png
[20190523225802945.jpeg]: /images/20220128/a1a345491fe84a32820b979a3920c1a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8]: /images/20220128/b298f93e7ea946c0bb6d981306c0c135.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9]: /images/20220128/7cfd008a8362452ebc0093933a60f2c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10]: /images/20220128/79c849afb53e4dcdb926ffa148d01084.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11]: /images/20220128/f56b3b41b4e2410f89d6dea41bb12521.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12]: /images/20220128/7ac3779ad9664eb99a0d1c1ab5daab01.png
[20190523225802973.png]: /images/20220128/c8df9c85204245a1a82836a778c4e891.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13]: /images/20220128/e66749a5cd4b462d814a40c07edc09df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14]: /images/20220128/71915fc02f4d45ef8fe1ea7c4aebe089.png
[20190523225817904.jpeg]: /images/20220128/f981a316db5c4bf280a46c8dfbcf57e3.png