Hadoop集群的基本操作（三：HBase的基本操作）

た入场券 2022-01-28 10:01 239阅读 0赞

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="width:54.6pt;"> 实验 目的 要求 </td> 
 <td style="width:436.05pt;"> &nbsp; 目的： 
 <ol> 
 <li>MySQL数据库的基本命令；</li> 
 <li>MySQL数据库中使用SQL语句；</li> 
 <li>MySQL数据库中数据库，表，数据的操作；</li> 
 </ol>要求： 
 <ol> 
 <li>完成MySQL的集群版的安装；</li> 
 <li>MySQL集群的相关服务进程能够正常启动；</li> 
 <li>MySQL集群的SQL服务能够作为系统服务开机自动启动；</li> 
 <li>MySQL客户端能够远程连接MySQL集群的SQL服务；</li> 
 <li>MySQL集群的SQL服务能够远程链接访问；</li> 
 <li>创建表、查询数据等数据库操作能够正常进行；</li> 
 <li>MySQL集群的数据库数据能够在多个SQL服务节点之间实现同步；</li> 
 <li>MySQL数据库的基本命令和SQL语句的使用；</li> 
 <li>正确完成练习内容；</li> 
 </ol>&nbsp; </td> 
 </tr> 
 <tr> 
 <td style="width:54.6pt;"> &nbsp; &nbsp; &nbsp; 实 验 环 境 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 实 验 环 境 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </td> 
 <td style="width:436.05pt;"> &nbsp; 
 <ol> 
 <li>五台独立PC式虚拟机；</li> 
 <li>主机之间有有效的网络连接；</li> 
 <li>每台主机内存2G以上，磁盘50G；</li> 
 <li>所有主机上安装CentOS7-64位操作系统；</li> 
 <li>所有主机已完成静态网络地址、主机名、主机地址映射的配置；</li> 
 <li>已完成MySQL数据库平台的搭建；</li> 
 <li>在安装MySQL服务节点的PC机或者虚拟机操作；</li> 
 </ol>&nbsp; 软件版本： &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;选用MySQL Cluster的7.5.7版本； 集群规划： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;* MySQL数据库的集群版本有管理节点、 数据服务节点、 SQL服务节点总共3类服务节点, 集群中要求至少一台单独的主机作为管理节点, 而集群模式需要满足数据有备份和数据处理能够分布并行的基本要求, 所以需要两台或以上的主机作为数据服务节点以及两台或以上的主机作为SQL服务节点, 具体规划如下: 
 <table style="margin-left:46.1pt;width:490px;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#5b9bd5;width:70.85pt;"> 主机名 </td> 
 <td style="width:99.25pt;"> IP地址 </td> 
 <td style="border-color:#5b9bd5;width:204px;"> 服务描述 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#9cc2e5;width:70.85pt;"> Cluster-01 </td> 
 <td style="width:99.25pt;"> 192.168.10.111 </td> 
 <td style="width:204px;"> MC管理节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#9cc2e5;width:70.85pt;"> Cluster-02 </td> 
 <td style="width:99.25pt;"> 192.168.10.112 </td> 
 <td style="vertical-align:top;width:204px;"> MC数据服务节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#9cc2e5;width:70.85pt;"> Cluster-03 </td> 
 <td style="width:99.25pt;"> 192.168.10.113 </td> 
 <td style="width:204px;"> MC数据服务节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#9cc2e5;width:70.85pt;"> Cluster-04 </td> 
 <td style="width:99.25pt;"> 192.168.10.114 </td> 
 <td style="vertical-align:top;width:204px;"> MC SQL服务节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#9cc2e5;width:70.85pt;"> Cluster-05 </td> 
 <td style="width:99.25pt;"> 192.168.10.115 </td> 
 <td style="width:204px;"> MC SQL服务节点 </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; </td> 
 </tr> 
 </tbody> 
</table>

# 练习内容 #

## **步骤一：启动MySQL** ##

1、启动管理节点；

![20190523215506878.jpeg][]

2、启动数据服务节点；

![20190523215506881.png][]

![20190523215506878.png][]

3、启动SQL服务节点；

![20190523215506883.jpeg][]

![20190523215506891.jpeg][]

## **练习一：表的创建、插入数据；** ##

1、创建一个数据库；

![20190523215506884.jpeg][]

2、创建一个mytable表并显示表结构；

![20190523215833493.jpeg][]

3、向表中插入一条记录；

![20190523215506894.jpeg][]

4、查找表中已存在的数据；

![20190523215846991.jpeg][]

## **练习二：将TXT文件导入表中；** ##

1、在home目录下创建mysql.txt文件，并写入数据;

![20190523215506888.jpeg][]![20190523215506896.jpeg][]

2、给数据库导入TXT文件数据；

命令：

>load data local infile "/home/mysql.txt" into table mytable fields terminated by '\\t' lines terminated by '\\n';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70][]

3、在MySQL连接工具中查看插入数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1][]

## **练习三：SQL查询语句；** ##

1、查看表结构；

![20190523215506907.jpeg][]

2、查询所有列及指定列；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2][]

3、查询指定行；

![20190523215506908.jpeg][]

## **作业一：数据库基本操作** ##

根据下列表格中所提供的关系型数据库的数据模型和数据，在MySQL数据库中创建和添加相应的数据库、表、数据。

<table> 
 <tbody> 
 <tr> 
 <td colspan="6" style="border-color:#ffffff;width:424.5pt;"> 书籍信息表（BOOK_INFO） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#ffffff;width:76.5pt;"> Title </td> 
 <td style="width:65pt;"> Borrower </td> 
 <td style="width:70.75pt;"> sex </td> 
 <td style="width:70.75pt;"> Munber </td> 
 <td style="width:70.75pt;"> lendingdate </td> 
 <td style="width:70.75pt;"> Returndate </td> 
 </tr> 
 <tr> 
 <td style="border-color:#ffffff;width:76.5pt;"> Yuncunchu </td> 
 <td style="width:65pt;"> Zhangsan </td> 
 <td style="width:70.75pt;"> f </td> 
 <td style="width:70.75pt;"> 20170001 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#ffffff;width:76.5pt;"> Shujuku </td> 
 <td style="width:65pt;"> Lisi </td> 
 <td style="width:70.75pt;"> m </td> 
 <td style="width:70.75pt;"> 20170002 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#ffffff;width:76.5pt;"> xunihuajishu </td> 
 <td style="width:65pt;"> wanger </td> 
 <td style="width:70.75pt;"> f </td> 
 <td style="width:70.75pt;"> 20170003 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 <td style="width:70.75pt;"> 2017-09-09 </td> 
 </tr> 
 </tbody> 
</table>

1、创建work数据库并插入数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3][]

2、查看插入数据；

![20190523215506919.jpeg][]

3、指定行列查看数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4][]

4、使用连接工具查看数据；

![20190523215506938.jpeg][]

## **作业二：将作业一常见的数据库机器中的数据导出为SQL脚本文件；** ##

1、导出数据；

![20190523215506959.jpeg][]

2、查看导出文件；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5][]

# **出现的问题与解决方案** #

本实验未遇到错误，介绍几个排错技巧：

1、一般，报错的时候都会有error code。比如ERROR 1504，Error: 2303等等，遇到这些报错，我们可以先用mysql的报错工具perror查看，比如查看报错号为1504的错误，使用命令为： perror --ndb 1504

2、在出现报错以后，查看WARNINGS或ERRORS信息，比如出现Error CODE : 1528 Failed TO CREATE LOGFILE GROUP后输入SHOW WARNINGS;，会显示出具体的报错信息：

Got error 1504 'Out of logbuffer memory' FROM NDB

Failed TO CREATE LOGFILE GROUP

以上报错代码，均可在官网找到解决方案。

# 知识拓展 #

### 1、MySQL集群优缺点； ###

优点：

a) 99.999%的高可用性

b)快速的自动失效切换

c)灵活的分布式体系结构，没有单点故障

d)高吞吐量和低延迟

e)可扩展性强，支持在线扩容

缺点：

a)存在很多限制，比如：不支持外键

b)部署、管理、配置很复杂

c)占用磁盘空间大，内存大

d)备份和恢复不方便

e)重启的时候，数据节点将数据load到内存需要很长时间

### 2、MySQL集群如何存储数据； ###

a)Master执行提交语句时，事务被发送到slave，slave开始准备事务的提交。

b)每个slave都要准备事务，然后向master发送OK(或ABORT)消息，表明事务已经准备好（或者无法准备该事务）。

c)Master等待所有Slave发送OK或ABORT消息

*  如果Master收到所有 Slave的OK消息，它就会向所有Slave发送提交消息，告诉Slave提交该事务；
 *  如果Master收到来自任何一个Slave的ABORT消息，它就向所有 Slave发送ABORT消息，告诉Slave去中止事务。

e)每个Slave等待来自Master的OK或ABORT消息。

*  如果Slave收到提交请求，它们就会提交事务，并向Master发送事务已提交 的确认；
 *  如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源，从而中止事务，然后向Masterv送事务已中止的确认。

f)当Master收到来自所有Slave的确认后，就会报告该事务被提交（或中止），然后继续进行下一个事务处理。

### 3、使用SQLyog连接MySQL集群192.168.10.114或者192.168.10.115 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6][]

### 4、MySQL常用的相关命令 ###

* 登录数据库--mysql -u root -p
 * 远程登录数据库--mysql -h 主机名或IP地址 -u 用户名 -p
 * 导出数据库--mysqldump -u 用户名 -p 数据库名>导出的路径与导出的文件名：mysqldump -uroot -pmysqlabc mysql>/home/123.sql
 * 导出数据库中的指定表--mysqldump -u 用户名 -p 数据库名 表名>导出的路径与导出的文件名
 * 导出数据库的结构信息--mysqldump -u 用户名 -p -d --add-drop-table 数据库名>导出的路径与导出的文件名
 * 恢复数据库--mysqldump -u 用户名 -p 数据库名< 需要导入的文件名和路径
 * 在登录数据库后，使用source语句进行数据库恢复--use bb;source /home/123.sql;（2）Mysql 控制台命令
 * 设置密码--set password=password;
 * 创建数据库--create database abcDB;
 * 添加新用户  host:%; user:abc; password:1234；Grant all on abcDB.\*to ‘abc’@’%’identified by ‘1234’with grant option;
 * 为用户授权“grant 权限 on 数据库名.表名 to 用户名@登录主机名IP地址 identified by ’自定义密码‘；”。--grant all on test.\*to abc@’@’identified by ‘1234’
 * 刷新权限信息--flush privileges;
 * 查询用户信息--select user,host,authentication\_string from mysql.user;
 * 显示数据库列表--show databases;
 * 删除数据库--drop database 数据库名;
 * 使用数据库--use 数据库名；
 * 删除用户--delete from user where user=’abc’and host=’%’；
 * 显示数据表列表--show tables;
 * 显示数据表详细描述信息--describe 表名；显示用户表信息--describe user；

[20190523215506878.jpeg]: /images/20220128/7575af2260604e269a07a404522a32a9.png
[20190523215506881.png]: /images/20220128/9d0409629c6541c1b204baa101528d17.png
[20190523215506878.png]: /images/20220128/57557176800a48299a03d72c8c328430.png
[20190523215506883.jpeg]: /images/20220128/b67958d3712641ed88bad146fa73978b.png
[20190523215506891.jpeg]: /images/20220128/b57f416d5f5a4e14a0c7aa022d9cbb1d.png
[20190523215506884.jpeg]: /images/20220128/71274c13f423443daa24d1f7c68f0ab2.png
[20190523215833493.jpeg]: /images/20220128/e9794af21acf4ca1a38b223d666f9e25.png
[20190523215506894.jpeg]: /images/20220128/4c0150f1d09643198b059c5167882ca5.png
[20190523215846991.jpeg]: /images/20220128/5eb25ad5e79647aab038929f163f5b38.png
[20190523215506888.jpeg]: https://img-blog.csdnimg.cn/20190523215506888.jpeg
[20190523215506896.jpeg]: /images/20220128/148312f186dc408c9db5aabc9588d9ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70]: /images/20220128/9741b8cb99804c2db4390c616314d9a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1]: /images/20220128/c148bb8c103048b4b0f8d2433e1a02ac.png
[20190523215506907.jpeg]: /images/20220128/5e96f34978eb43d6a2aa955be320fca5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2]: /images/20220128/a0bcd35b4322444d8773b609de6f93b8.png
[20190523215506908.jpeg]: /images/20220128/f97b0ce933564c4384da41a7f29d7295.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3]: /images/20220128/45026e77ca084a42bd5ee54e208cffdd.png
[20190523215506919.jpeg]: /images/20220128/b22cce7fefb64eac98ec917c79f20b41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4]: /images/20220128/981ba40887eb469da37d846de7977072.png
[20190523215506938.jpeg]: /images/20220128/112588b5487c4a87861df6e4a3a91324.png
[20190523215506959.jpeg]: /images/20220128/0a1b0407c27d4ea19d41edb0aaa9ab70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5]: /images/20220128/9b316eae502444f79914168f248fe6fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6]: /images/20220128/c414d64c4d5740f0a119f34c58e4c24f.png