hive删除hbase数据_【大数据】Hbase如何批量删除指定数据

冷不防 2023-01-09 01:10 111阅读 0赞

一、起因：

Hbase是一个列式存储，nosql类型的数据库，类似mongodb。

目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall 'tablename', rowkey

二、删除方法：

方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 rowkey ，拼成删除命令(deleteall 'tablename', rowkey)，写到文本 del\_temp.txt ；然后执行 hbase shell del\_temp.txt

方法二：通过建映射表，比如在 hive 建一个映射表，然后写 hql 查出需要删除的 rowkey ，拼成删除命令(deleteall 'tablename', rowkey)，写到文本 del\_temp.txt ；然后执行 hbase shell del\_temp.txt

方法三：通过python/ java 代码，调用 hbase 的单行删除方法，写个循环删除

方法四：通过建映射表，比如在 hive 建一个映射表，将需要保留的数据 通过 hql 查询出来，备份到 hive 的一张临时表 ；然后 在hbase shell 里面 执行 truncate 'tablename' ，清空 hbase 的数据； 最后 在将数据 从 hive 的备份表 读出来，插入 映射表，写回 hbase；

总结：

前面3种方法，本质上都是在 hbase 中逐行删除；而第4种方法，是利用hive的map reduce倒数据。对于不熟悉 hbase 和 java 语法的开发人员而言，使用24方法，是灵活性最好的。

三、代码：

假设hbase有一张表，表名：test\_turboway，列族：cf，以第二种删除方法为例：

1、hive 建映射表：

CREATE EXTERNAL TABLEedw.test\_turboway\_hbase(

\`keyid\` string COMMENT'from deserializer',

\`title\` string COMMENT'from deserializer',

\`bizdate\` string COMMENT'from deserializer',

\`loginid\` string COMMENT'from deserializer')

ROW FORMAT SERDE'org.apache.hadoop.hive.hbase.HBaseSerDe'STOREDBY

'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITHSERDEPROPERTIES ('hbase.columns.mapping'=':key,cf:title,cf:bizdate,cf:loginid','serialization.format'='1')

TBLPROPERTIES ('COLUMN\_STATS\_ACCURATE'='false','hbase.table.name'='test\_turboway','numFiles'='0','numRows'='-1','rawDataSize'='-1','totalSize'='0','transient\_lastDdlTime'='1543297130')

2、记录hive查询要删除的数据，拼成命令：

hive -e "select concat('deleteall \\'test\_turboway\\',\\'',keyid,'\\'') from edw.test\_turboway\_hbase where loginid = '20181122'" > del\_temp.txt && echo 'exit' >> del\_temp.txt

3、hbase shell 执行删除命令

hbase shell del\_temp.txt > del.log