hbase 列族版本数，TTL和二级索引

迈不过友情╰ 2022-05-22 00:28 282阅读 0赞

###  ###

## 版本数量 ##

### 最大版本数量 ###

通过[HColumnDescriptor][]为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参数，[数据模型][Link 1]部分的HBase也没有覆盖行的值，但每行而存储不同的值按时间（和限定）。在重要的压缩过程中删除多余的版本。最大版本的数量可能需要根据应用需求增加或减少。

不建议将最高版本数设置为极高的级别（例如，数百或更多），除非这些旧值对您非常重要，因为这会大大增加StoreFile大小。

### 最小版本数量 ###

像行版本的最大数量一样，通过[HColumnDescriptor][]为每个列族配置要保留的最小行数版本。min版本的默认值为0，这意味着该功能被禁用。行版本参数的最小数量与生存时间参数一起使用，并且可以与行版本数量参数组合，以允许诸如“保留最后T分钟值数据，最多N个版本，但是至少保留M个版本 “（其中M是最小行数的值，M <N）。此参数只应在为列族启用生存时间时设置，并且必须小于行版本的数量。

## 生存时间（TTL） ##

ColumnFamilies可以以秒为单位设置TTL长度，一旦达到到期时间，HBase将自动删除行。这适用于所有版本的行 - 即使是当前版本。在该行的HBase中编码的TTL时间以UTC指定。

存储仅包含过期行的文件将在小型压缩中删除。设置`hbase.store.delete.expired.storefile`为`false`禁用此功能。将最小版本数设置为0以外的值也会禁用此功能。

最近的HBase版本也支持设置时间以每个单元为基础生存。

单元TTL处理和ColumnFamily TTL之间有两个显着的区别：

*  单元TTL以毫秒为单位而不是秒。
 *  单元TTL不能将一个单元的有效生命周期延长超过ColumnFamily级TTL设置。

## 二级索引 ##

### 过滤查询 ###

根据具体情况，可能适合使用[客户端请求过滤器][Link 2]。在这种情况下，不会创建二级索引。但是，请不要在应用程序（如单线程客户端）上对这样的大表进行全面扫描。

### 定期更新二级索引 ###

二级索引可以在另一个通过MapReduce作业定期更新的表中创建。该工作可以在一天内执行，但根据加载策略，它可能仍然可能与主数据表不同步。

### 双写二次索引 ###

另一种策略是在将数据发布到集群时构建二级索引（例如写入数据表，写入索引表）。如果这是在数据表已经存在之后采取的方法，那么对于具有MapReduce作业的二级索引将需要引导

### 汇总表 ###

在时间范围非常广泛的情况下（例如，长达一年的报告）以及数据量大的地方，总结表是一种常见的方法。这些将通过MapReduce作业生成到另一个表中。

[HColumnDescriptor]: https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/HColumnDescriptor.html
[Link 1]: http://hbase.apache.org/2.0/book.html#datamodel
[Link 2]: http://hbase.apache.org/2.0/book.html#client.filter

发表评论取消回复

表情：

评论列表（有 0 条评论，282人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBase最佳实践－列族设计优化

着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、...

小灰灰/ 2024年04月17日 06:03/ 0 赞/ 46 阅读

相关 HBase 列族属性配置

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', {NAME => 'cf'} 默认属性如下： hbas

今天药忘吃喽~/ 2023年02月28日 08:52/ 0 赞/ 69 阅读

相关【HBase】列族属性详解

HBase Table 的每个列族都可以设置 VERSION，TTL、BLOOMFLTER 等很多属性； create 'test:user', {NAME => '

末蓝、/ 2023年01月11日 16:21/ 0 赞/ 170 阅读

相关 HBase 列族属性

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', { NAME => 'cf'} 默认属性如下： hba

- 日理万妓/ 2022年11月18日 01:51/ 0 赞/ 267 阅读

相关 HBase phoenix二级索引

1. 为什么需要用二级索引? 对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列

素颜马尾好姑娘i/ 2022年07月10日 14:59/ 0 赞/ 301 阅读

相关 HBase最佳实践－列族设计优化

问题导读： 1.BLOCKSIZE属性在不同场景下应该如何设置？ 2.COMPRESSION属性和DATA\_BLOCK\_ENCODING属性的区别是什么？ 3.Hba

冷不防/ 2022年06月14日 08:42/ 0 赞/ 219 阅读

相关 hbase 列族版本数，TTL和二级索引

版本数量最大版本数量通过[HColumnDescriptor][]为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参

迈不过友情╰/ 2022年05月22日 00:28/ 0 赞/ 283 阅读

相关 Hbase优化之二级索引

1. 为什么需要用二级索引? 对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列

电玩女神/ 2022年05月08日 11:42/ 0 赞/ 335 阅读

相关 Hbase 二级索引

Hbase 使用二级索引原因：目前 HBase 主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻

迷南。/ 2021年12月18日 13:41/ 0 赞/ 290 阅读

相关 HBase列族高级配置

HBase有几个高级特性，在你设计表时可以使用。这些特性不一定联系到模式或行键设计，但是它们定义了某些方面的表行为。本节我们讨论这些配置参数，以及你可以如何使用它们。 1

Dear 丶/ 2021年11月16日 05:46/ 0 赞/ 406 阅读