聊天消息历史记录存储之Hbase篇

Bertha 。 2021-12-03 13:29 582阅读 0赞

## 1. Hbase介绍 ##

Hbase是一种分布式的,多版本的,面向列的,半结构化的,稀疏的,多维的,排序的组件.

Hbase表可以理解为一个3维Map,包括row key, column(family+qualifier),timestamp

分布式:  将数据切分成多个region

持久化:  底层为HDFS

多版本:  同一个rowkey可以根据timestamp存储多个版本

稀疏:  column没有值时, 不占用存储空间,即不单独存储元数据

排序: 默认按rowkey排序,同一个rowkey内按timestamp排序

## 2. 聊天消息历史记录存储 ##

背景: 我们使用微信时,经常会查看聊天历史记录, 历史记录的特点是量大,每天都可能有新增,一般按时间排序.

设计: 将聊天消息存储在Hbase中,消息包含发送人id,接收人id,时间戳, 内容,发送状态等,

如下图所示:

<table style="width:100px;"> 
 <tbody> 
  <tr> 
   <td>userId1</td> 
   <td>userId2</td> 
   <td>sendTime</td> 
   <td>messageStatus</td> 
   <td>message</td> 
  </tr> 
  <tr> 
   <td>12345678</td> 
   <td>23456789</td> 
   <td>1418812276536</td> 
   <td>发送成功</td> 
   <td>你吃饭没</td> 
  </tr> 
  <tr> 
   <td>12345678</td> 
   <td>23456789</td> 
   <td>1428812276536</td> 
   <td>发送中</td> 
   <td>晚上好</td> 
  </tr> 
 </tbody> 
</table>

row key设计规则:   reverse(用户id1)-用户id2-inverse(时间戳)  
                             
               目的: reverse(用户id)用于防止热点问题, inverse(时间戳)=long最大值-当前时间戳, 默认时间倒序

### 3 读需求 ###

根据userId，按从大到小(先读最新消息)读取timestamp在(startTs, endTs\]的n条消息。

发表评论取消回复

表情：

评论列表（有 0 条评论，582人围观）

还没有评论，来说两句吧...

相关阅读

相关修改历史记录存储

采用修改前后记录内容对比方式，即更新前需要进行一次查询。主要代码如下： import java.lang.annotation.; @Reten

短命女/ 2024年04月06日 09:44/ 0 赞/ 76 阅读

相关 IDEA查看历史记录【文件历史和项目历史】

有时候我们写代码发现修改之前的代码才是正确的，如果重写又感觉麻烦，我们可以使用IDEA工具查看文件历史版本 ![在这里插入图片描述][watermark_type_ZmFuZ

青旅半醒/ 2023年01月17日 08:53/ 0 赞/ 281 阅读

相关 RocketMQ消息存储篇（二）

RocketMQ存储文件 RocketMQ存储路径为$\{ROCKET\_HOME\}/store ![watermark_type_ZmFuZ3poZW5naGVpd

古城微笑少年丶/ 2023年01月17日 07:57/ 0 赞/ 269 阅读

相关 RocketMQ消息存储篇（一）

存储概要设计 RocketMQ主要存储的文件包括Comitlog文件、ConsumeQueue文件、IndexFile文件。RocketMQ将所有主题的消息存储在同一个文

川长思鸟来/ 2022年11月05日 05:20/ 0 赞/ 230 阅读

相关 671-聊天服务器的历史消息存储问题

聊天服务器的历史消息存储问题本地消息存储：一对一聊天中，可以在本地程序的目录以好友的QQ号作为文件夹（这个肯定是不会重复的），超过200M，存储到下一个文件，也可

亦凉/ 2022年09月15日 05:47/ 0 赞/ 117 阅读

相关 hbase存储机制

1：hbase表和传统的数据库表结构的区别传统的数据库是一每行作为数据存储，在设计数据库的时候就需要设计好字段，增加字段主要修改表结构，会产生大量的冗余，hbase在设计

朴灿烈づ我的快乐病毒、/ 2022年07月11日 17:55/ 0 赞/ 196 阅读

相关 kafka系列-进阶篇之消息和offset存储

前言 Kafka具有存储功能，默认保存数据时间为7天或者大小1G，也就是说kafka broker上的数据超7天或者1G，就会被清理掉。这些数据存放在broker服务器上

雨点打透心脏的1/2处/ 2022年05月14日 09:23/ 0 赞/ 190 阅读

相关聊天消息历史记录存储之Hbase篇

1. Hbase介绍 Hbase是一种分布式的,多版本的,面向列的,半结构化的,稀疏的,多维的,排序的组件. Hbase表可以理解为一个

Bertha 。/ 2021年12月03日 13:29/ 0 赞/ 583 阅读

相关 Hbase存储思想

![1298744-20180626105612279-2069282562.png][] ![1298744-20180626105751436-1655073715.pn

女爷i/ 2021年11月26日 12:16/ 0 赞/ 307 阅读

相关获取流程历史记录

获取流程历史记录 public List<WfHistoricProcess> findHistoricProcessList(String processDefiniti

以你之姓@/ 2021年09月19日 05:22/ 0 赞/ 373 阅读