数据库调优--冷热分离

冷不防 2024-03-30 11:48 53阅读 0赞

**目录**

业务场景：

数据库分区技术：

数据库分区的优点：

缺点：

冷热分离的简介：

热数据

冷数据

冷热分离

什么情况下我们可以使用冷热分离：

冷热分离的实现思路：

一、冷热数据都用mysql

需要考虑的问题：

二、冷数据存放到hbase

Hbase：

什么是非关系型数据库，什么是关系型数据库：

nosql和关系型数据库比较？

冷热分离的弊端：

--------------------

## 业务场景： ##

几千万数据量的工单表快速优化

## 数据库分区技术： ##

数据库分区并不是生成一个新的表，而是将表的数据均衡分配到不同的磁盘，系统或不同的服务器存储介质中，实际上还是一张表。业务代码不需要做任何改动。

### 数据库分区的优点： ###

*  比起单个文件系统或硬盘，分区可以存储更多的数据。
 *  在清理数据时，可以直接删除废弃数据所在的分区。
 *  可以大幅度的提升查询效率，类似于分库分表，比如说有2000万的数据，分成10个分区，每个分区就只有200万的数据，那么我查询的时候，也就只查这200万的数据。

### 缺点： ###

数据库分区有个限制，分区字段必须是唯一索引，也就是说我的所有的查询条件都得带上这个唯一索引，来告诉数据库，去查询哪个分区。而且这种方案更加依托于dba团队，又是将压力给到了数据库，所以这种方案基本上不使用。但是也有个好处就是，不需要引入其他框架，仅仅靠数据库就能实现。

## 冷热分离的简介： ##

### 热数据 ###

热数据指的是需要即时对用户进行分发的数据，即从数据源抓取之后经过数据处理，需要即时存储到可快速分发的存储介质供API或直接面向用户的系统使用。

热数据需要重点保障服务质量和稳定性，为了保证数据的时效性，在数据处理上也是优先级高的数据。

### 冷数据 ###

冷数据指的是不需要即时发给用户的数据。

这些数不会原样分发给用户，它们需要经过长期的积累，使我们可以从中得到基于此更高层次的分析。

### 冷热分离 ###

冷热分离指的是在处理数据时将数据库分为冷库和热库，冷库指用于存放走到了终态的数据（冷数据）的数据库，热库用于存放还需要修改的数据（热数据）的数据库。

冷热分离就是在处理数据的时候，将数据分为冷库和热库，冷库存放到走到终态的数据，不经常使用的数据，热库存放还需要修改和经常使用的数据。

#### 什么情况下我们可以使用冷热分离： ####

> 1，数据走到终态后，只有读的需求，没有写的需求，比如说订单走到终态，就不会再有状态变更。
> 
> 2，用户能接受新旧数据分开查询，比如某些电商默认只让查3个月以内的订单，要想查询3个月以外的，就得访问其他的页面。也就是说不会出现同时查询冷、热数据的需求。

#### 冷热分离的实现思路： ####

### 一、冷热数据都用mysql ###

#### 需要考虑的问题： ####

**1，怎么判断一个数据用冷数据还是热数据**

一般情况下我们可以根据主表的字段来确定，比如说创建时间，状态。在我们使用的过程中，具体怎么区分冷数据和热数据，还得根据具体的业务需要、

**2，如何触发冷热分离**

触发冷热分离有三种方案

> 1，业务代码来实现。当表的数据变更时，每次变更都进行一次判断，看看能不能进入到冷库，如果能，就放到冷库，删除热库数据（实时性最强，改动最大）
> 
> 2，通过监听mysql的binlog日志（低延迟）
> 
> **3，通过定时任务，定时扫描，将能放到冷库的数据进行归档（高延时，不能做到实时性）**

**3，如何实现冷热分离**

实现冷热分离就是判断数据是否能进入到冷库，如果能，插入冷数据，删除热数据，但是需要我们注意几点：

> 1，事务一致性问题：需要我们研发做好兜底方案。
> 
> 最常用的就是加一个字段，用来标志数据是否可以进入到冷数据，然后定时任务每天去扫描看看数据是否一致。
> 
> 2，数据量大的问题
> 
> 可以采用批处理的方式，即一次性可以对多条数据进行处理
> 
> 3，并发处理
> 
> 当数据非常大的时候，采用批处理也达不到要求，就要采用多线程，这里要做好锁，可以用数据库锁来实现。

**4，如何使用冷热分离**

可以根据前端页面来区分

**5，历史数据如何迁移**

可以编写java程序来进行迁移，如果采用的是定时任务方案，不需要关注。

### 二、冷数据存放到hbase ###

#### Hbase： ####

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，是Apache的Hadoop项目的子项目，是一个适合于非结构化数据存储的数据库。

上面第一期，冷热数据都用mysql，存在两个问题：

用户还是会存在查询冷数据的场景。并且用户在查询冷数据的时候依旧很慢。

那么就需要一种数据库，可以存放上亿的数据，并且支持简单的组合关键字查询，并且存放的数据不会在变更。所以我们采用hbase来实现。

hbase是一种天然支持分布式的数据库，因为他是非关系型数据库，每个表之间都没有实际的联系，hbase同一行的数据没有存放到一起，所以hbase只能做一些简单的查询，实现不了复杂的查询。

#### 什么是非关系型数据库，什么是关系型数据库： ####

1.  关系数据库：是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。

简单说来就是关系型数据库用了选择、投影、连接、并、交、差、除、增删查改等数学方法来实现对数据的存储和查询。可以用SQL语句方便的在一个表及其多个表之间做非常复杂的数据查询。安全性高。

2. 非关系型数据库：简称NOSQL，是基于键值对的对应关系，并且不需要经过SQL层的解析，所以性能非常高。但是不适合用在多表联合查询和一些较复杂的查询中。NoSQL用于超大规模数据的存储。

#### nosql和关系型数据库比较？ ####

优点：

> 1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。
> 
> 2）查询速度：nosql数据库将数据存储于缓存之中，关系型数据库将数据存储在硬盘中，自然查询速度远不及nosql数据库。
> 
> 3）存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储基础类型以及对象或者是集合等各种格式，而数据库则只支持基础类型（varchar等）。
> 
> 4）扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。

缺点：

> 1）维护的工具和资料有限，因为nosql是属于新的技术，不能和关系型数据库10几年的技术同日而语。
> 
> 2）不提供对sql的支持，如果不支持sql这样的工业标准，将产生一定用户的学习和使用成本。
> 
> 3）不提供关系型数据库对事务的处理。

![6ac8bdf4fddb47a6a6a326ee7b22c9fd.png][]

#### 冷热分离的弊端： ####

对业务要求非常高，要求冷热数据不能同时查询，冷数据不能被修改，冷数据不能进行复杂的查询，但是他的性价比非常高，可以快速的实现项目的优化。

--------------------

![557ebf55cea34d8597ec77c6b0c08f82.jpeg][]

[6ac8bdf4fddb47a6a6a326ee7b22c9fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f64d6ae2964042bcab0e7aaed29bc4d2.png
[557ebf55cea34d8597ec77c6b0c08f82.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/09405e48e053486e8040f3bec96ac08c.jpeg