Nosql 入门概述及相关知识介绍

朱雀 2022-05-20 00:16 269阅读 0赞

*   *  Nosql 入门概述及相关知识介绍
        
         *  一、互联网时代背景下的演变（数据存储瓶颈）：
            
             *  1. 单机Mysql 的时代
             *  2.Memcached（缓存）+ Mysql+ 垂直拆分
             *  3. Mysql 主从复制读写分离
             *  4. 分库分表 + 水平拆分 + mysql 集群
             *  5. Mysql 的扩展性瓶颈
             *  6. 为什么用Nosql
         *  二、Nosql是什么
         *  三、Nosql能做什么
            
             *  1. 易扩展
             *  2. 大数据量高性能
             *  3. 多样灵活的数据模型
             *  4. 传统 RDBMS VS NoSQL
         *  四、下载(后期慢慢补充这部分)
         *  五、使用方向
         *  六、相关知识体系
            
             *  6.1 3V + 3高
                
                 *  6.1.1 大数据时代的3V
             *  6.2 互联网需求的3高
         *  七、当先Nosql的应用场景
            
             *  7.1 阿里中文网站为例子
                
                 *  7.1.1 商品基本信息
                 *  7.1.2 商品描述，详情，文字类信息
                 *  7.1.3 商品图片
                 *  7.1.4 商品关键字
                 *  7.1.5 商品的波段性的热点高频词汇
                 *  7.1.6 商品的交易、价值计算、积分累计
             *  八、大型互联网应用(大数据、高并发、多样数据类型)的难点和解决方案
                
                 *  81. 难点
                    
                     *  8.1.1 数据类型多样性
                     *  8.1.2 多个数据源多变
                     *  8.1.3 数据源改造而数据服务平台不需要大面积重构
                 *  8.2 解决方案
                    
                     *  8.2.1 统一数据平台服务层
                     *  8.2.2 UDSL
                     *  8.2.3 映射（Mapping DSL）API、热点缓存(UDSL的二级缓存）

## Nosql 入门概述及相关知识介绍 ##

### 一、互联网时代背景下的演变（数据存储瓶颈）： ###

#### 1. 单机Mysql 的时代 ####

1.  数据量的总大小，一个机器存储不够;
2.  数据索引（B+Tree）一个机器的内存放不下；
3.  访问量（读写混合）一个实例不能承受；

#### 2.Memcached（缓存）+ Mysql+ 垂直拆分 ####

1.  随着访问量的上升，大部分使用Mysql架构的网站在数据库上出现性能的问题，web程序不仅关注功能，同时追求性能。
2.  使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。
3.  开始比较流行的是通过文件缓存来缓解数据库压力，担当党文亮增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带来比较高的IO压力。
4.  这时候Memcached就自然成为一个非常时尚的技术产品

#### 3. Mysql 主从复制读写分离 ####

1.  由于数据库写入压力增加，Memcached只能缓解数据库的读取压力。
2.  读写及种子啊一个数据库让数据库压力很大，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可扩展性。
3.  Mysql 的master-slave模式成为这个时代网站的标配。

#### 4. 分库分表 + 水平拆分 + mysql 集群 ####

1.  Mysql主库的写压力开始出现瓶颈，而数据量猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发Mysql应用开始使用InnoDB引擎代替MyISAM。
2.  开始流行使用分表分库来缓解写压力和数据增长的数据问题，Mysql退出不太稳定的分区分表。
3.  虽然Mysql退出Mysql Cluster集群，单性能也不能很好满足互联网要求，只是可在高可靠性上提供非常大的保证。

#### 5. Mysql 的扩展性瓶颈 ####

1.  Mysql数据库存一些大的文字图片等，导致数据库表非常大，在做数据库恢复的时候非常慢，不容易快速回复数据库。。
2.  关系数据库强大，但是不能很好地应付所有场景。Mysql的扩展性差（需要复杂的技术实现），大数据下IO压力大，表结构更改困难，正式当时使用Mysql的开发人员面临的问题。

#### 6. 为什么用Nosql ####

1.  对用户数据进行挖掘，SQL数据库已经不适合这些应用。

### 二、Nosql是什么 ###

1.  NoSQL = Not Only Sql ，不仅仅是sql，泛指非关系型数据库。
2.  亿万比特的数据，这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

### 三、Nosql能做什么 ###

#### 1. 易扩展 ####

NoSql 数据种类多，但是一个共同的特点是去掉关系数据库的关系型特性。  
数据之间无关系，这样就很容易扩展，也在架构层面带来了可扩展性的能力。

#### 2. 大数据量高性能 ####

1.  Nosql 数据库都具有非常高的读写性能，尤其在大数据量下，同样优秀；
2.  一般Mysql使用Query Cache，每次表的更新Cache就是小，是一种大粒度的Cache，真对web 2.0的交互频繁应用，Cache性能不高，而Nosql的Cache是记录的，是一种细粒度的Cache。

#### 3. 多样灵活的数据模型 ####

Nosql 无需实现为要存储的数据建立字段，随时可以存储自定义的数据格式。但在关系型数据库增删字段，在表特别大时，危险大。

#### 4. 传统 RDBMS VS NoSQL ####

1.  **RDBMS**  
    
    
    1.  高度组织化结构化数据
    2.  结构化查询语言SQL
    3.  数据和关系都存储在单独的表中
    4.  数据操纵语言、数据定义语言
    5.  严格的一致性
    6.  基础事务
2.  **Nosql**  
    
    
    1.  不仅仅sql
    2.  没有声明性查询语言
    3.  没有预定义的模式
    4.  **键值对存储** ，列存储，文档存储，图形数据库
    5.  最终一致性，而非ACID属性
    6.  非结构化和不可预知的数据
    7.  CAP定力
    8.  高性能，高可用和可伸缩性

### 四、下载(后期慢慢补充这部分) ###

1.  Redis
2.  Memcache
3.  Mongdb
4.  tair

### 五、使用方向 ###

1.  KV
2.  Cache
3.  Persistence

### 六、相关知识体系 ###

#### 6.1 3V + 3高 ####

##### 6.1.1 大数据时代的3V #####

1.  海量Volume
2.  多样Variety
3.  实时Velocity

#### 6.2 互联网需求的3高 ####

1.  高并发
2.  高可扩 - 导航策略、负载均衡
3.  高性能 - 容灾备份

### 七、当先Nosql的应用场景 ###

#### 7.1 阿里中文网站为例子 ####

##### 7.1.1 商品基本信息 #####

1.  冷信息存储在Mysql这种数据库中
2.  去IOE化  
    
    
    1.  阿里巴巴集团首席架构师 - 王坚；
    2.  在IT建设过程中，去除IBM小型机、Oracle数据库及EMC存储设备

##### 7.1.2 商品描述，详情，文字类信息 #####

文档库数据库MongDB

##### 7.1.3 商品图片 #####

##### 7.1.4 商品关键字 #####

1.  搜索引擎、站内搜索
2.  ISearch

##### 7.1.5 商品的波段性的热点高频词汇 #####

1.  内存数据库
2.  Tair、Redis、Memcache

##### 7.1.6 商品的交易、价值计算、积分累计 #####

1.  外部系统
2.  支付宝

#### 八、大型互联网应用(大数据、高并发、多样数据类型)的难点和解决方案 ####

##### 81. 难点 #####

###### 8.1.1 数据类型多样性 ######

###### 8.1.2 多个数据源多变 ######

###### 8.1.3 数据源改造而数据服务平台不需要大面积重构 ######

##### 8.2 解决方案 #####

###### 8.2.1 统一数据平台服务层 ######

###### 8.2.2 UDSL ######

1.  在网站应用集群和底层数据源之间，构建一层代理，统一数据层
2.  模型数据映射 :  
    
    
    1.  实现业务模型各属性与底层不同类型数据源的模型数据映射
    2.  目前支持关系数据库：ISearch、Redis、MongDB
3.  统一的查询和更新API  
    提供了基于业务模型的统一查询更新API，简化网站应用跨不同数据源的开发模式
4.  性能优化策略  
    
    
    1.  字段延迟加载，按需返回设置
    2.  基于热点缓存平台的二级缓存
    3.  异步并行的查询数据：异步并行加载模型中来自不同数据源的字段
    4.  并发保护：拒绝访问频率过高的主机IP
    5.  过滤高危查询：例如会导致数据库崩溃的全表扫描

###### 8.2.3 映射（Mapping DSL）API、热点缓存(UDSL的二级缓存） ######