NoSQL读书笔记

刺骨的言语ヽ痛彻心扉 2024-01-20 07:12 63阅读 0赞

### 一、NoSQL与大数据简介 ###

1、NoSQL在国内的应用-----新浪微博（全球最大的redis用户），淘宝数据平台（oceanbase），视觉中国的网站（MongoDB）,优酷运营数据的分析（Hadoop/HBase）.

2、大数据的特点：数据体量大（Volumn）,数据类型繁多（Variety）,价值密度低（Value），处理速度快（Velocity）.

3、大数据相关技术

（1）采集：一般分为智能感知层（主要包括数据传感体系，网络通信体系，传感适配体系，智能识别体系，及硬件资源接入体系，实现对结构化，半结构化，非结构化的海量数据的智能化识别，定位，跟踪，接入，传输，信号转换，监控，初步处理和管理等）基础支撑层（提供大数据服务平台所需的虚拟服务器）

（2）预处理：抽取，清洗。

（3）存储及管理:开发新型数据库，开发大数据安全技术，突破大数据索引技术。

（4）分析及挖掘：可视化分析，数据挖掘，预测性分析，语义引擎，数据质量和数据管理。

（5）展现与应用：智能商业，政府决策和公共服务。

4、什么是NoSQL

非关系型数据库。

5、数据库分类（关系型）

层次型-网络型-关系型

6、关系型数据库优势

（1）通用性及高性能

（2）突出优势：保持数据一致性；标准化使更新时开销小，可以进行JOIN复杂查询，技术成熟。

7、NoSQL数据库优势

（1）易于数据的分散

（2）高速处理

（3）海量数据处理

8、NoSQL分类

（1）键值存储（Memcached--内存数据库，数据容易丢失,Redis--内存与磁盘两者兼具）

（2）文档型（不定义表结构，可使用复杂的查询条件）

（3）面向列（Hbass,高拓展性，应用困难）

9、云计算管理系统的优势

（1）透明性

（2）可伸缩性

（3）高性价比

（4）不需运维

### 二、NoSQL的数据一致性 ###

1、传统关系型数据库的ACID（原子性，一致性，隔离性，持久性）

2、NoSQL的CAP（一致性，可用性，分区容错性）

3、应用实例（AP--DNS系统：将IP和域名相互映射成一个分布式数据库）

4、数据一致性模型与BASE

（1）强一致性：无论更新数据是在哪个数据副本上进行的，之后所有的读操作都能获得最新的数据。

（2）弱一致性：如果能容忍后续的部分访问不到，则是弱一致性。

（3）最终一致性：弱一致性的特例，保证最终能获取到某操作对系统特定数据的更新

（4）因果一致性

（5）读自写一致性

（6）会话一致性

（7）单调读一致性

（8）时间轴一致性

5、BASE

（1）基本可用：系统能基本运行，一直提供服务

（2）软状态：系统不要求一致保证强一致状态

（3）最终一致性：系统需要在某一时刻后达到一致性要求。

6、数据一致性的实现方法

（1）Quorum系统NRW策略

N：表示数据所具有的副本数

R：表示完成读操作所需要读取的最小副本数，即一次读操作所需参与的最小节点数目

W：表示完成写操作所需要写入的最小副本数，即一次写操作所需要参与的最小节点数目

该策略中，只需要保证R+W>N，就可以保证强一致性

（2）时间戳策略（最早用于分布式系统中的进程控制，用来确定分布式系统中事件的先后顺序，可协调分布式系统中的资源控制）

（3）向量时钟（在分布式系统中为各种操作或者事件产生偏序值的技术，它可以检测操作或者事件的并行冲突，用来保持系统的一致性）

### 三、NoSQL的水平扩展与其它基础知识 ###

1、两条水平扩展NoSQL的方式：复制和分片

2、分片：通常情况下，数据服务器的访问量是很大的，而且不同的应用程序访问的数据集不同部分，在这种情况下，我们可以通过将数据的不同部分分配到不同的服务器上来提高水平扩展性。

3、主从复制：一个节点被指定为主，其它的都是从。主通常负责处理数据的更新，并启动单独的进程将数据同步到从。主从复制能对读请求水平拓展，但是对写请求无能为力，它可以承受从的失败，但是不能承受主的失败。

4、对等复制：避免了单点写入的故障，所有副本的地位都是相同的，他们可以接受写请求，任何节点的失败都不会阻碍数据集的可用性。但仍存在数据一致性的问题。

5、分片对数据的划分方式：

（1）区间划分

（2）轮流放置：每条元组都会被依次放入在下一个节点上，以此进行循环。

（3）一致性哈希：

环形哈希空间（0~2^32-1的环），把对象映射到空间，把catch映射到hash空间，把对象映射到catch,考虑catch的变动。

6、磁道，扇区，柱面和磁头数

存储容量=磁头数\*磁道数\*每道扇区数\*每扇区字节数

固态硬盘的随机读写速度快，采用闪存作为存储介质。

在内存中保存1KB的数据相当于硬盘中存储400秒的开销（接近五分钟）。

### 四、BigTable与Google云计算原理 ###

1、云计算的概念：云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使得用户能够按需获取计算能力，存储空间和信息服务。

2、云计算的特点

超大规模，虚拟化，高可靠性，通用性，高拓展性，按需服务，极其廉价。

3、paxos算法

基于消息传递的一致性算法，用于解决分布式系统中的一致性问题。

proposers:提出决议

acceptors:批准决议

learners:获取并使用已经通过的决议

满足以下三个条件就可以保证数据一致性：

（1）决议只有在被proposers提出后才能被批准

（2）每次只批准一个决议

（3）只有决议确定被批后learners才能获取这个决议、

将决议的通过分为两个部分：

（1）准备阶段：

proposers选择一个提案并将它的编号设为n,然后将它送给acceptors中的一个多数派，acceptors收到后，如果提案的编号大于它已经回复的所有消息，则acceptors将自己上次的批准回复给proposers,并不再继续批准小于n的提案。

（2）批准阶段：当proposers接收到acceptors中这个多数派的回复后，就向回复请求的accepto rs发送accept请求，在符合acceptors一方的约束条件下，acceptors收到accept请求即批准这个请求。

acceptors将这个通过的决议发送给learners的一个子集，然后由这个子集中的learners去通知所有其他的learners

4、chubby系统的设计目标

（1）高可用性

（2）高扩展性

（3）支持粗粒度的建议性锁服务

（4）服务信息的直接存储

（5）支持通报机制

（6）支持缓存机制

5、chubby中的paxos:

（1）选择-副本为协调者

（2）协调者从客户提交的值中选择一个，accept消息，广播给所有的副本，其他的副本收到广播后，选择接受或者拒绝这个值，并将结果反馈。

（3）协调者收到大多数副本接受消息后，认为达到了一致性，接着向相关的副本发送一个commit消息。

### 五、Google云计算开源版本----Hadoop ###

1、HBase

一个高可靠，高性能，面向列，可伸缩的分布式数据库。

2、HBase索引

行键，列族，列限定符，时间戳（确定单元格中唯一的值）

3、HBase的三个功能组件：

（1）库函数

（2）一个Master主服务器

（3）许多格region从服务器

4、Region的定位：

（1）原数据表，又名METE表，存储了Region和Region服务器的映射关系

（2）根数据表，又名-Root-表，记录了所有数据的具体位置。

（-Root-表只有唯一一个region,名字是在程序中被写死的，Zookeeper文件记录了-Root-表的位置）

（3）Region定位使用的HBase三层结构：

第一层：Zookeeper文件，记录了-Root-表的位置信息

第二层：-Root-表，记录了META表的Region位置信息，-Root-表只能有一个Region。通过-Root-表就能访问META中的数据。

第三层：META表，记录了用户数据表Region位置信息META表可以有多个Region,保存了HBase中所有用户数据表Region信息。

（4）用户读数据的过程

（一）用户写入数据时，被分配到相应的Region服务器去执行

（二）用户数据首先被写入到Memstore和Hlog中（Hlog是预写式日志）

（三）只有当操作写入Hlog之后，commit（）调用才会将其返回给客户端

（四）当用户读取数据时，Region服务器会首先访问Memstore缓存，如果找不到，再去硬盘上面的StoreFile中寻找

5、HBase系统架构

（1）客户端：包括访问HBase的接口，client同时在缓存维护着已经访问过的Region的信息，用来加速后续数据的访问过程。

（2）zookeeper服务器：

（一）保证任何时候集群只有一个Master

（二）存储所有Region的接口

（三）实时监控Region Server的状态，将Region Server的上线和下线信息实时通知给Master

（四）存储HBase的schema,包括有哪些table,每个table有哪些column family

（3）Master：主服务器的Master主要负责表和Region的管理工作

（一）管理用户对表的增加，删除，修改，查询等操作

（二）实现不同Region服务器之间的负载均衡

（三）在Region分裂或者合并后，负责重新调整region的分布

（四）对发生故障失效的Region服务器上的region进行迁移

（4）Region服务器：Region服务器是最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求

### 六、Dynamo:Amazon的高可用键值对存储 ###

1、Dynamo的故障处理方法

（1）故障处理：暗示移交，如果写操作过程中，节点A出现故障，然后将本来在A的一个副本，现在将发送到节点D，发送到D的副本在其原数据中将会有一个暗示，表明那个节点才是此副本预期的接收者，接收到此暗示的节点将数据保存在一个单独的本地存储中，他们被定期扫描，在检测到A已经复制时，D会将此副本发送给A。

（2）处理永久性故障：副本同步，Merkle哈希树技术，每个虚拟节点保存三棵Merkle树，哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值，父节点是其的所有子节点的哈希值。

### 七、LevelDb---出自Google的key-Value数据库 ###

### 八、Redis实战 ###

1、举例说明Redis事务的含义

Redis的事务功能允许用户将多个命令包裹起来，然后一次性的按顺序地执行被包裹的命令，在事务的执行过程中，服务器不会中断事务而改去执行其他的命令请求，只有在事务包裹的所有命令都被执行完毕之后，服务器才会去处理其他命令请求。

2、WATCH命令

WATCH命令需要在开始一个事务之前执行，它接受任意多个键作为参数，并对输入的键进行监视，如果被监视的键在事务提交之前（即EXEC命令执行之前）已经被其他的客户端抢先修改了，那么服务器拒绝执行客户端提交的事务，并返回null作为事务的回复。

3、Redis主从复制的过程

在slave启动并连接到master之后，它将主动发送一个SYNC命令，此后Master将启动后台存盘进程，同时收集所有接收到的用于修改数据的命令。在后台执行完毕后，Master将传送整个数据库文件到slave,以完成一次完全同步，而slave服务器在接收到数据库文件数据之后将其存盘并加载到内存中。此后，Master继续将所有已经收集到的修改命令，和新的修改命令依次传送给slave，slave将在本次执行这些数据修改命令，从而达到最终的数据同步。

如果Master和slave之间的链接出现断链现象，slave可以自动重连Master,但是在连接成功之后，一次完全同步将被自动执行。

4、Redis的持久化机制

（1）RDB持久化：该机制是指在指定的时间间隔内将内存中的数据快照写入磁盘

（2）AOF持久化：该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初，会读取该文件夹重新构建数据库，以保证启动后数据库是完整的。

（3）无持久化

（4）同时进行RDB持久化和AOF持久化

###  ###