1.0 MongoDB应用场景和设计原理

雨点打透心脏的1/2处 2022-03-31 04:28 183阅读 0赞

官网：[https://www.mongodb.com/][https_www.mongodb.com]

注意：MongoDB属于缓存数据库，切记不要把重要数据存入到MongoDB中。

MongoDB 是一个基于分布式文件存储的数据库。由 C++语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的，了解MongoDB首先必须了解非关系型数据库（NoSQL）

1，什么是NoSQL

NoSQL，指的是非关系型的数据库。NoSQL 有时也称作 Not Only SQL 的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL 用于超大规模数据的存储。（例如谷歌或 Facebook 每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

2，关系型数据库和非关系型数据库对比

<table> 
 <tbody> 
 <tr> 
 <td> 关系型数据库 </td> 
 <td> NoSQL 数据库 </td> 
 </tr> 
 <tr> 
 <td> 高度组织化结构化数据 </td> 
 <td> 代表着不仅仅是 SQL </td> 
 </tr> 
 <tr> 
 <td> 结构化查询语言（SQL） </td> 
 <td> 没有声明性查询语言 </td> 
 </tr> 
 <tr> 
 <td> 数据和关系都存储在单独的表中 </td> 
 <td> 没有预定义的模式 </td> 
 </tr> 
 <tr> 
 <td> 数据操作语言，数据定义语言 </td> 
 <td> 键-值对存储，列存储，文档存储，图形数据库 </td> 
 </tr> 
 <tr> 
 <td> 严格的一致性 </td> 
 <td> 最终一致性，而非 ACID 属性 </td> 
 </tr> 
 <tr> 
 <td> 基础事务 </td> 
 <td> 非结构化和不可预知的数据 </td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td> CAP 定理 </td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td> 高性能，高可用性和可伸缩性 </td> 
 </tr> 
 </tbody> 
</table>

3，NoSQL数据库分类

<table> 
 <tbody> 
 <tr> 
 <td> 类型 </td> 
 <td> 典型代表 </td> 
 <td> 特点 </td> 
 </tr> 
 <tr> 
 <td> 列存储 </td> 
 <td> Hbase Cassandra Hypertable </td> 
 <td> 顾名思义，是按照列存储数据的。最大的特点是方便存储结构化和半结构化的数据，方便做数据压 缩，对针对某一列或者某几列的查询有非常大的 IO 优势 </td> 
 </tr> 
 <tr> 
 <td> 文档存储 </td> 
 <td> MongoDB CounchDB </td> 
 <td> 文档存储一般用类似 json 的格式存储，存储的内容是文档型的。 这样也就有机会对某些字段建立索引，实现关系数据库的某些功能。 </td> 
 </tr> 
 <tr> 
 <td> Key-value 存储 </td> 
 <td> Tokyo Cabinet/Tyrant Berkelery DB Memcache Redis </td> 
 <td> 可 以 通 过 key 快 速 查 询 到 其value。一般来说，存储不管value 的格式，照单全收。(Redis 包含了其他功能) </td> 
 </tr> 
 <tr> 
 <td> 图存储 </td> 
 <td> Neo4J FlockDB </td> 
 <td> 图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。 </td> 
 </tr> 
 <tr> 
 <td> 对象存储 </td> 
 <td> Db4o Versant </td> 
 <td> 通过类似面向对象语言的语法操作数据库，通过对象的方式存储数据。 </td> 
 </tr> 
 <tr> 
 <td> XML 数据库 </td> 
 <td> Berkeley DB XML BaseX </td> 
 <td> 高效的存储XML 数据，并存储 XML的 内 部 查 询 语 法 ， 比 如XQuery,Xpath。 </td> 
 </tr> 
 </tbody> 
</table>

4，MongoDB 的数据结构与关系型数据库数据结构对比

<table> 
 <tbody> 
 <tr> 
 <td> 关系型数据库术语/ 概念 </td> 
 <td> MongoDB 术语/ 概念 </td> 
 <td> 解释/ 说明 </td> 
 </tr> 
 <tr> 
 <td> Database </td> 
 <td> Database </td> 
 <td> 数据库 </td> 
 </tr> 
 <tr> 
 <td> Table </td> 
 <td> Collection </td> 
 <td> 数据库表/集合 </td> 
 </tr> 
 <tr> 
 <td> Row </td> 
 <td> Document </td> 
 <td> 数据记录行/文档 </td> 
 </tr> 
 <tr> 
 <td> Column </td> 
 <td> Field </td> 
 <td> 数据列/数据字段 </td> 
 </tr> 
 <tr> 
 <td> Index </td> 
 <td> Index </td> 
 <td> 索引 </td> 
 </tr> 
 <tr> 
 <td> Table joins </td> 
 <td>&nbsp;</td> 
 <td> 表关联/MongoDB 不支持 </td> 
 </tr> 
 <tr> 
 <td> Primary Key </td> 
 <td> Object ID </td> 
 <td> 主键/MongoDB自动将_id设置为 主键 </td> 
 </tr> 
 </tbody> 
</table>

5，MongoDB 中的数据类型

<table> 
 <tbody> 
 <tr> 
 <td> 数据类型 </td> 
 <td> 说明 </td> 
 <td> 解释 </td> 
 <td> 举例 </td> 
 </tr> 
 <tr> 
 <td> Null </td> 
 <td> 空值 </td> 
 <td> 表示空值或者未定义的 对象 </td> 
 <td> {“x”:null} </td> 
 </tr> 
 <tr> 
 <td> Boolean </td> 
 <td> 布尔值 </td> 
 <td> 真或者假：true 或者 false </td> 
 <td> {“x”:true} </td> 
 </tr> 
 <tr> 
 <td> Integer </td> 
 <td> 整数 </td> 
 <td> 整型数值。用于存储数 值。根据你所采用的服务 器，可分为 32 位或 64 位。 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Double </td> 
 <td> 浮点数 </td> 
 <td> 双精度浮点值。 </td> 
 <td> {“x”：3.14，”y”：3} </td> 
 </tr> 
 <tr> 
 <td> String </td> 
 <td> 字符串 </td> 
 <td> UTF-8 字符串 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Symbol </td> 
 <td> 符号 </td> 
 <td> 符号。该数据类型基本上 等同于字符串类型，但不 同的是，它一般用于采用 特殊符号类型的语言。 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> ObjectID </td> 
 <td> 对象 ID </td> 
 <td> 对象 ID。用于创建文档 的 ID。 </td> 
 <td> {“id”: ObjectId()} </td> 
 </tr> 
 <tr> 
 <td> Date </td> 
 <td> 日期 </td> 
 <td> 日期时间。用 UNIX 时 间格式来存储当前日期 或时间。 </td> 
 <td> {“date”:new Date()} </td> 
 </tr> 
 <tr> 
 <td> Timestamp </td> 
 <td> 时间戳 </td> 
 <td> 从标准纪元开始的毫秒 数 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Regular </td> 
 <td> 正则表达式 </td> 
 <td> 文档中可以包含正则表 达式，遵循 JavaScript 的语法 </td> 
 <td> {“foo”:/testdb/i} </td> 
 </tr> 
 <tr> 
 <td> Code </td> 
 <td> 代码 </td> 
 <td> 可 以 包 含 JavaScript 代码 </td> 
 <td> {“x”：function() {}} </td> 
 </tr> 
 <tr> 
 <td> Undefined </td> 
 <td> 未定义 </td> 
 <td> 已废弃 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Array </td> 
 <td> 数组 </td> 
 <td> 值的集合或者列表 </td> 
 <td> {“arr”: [“a”,”b”]} </td> 
 </tr> 
 <tr> 
 <td> Binary Data </td> 
 <td> 二进制 </td> 
 <td> 用于存储二进制数据。 </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Object </td> 
 <td> 内嵌文档 </td> 
 <td> 文档可以作为文档中某 个 key 的 value </td> 
 <td> {“x”:{“foo”:”bar”}} </td> 
 </tr> 
 <tr> 
 <td> Min/Max keys </td> 
 <td> 最小/大值 </td> 
 <td> 将一个值与 BSON（二进 制的 JSON）元素的最低 值和最高值相对比。 </td> 
 <td>&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

6，图解 B MongoDB 底层原理

MongoDB 的集群部署方案中有三类角色：实际数据存储结点、配置文件存储结点和路由接入结点。连接的客户端直接与路由结点相连，从配置结点上查询数据，根据查询结果到实际的存储结点上查询和存储数据。MongoDB 的部署方案有单机部署、复本集（主备）部署、分片部署、复本集与分片混合部署。

混合的部署方式如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70][]

混合部署方式下向 MongoDB 写数据的流程如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 1][]

混合部署方式下读 MongoDB 里的数据流程如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 2][]

对于复本集，又有主和从两种角色，写数据和读数据也是不同，写数据的过程是只写到主结点中，由主结点以异步的方式同步到从结点中：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 3][]

而读数据则只要从任一结点中读取，具体到哪个结点读取是可以指定的：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 4][]

对于 MongoDB 的分片，假设我们以某一索引键（ID）为片键，ID 的区间\[0,50\]，划分成 5 个 chunk，分别存储到 3 个片服务器中，如图所示：

![20190102104707363.png][]

假如数据量很大，需要增加片服务器时可以只要移动 chunk 来均分数据即可。

配置结点：

存储配置文件的服务器其实存储的是片键与 chunk 以及 chunk 与 server 的映射关系，用上面的数据表示的配置结点存储的数据模型如下表：

Map1

<table> 
 <tbody> 
 <tr> 
 <td> Key range </td> 
 <td> chunk </td> 
 </tr> 
 <tr> 
 <td> [0,10) </td> 
 <td> chunk1 </td> 
 </tr> 
 <tr> 
 <td> [10,20) </td> 
 <td> chunk2 </td> 
 </tr> 
 <tr> 
 <td> [20,30) </td> 
 <td> chunk3 </td> 
 </tr> 
 <tr> 
 <td> [30,40) </td> 
 <td> chunk4 </td> 
 </tr> 
 <tr> 
 <td> [40,50) </td> 
 <td> chunk5 </td> 
 </tr> 
 </tbody> 
</table>

Map2

<table> 
 <tbody> 
 <tr> 
 <td> chunk </td> 
 <td> shard </td> 
 </tr> 
 <tr> 
 <td> chunk1 </td> 
 <td> shard1 </td> 
 </tr> 
 <tr> 
 <td> chunk2 </td> 
 <td> shard2 </td> 
 </tr> 
 <tr> 
 <td> chunk3 </td> 
 <td> shard3 </td> 
 </tr> 
 <tr> 
 <td> chunk4 </td> 
 <td> shard4 </td> 
 </tr> 
 <tr> 
 <td> chunk5 </td> 
 <td> shard5 </td> 
 </tr> 
 </tbody> 
</table>

路由结点：

路由角色的结点在分片的情况下起到负载均衡的作用。

7，MongoDB 的应用场景和不适用场景

对于 MongoDB 实际应用来讲，是否使用 MongoDB 需要根据项目的特定特点进行一一甄别，这就要求我们对 MongoDB 适用和不适用的场景有一定的了解。

应用场景：

根据 MongoDB 官网的说明，MongoDB 的适用场景如下:

1）网站实时数据:MongoDB 非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。

2）数据缓存:由于性能很高，MongoDB 也适合作为信息基础设施的缓存层。在系统重启之后，由 MongoDB搭建的持久化缓存层可以避免下层的数据源过载。

3）大尺寸、低价值数据存储:使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。

4）高伸缩性场景:MongoDB 非常适合由数十或数百台服务器组成的数据库。MongoDB 的路线图中已经包含对 MapReduce 引擎的内置支持。

5）对象或 JSON 数据存储:MongoDB 的 BSON 数据格式非常适合文档化格式的存储及查询。

不适用场景：

了解了 MongoDB 适用场景之后，还需要了解哪些场景下不适合使用 MongoDB，具体如下:

1）高度事务性系统:例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。

2）传统的商业智能应用:针对特定问题的 BI 数据库会对产生高度优化的查询方式。对于此类应用，数据仓库可能是更合适的选择。

3）需要复杂 SQL 查询的问题。

相信通过上面的说明，你已经大致了解了 MongoDB 的使用规则，需要说明一点的是，MongoDB 不仅仅是数据库，更多的使用是将 MongoDB 作为一个数据库中间件在实际应用中合理划分使用细节，这一点对于 MongoDB 应用来讲至关重要！

[https_www.mongodb.com]: https://www.mongodb.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70]: /images/20220331/176b26ec4013445d87eca1ed75833e27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 1]: /images/20220331/8c8f68682daa4c18b87953a78fe27b2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 2]: /images/20220331/6e7c8953da9a45d98e82f14e42ba4f29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 3]: /images/20220331/eccf785aef684b1783d8ac1190c0c122.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70 4]: /images/20220331/2148daea71784718930e47c0ac8279cb.png
[20190102104707363.png]: /images/20220331/e4643b264ef941269c3b192ae9805883.png