数据架构演进史（上）

本是古典何须时尚 2023-10-12 13:01 14阅读 0赞

> 数据架构的演变（上）

微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩

数据与业务运营和各种分析工作负载（BI、数据科学、认知解决方案等）的分离与 IT 系统和业务应用程序一样古老。由于分析工作负载是资源密集型的，因此需要将它们与运行业务运营的 IT 系统分开，以便运营工作负载在没有任何资源限制的情况下平稳运行，从而确保积极的客户体验。

多年来，我们对大数据和业务分析的依赖显着增加，预计到 2030 年其市场规模将达到 6841.2 亿美元。在全球范围内，各行各业都投资于分析其海量数据并制定有效的数据策略。数据架构是关于如何通过 IT 基础架构支持数据策略的框架。作为数据战略的基础，数据架构在战略的有效实施中起着至关重要的作用。多年来数据架构的发展相应地塑造了数据策略的有效性。

数据模型、架构和存储随着时间的推移而发展，以适应不同的分析工作负载。在本文中，我们将介绍为满足不断增长的分析需求而发展起来的各种数据架构。这些演变中的每一个都值得一本书来描述无法在一篇文章中产生的完整细节。但是，这里的目的是描述其中每一个的高级细节，并指出可用的其他文献。让我们开始吧。

![b3667b3ae6bbcc80aa3789a6c0696833.png][]

### ODS、EDW 和数据集市 ###

早期，运营数据存储 (ODS) 是为满足决策支持系统而开发的，主要针对需要预定义报告的运营用户。ODS 仅存储当前数据（通常为 6 个月）用于运营报告和战术决策制定，例如银行出纳员。它决定是否为排队的客户提供透支便利、提高信用额度等。

商业智能工具的出现扩大了分析用户群，涵盖了喜欢图形表示形式的摘要信息的高级管理人员。已经开发了数据集市和维度建模技术（如星形/雪花模式）来支持该用户群。数据集市通常用于针对特定主题领域的描述性和诊断性分析，帮助用户了解发生了什么、正在发生什么以及为什么发生，并进行假设分析。

虽然 ODS 和数据集市服务于两组不同的分析用户，但它们往往局限于特定的功能领域。企业数据仓库 (EDW) 的开发是为了满足跨职能分析的需要。数据仓库存储历史数据以查找数据中的长期模式。它们是根据组织偏好使用 ER 和维度建模技术设计的。

在此阶段，典型的企业数据分析架构如下所示：

![cb0505026a1907fcac2f1a27bd00643b.png][]

企业数据分析架构

### MDDB ###

使用 Db2、Oracle 和 SQL Server 等传统 RDBMS 实施的 ODS、数据集市和 EDW 的目的是提供罐装报告和执行仪表板，这些报告和执行仪表板可以按照预定义的计划以批处理模式交付，通常是每天交付。对于临时报告和交互式分析，它们具有严格的性能限制。

为了满足这些需求，开发了多维数据库 (MDDB)，例如 Oracle Express、Cognos Power Play、Hyperion Essbase 等。由于 MDDB 的大小限制（每个多维数据集通常可以容纳 2 GB 的数据），这些数据库已用于特定主题领域分析的数据集市，例如财务规划和预算、会计、采购、销售、营销等。用户可以使用这些 MDDB 执行交互式分析，包括上钻/下钻/钻取、假设分析和场景规划，但仅限于特定的功能区域。

### 数据仓库设备 ###

分析应用程序必须在聚合级别处理数据以找到新模式。在通用/商品硬件上运行的传统 RDBMS（如 DB2、Oracle 和 SQL Server）在满足这些分析工作负载的需求方面落后。Teradata 等 DBMS，Netezza、Neoview、Parallel Data Warehouse 和 SAP HANA 等设备进入市场以满足这些需求。它们在使用大规模并行架构和内存处理的专用硬件上运行，从而提供所需的性能提升。这些设备已用于实现企业数据仓库的风格。然而，除 Teradata 外，所有其他设备技术都收效甚微。

### 数据湖 ###

ODS、EDW 和数据集市仅处理企业结构化数据。他们无法处理和分析半结构化（JSON、XML 等）和非结构化数据（文本、文档、图像、视频、音频等）。

此外，它们是在云出现之前开发的。因此，存储和计算资源之间存在紧密集成。因此，这些资源必须针对应用程序的峰值负载进行规划，而当应用程序的负载不高时，这些资源在大多数情况下都不会得到充分利用。

随着大数据技术的到来，数据架构的另一种变体应运而生，即数据湖。虽然数据湖的用途类似于 EDW 或数据集市，但它也适用于半结构化和非结构化数据。它是 AWS S3、Azure ADLS 或 Google 的 GCS 等云基础设施上更为突出的实现。

虽然数据仓库和数据集市是根据预定义的目的构建的，但数据湖是所有类型数据的原始存储（以尽可能低的存储成本），可以通过旋转数据仓库、数据集市来针对特定目的进行处理，或数据科学和认知科学应用程序的数据管道。

由于数据湖保存原始数据，因此写入时不需要模式，这与数据仓库和数据集市不同，数据仓库和数据集市在将数据加载到其中时需要预定义模式。

与昂贵的专有数据仓库相比，数据湖的低成本、对象存储和开放格式特性使其广受欢迎。然而，数据湖也有其自身的挑战，例如：

*  缺乏对交易应用程序的支持
 *  可靠性低
 *  数据质量差
 *  安全执行
 *  随着数据量的增长性能下降 典型的数据湖架构如下所示：

![9c6375ac37a2a91850ffe27c873f6aae.png][]

数据湖架构

### 推荐书单 ###

#### 《项目驱动零起点学Java》 ####

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

《项目驱动零起点学Java》贯穿6个完整项目，经过作者多年教学经验提炼而得，项目从小到大、从短到长，可以让读者在练习项目的过程中，快速掌握一系列知识点。

马士兵，马士兵教育创始人，毕业于清华大学，著名IT讲师，所讲课程广受欢迎，学生遍布全球大厂，擅长用简单的语言讲授复杂的问题，擅长项目驱动知识的综合学习。马士兵教育获得在线教育“名课堂”奖、“最受欢迎机构”奖。

赵珊珊，从事多年一线开发，曾为国税、地税税务系统工作。拥有7年一线教学经验，多年线上、线下教育的积累沉淀，培养学员数万名，讲解细致，脉络清晰。

[《项目驱动零起点学Java》(马士兵，赵珊珊)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《项目驱动零起点学Java》在线选购，本书作者：，出版社：清华大学出版社。买图书，到京东。网购图书，享受最低优惠折扣!![icon-default.png?t=N4P3][icon-default.png_t_N4P3]https://item.jd.com/13607758.html][Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]

![aeb6fbe6d3cc4abfba2a7cd0e624058f.jpeg][]

> > > > ### 精彩回顾 ###
> > 
> > [部署Spring Boot应用程序][Spring Boot]
> > 
> > [Java Spring Boot 3.0.0 RC1 震撼登场!][Java Spring Boot 3.0.0 RC1]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[b3667b3ae6bbcc80aa3789a6c0696833.png]: https://img-blog.csdnimg.cn/img_convert/b3667b3ae6bbcc80aa3789a6c0696833.png
[cb0505026a1907fcac2f1a27bd00643b.png]: https://img-blog.csdnimg.cn/img_convert/cb0505026a1907fcac2f1a27bd00643b.png
[9c6375ac37a2a91850ffe27c873f6aae.png]: https://img-blog.csdnimg.cn/img_convert/9c6375ac37a2a91850ffe27c873f6aae.png
[icon-default.png_t_N4P3]: https://csdnimg.cn/release/blog_editor_html/release2.3.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N4P3
[Java_ _ _- _JD.COM_Java_icon-default.png_t_N4P3_icon-default.png_t_N4P3_https_item.jd.com_13607758.html]: https://item.jd.com/13607758.html
[aeb6fbe6d3cc4abfba2a7cd0e624058f.jpeg]: https://img-blog.csdnimg.cn/aeb6fbe6d3cc4abfba2a7cd0e624058f.jpeg
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485902&idx=1&sn=f8a8b41aa78df26fbb4171bf8b14c938&chksm=c27a0614f50d8f02690b33e16513185067ad3fad6638a7f6eaf1a2b03bf01ed3fad164339cb8&scene=21#wechat_redirect
[Java Spring Boot 3.0.0 RC1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485911&idx=1&sn=33ccbc9f8c9f98de24e05cdae26767f7&chksm=c27a060df50d8f1bb9d16fc293b5bd94faabacf4763d20f60a4962e709f1bd60efae4dd5a4ec&scene=21#wechat_redirect