spark 什么是数据湖？什么是deltalake?

淩亂°似流年 2021-09-25 04:58 481阅读 0赞

## What is a data lake? ##

**A data lake is a centralized data repository that is capable of storing both traditional structured (row and column) data, as well as unstructured, non-tabular raw data in its native format (like videos, images, binary files, and more.)‍ Data Lakes leverage inexpensive object storage and open formats to enable many applications to take advantage of the data.**

Data lakes are often used to consolidate all of an organization’s data in a single, central location, where it can be saved “as is,” without the need to impose a schema or structure on it up front. Data in all stages of the refinement process can be stored in a data lake: raw data can be ingested and stored right alongside an organization’s structured, tabular data sources (like database tables), as well as intermediate data tables generated in the process of refining raw data. Unlike most databases, data lakes can process all data types including images, video, audio and text.

[https://databricks.com/discover/data-lakes/introduction\#data-lake][https_databricks.com_discover_data-lakes_introduction_data-lake]

什么是数据湖？

**数据湖是一个集中的数据仓库，能够存储传统的结构化（行和列）数据，以及原生格式（如视频、图像、二进制文件等）的非结构化、非表格原始数据。数据湖利用廉价的对象存储和开放格式，使许多应用程序能够利用这些数据。【数据湖打破了这些数据孤岛，将组织的所有批处理和流式数据资产集中并整合到一个完整而权威的数据存储中，以进行最新的分析】**

数据湖通常用于将一个组织的所有数据整合到一个单一的中心位置，在该位置可以“按原样”保存数据，而无需预先对其强加模式或结构。精化过程的所有阶段的数据都可以存储在数据池中：原始数据可以被摄取并存储在组织的结构化表格数据源（如数据库表）以及精化原始数据过程中生成的中间数据表旁边。与大多数数据库不同，数据湖可以处理所有数据类型，包括图像、视频、音频和文本。

## Why do you need a data lake? ##

Today, companies have lots of data, but it’s often isolated and siloed away in different storage systems: data warehouses, databases, and other storage systems across the enterprise. A data lake breaks down these data silos, centralizing and consolidating all of your organization’s batch and streaming data assets into a complete and authoritative data store for analytics that is always up to date. Unifying all of your data in a data lake is the first step for companies that aspire to harness the power of machine learning and data analytics to win in the next decade.

A data lake’s flexible, unified architecture opens up a wide range of new use cases for cross-functional enterprise scale analytics, BI, and machine learning projects that can unlock massive business value. Data analysts can harvest rich insights by querying the data lake using SQL, data scientists can join and enrich data sets to generate ML models with ever greater accuracy, data engineers can build automated ETL pipelines, and business intelligence analysts can create visual dashboards and reporting tools faster and easier than before. These use cases can all be performed on the data lake simultaneously, without lifting and shifting the data, even while new data is streaming in.

[https://databricks.com/discover/data-lakes/introduction\#why-data-lake][https_databricks.com_discover_data-lakes_introduction_why-data-lake]

为什么需要数据湖？

如今，公司拥有大量数据，但这些数据通常被隔离并存储在不同的存储系统中：数据仓库、数据库和整个企业的其他存储系统。**数据湖打破了这些数据孤岛，将组织的所有批处理和流式数据资产集中并整合到一个完整而权威的数据存储中，以进行最新的分析。**对于那些希望利用机器学习和数据分析能力在未来十年取得成功的公司来说，将所有数据统一到一个数据湖中是第一步。

data lake灵活、统一的体系结构为跨职能的企业级分析、BI和机器学习项目提供了广泛的新用例，这些项目可以释放巨大的业务价值。数据分析师可以通过使用SQL查询数据湖来获取丰富的见解，数据科学家可以加入并丰富数据集，以更高的精度生成ML模型，数据工程师可以构建自动化的ETL管道，商业智能分析师可以比以前更快更容易地创建可视化仪表板和报告工具。这些用例都可以在数据湖上同时执行，而无需提升和移动数据，即使新数据正在流入。

\-------------------------------------

## Introduction ##

[Delta Lake][] is an [open source storage layer][] that brings reliability to [data lakes][]. Delta Lake provides ACID transactions, scalable metadata handling, and unifies streaming and batch data processing. Delta Lake runs on top of your existing data lake and is fully compatible with Apache Spark APIs.

Specifically, Delta Lake offers:

*  ACID transactions on Spark: Serializable isolation levels ensure that readers never see inconsistent data.
 *  Scalable metadata handling: Leverages Spark’s distributed processing power to handle all the metadata for petabyte-scale tables with billions of files at ease.
 *  Streaming and batch unification: A table in Delta Lake is a batch table as well as a streaming source and sink. Streaming data ingest, batch historic backfill, interactive queries all just work out of the box.
 *  Schema enforcement: Automatically handles schema variations to prevent insertion of bad records during ingestion.
 *  Time travel: Data versioning enables rollbacks, full historical audit trails, and reproducible machine learning experiments.
 *  Upserts and deletes: Supports merge, update and delete operations to enable complex use cases like change-data-capture, slowly-changing-dimension (SCD) operations, streaming upserts, and so on.

[https://docs.delta.io/latest/delta-intro.html][https_docs.delta.io_latest_delta-intro.html]

介绍

Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。**Delta-Lake运行在现有数据湖之上，并且与apachesparkapi完全兼容。**

具体而言，Delta Lake提供：

Spark上的ACID事务：可序列化的隔离级别确保读者永远不会看到不一致的数据。

可扩展的元数据处理：利用Spark的分布式处理能力，轻松处理PB级表和数十亿个文件的所有元数据。

流与批统一：三角洲湖中的一个表既是一个批表，也是一个流源和流汇。流式数据接收、批历史回填、交互式查询都是现成的。

模式强制：自动处理模式变化，以防止在接收过程中插入错误记录。

时间旅行：数据版本控制支持回滚、完整的历史审计跟踪和可复制的机器学习实验。

Upserts和deletes：支持合并、更新和删除操作，以支持复杂的用例，如更改数据捕获、缓慢更改维度（SCD）操作、流式Upserts等等。

\-------------------------------------

[什么是][Link 1][Delta Lake][Delta Lake 1][？][Link 1]

[Delta Lake][]是一个[开放源代码存储层][open source storage layer]，可为[数据湖][data lakes]带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流和批处理数据处理。Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。

[Delta Lake与Apache Spark有何关系？][Delta Lake 1]

Delta Lake位于Apache Spark之上。格式和计算层有助于简化大数据管道的构建并提高管道的整体效率。

[Delta Lake使用什么格式存储数据？][Delta Lake 2]

**Delta Lake使用版本化的Parquet文件将您的数据存储在您的云存储中。**除版本外，Delta Lake还存储事务日志，以跟踪对表或Blob存储目录进行的所有提交以提供ACID事务。

[如何使用Delta Lake读写数据？][Delta Lake 3]

您可以使用自己喜欢的Apache Spark API来使用Delta Lake读写数据。请参阅[读取表][Link 2]和[写入表][Link 3]。

[Delta Lake在哪里存储数据？][Delta Lake 4]

**写入数据时，您可以指定云存储中的位置。Delta Lake以Parquet格式将数据存储在该位置。**

[Delta Lake是否支持多表交易？][Delta Lake 5]

Delta Lake不支持多表事务和外键。Delta Lake支持*表*级别的事务。

[https://docs.delta.io/latest/delta-faq.html][https_docs.delta.io_latest_delta-faq.html]

\-------------------------------------

### 1.delta特性简介 ###

Delta Lake是Spark计算框架和存储系统之间带有Schema信息数据的存储中间层。它给Spark带来了三个最主要的功能：

第一，Delta Lake使得Spark能支持数据更新和删除功能；

第二，Delta Lake使得Spark能支持事务；

第三，支持数据版本管理，运行用户查询历史数据快照。

## 核心特性 ##

1.  ACID事务：为数据湖提供ACID事务，确保在多个数据管道并发读写数据时，数据能保持完整性。
2.  数据版本管理和时间旅行：提供了数据快照，使开发人员能够访问和还原早期版本的数据以进行审核、回滚或重现实验
3.  可伸缩的元数据管理：存储表或者文件的元数据信息，并且把元数据也作为数据处理，元数据与数据的对应关系存放在事务日志中；
4.  流和批统一处理：Delta中的表既有批量的，也有流式和sink的；
5.  数据操作审计：事务日志记录对数据所做的每个更改的详细信息，提供对更改的完整审计跟踪；
6.  Schema管理功能：提供自动验证写入数据的Schema与表的Schema是否兼容的能力，并提供显示增加列和自动更新Schema的能力；
7.  数据表操作(类似于传统数据库的SQL)：合并、更新和删除等，提供完全兼容Spark的Java/scala API；
8.  统一格式：Delta中所有的数据和元数据都存储为Apache Parquet。

Delta的特性实现是基于事务日志，比如ACID事务管理、数据原子性、元数据处理和时间旅行等功能。

Delta Lake 说白了就是一个lib库

Delta Lake 是一个lib 而不是一个service,不同于HBase,他不需要单独部署，而是直接依附于计算引擎的。目前只支持Spark引擎。这意味什么呢？Delta Lake 和普通的parquet文件使用方式没有任何差异，你只要在你的Spark代码项目里引入delta包，按标准的Spark datasource操作即可，可谓部署和使用成本极低。

Delta Lake真实内容幕

**Parquet文件 + Meta 文件 + 一组操作的API = Delta Lake.**

所以Delta没啥神秘的，和parquet没有任何区别。但是他通过meta文件以及相应的API,提供众多特性功能的支持。在Spark中使用它和使用parquet的唯一区别就是把format parquet换成detla。

![33ec9f19d12130dd69b8469c7cdfac5d.png][]

上图可以看出，数据湖目的实一站式提供各种数据服务。

[https://maokun.blog.csdn.net/article/details/109556977][https_maokun.blog.csdn.net_article_details_109556977]

[https_databricks.com_discover_data-lakes_introduction_data-lake]: https://databricks.com/discover/data-lakes/introduction#data-lake
[https_databricks.com_discover_data-lakes_introduction_why-data-lake]: https://databricks.com/discover/data-lakes/introduction#why-data-lake
[Delta Lake]: https://delta.io/
[open source storage layer]: https://github.com/delta-io/delta
[data lakes]: https://databricks.com/discover/data-lakes/introduction
[https_docs.delta.io_latest_delta-intro.html]: https://docs.delta.io/latest/delta-intro.html
[Link 1]: https://docs.delta.io/latest/delta-faq.html#id1
[Delta Lake 1]: https://docs.delta.io/latest/delta-faq.html#id2
[Delta Lake 2]: https://docs.delta.io/latest/delta-faq.html#id3
[Delta Lake 3]: https://docs.delta.io/latest/delta-faq.html#id4
[Link 2]: https://docs.delta.io/latest/delta-batch.html#-deltadataframereads
[Link 3]: https://docs.delta.io/latest/delta-batch.html#-deltadataframewrites
[Delta Lake 4]: https://docs.delta.io/latest/delta-faq.html#id5
[Delta Lake 5]: https://docs.delta.io/latest/delta-faq.html#id9
[https_docs.delta.io_latest_delta-faq.html]: https://docs.delta.io/latest/delta-faq.html
[33ec9f19d12130dd69b8469c7cdfac5d.png]: /images/20210923/c628b4792bbf4d50acfb45270660758e.png
[https_maokun.blog.csdn.net_article_details_109556977]: https://maokun.blog.csdn.net/article/details/109556977