阿里云云原生数据湖体系全解读——数据湖存储OSS 远程存储

我就是我 2022-12-11 09:21 215阅读 0赞

随着数据量的爆发式增长， 数字化转型成为整个 IT 行业的热点， 数据也开始需要更深度的价值挖掘， 因此需要确保数据中保留的原始信息不丢失， 从而应对未来不断变化的需求。当前以 oracle 为代表的数据库中间件已经逐渐无法适应这样的需求， 于是业界也不断的产生新的计算引擎， 以便应对数据时代的到来。 在此背景下， 数据湖的概念被越来越多的人提起， 希望能有一套系统在保留数据的原始信息情况下， 又能快速对接多种不同的计算平台，从而在数据时代占的先机。

## 什么是数据湖 ##

数据湖（ Data Lake） 以集中式存储各种类型数据， 包括： 结构化、 半结构化、 非结构化数据。 **数据湖无需事先定义 Schema， 数据可以按照原始形态直接存储**， 覆盖多种类型的数据输入源。 数据湖无缝对接多种计算分析平台， 对 Hadoop 生态支持良好， 存储在数据湖中的数据可以直接对其进行数据分析、 处理、 查询， 通过对数据深入挖掘与分析， 洞察数据中蕴含的价值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70_pic_center]

## 基于OSS的数据湖存储 ##

阿里云对象存储 OSS（ Object Storage Service） 是阿里云提供的海量、 安全、 低成本、 高可靠的云存储服务。 其数据设计持久性不低于 99.9999999999%（ 12 个 9） ，服务可用性（ 或业务连续性） 不低于 99.995%。 **OSS 具有与平台无关的 RESTful API接口**， 您可以在任何应用、 任何时间、 任何地点存储和访问任意类型的数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70_pic_center 1]  
海量数据存储：OSS 采用分布式系统架构， 扁平命名空间设计， 支持无限制的存储规模， 并且性能和  
容量可以随着系统扩展线性提升。OSS 支持弹性扩容， 容量自动扩展， 不限制存储空间大小， 用户可以根据所需存储量无限扩展存储空间， 并只按照实际使用量收取费用， 无需客户自己提前配置。OSS 支持数据高可用，在同一地域内（ region） 采用多可用区（ AZ） 冗余机制以及跨地域的复制机制，避免单点故障导致数据丢失或无法访问；支持数据周期性校验， 避免静默数据损坏；支持 Object 操作强一致性， 写入 Object 的数据在返回成功响应后， 立即可读；支持多版本能力， 防止数据误删。整体 OSS 满足 12 个 9 的数据持久性以及 995%的服务可用性。  
高效数据计算：OSS 提供 RESTFul API， 具有互联网可访问能力， 用户可以随时随地立即存储或者访问数据， 无需提前进行映射和挂载操作。OSS 兼容开源 Hadoop 生态， 且无缝对接阿里云多种不同的计算平台， 使得数据无需拷贝即可被计算平台共享使用。 同时针对部分计算平台优化特定操作， 从而提升数据处理性能。OSS 支持算子卸载能力， 目前提供了 Select 语句支持， 可以让用户从单个文件中仅读取需要的数据， 从而提升数据获取效率。  
安全数据管理：OSS 支持数据生命周期管理， 用户可以通过设置生命周期规则， 将符合规则的数据自  
动删除或者转储到更低成本的存储中。OSS 支持客户端和服务端两种数据加密能力， 用户可以根据自身情况灵活选择加密方案， 避免数据泄露。OSS 通过 WORM（ Write Once Read Many） 特性， 支持数据保留合规， 允许用户以“ 不可删除、 不可篡改” 方式保存和使用数据， 符合美国证券交易委员会（ SEC）和金融业监管局（ FINRA） 的合规要求（ OSS 已获得对应的合规认证） 。OSS 支持多种数据访问安全控制策略， 实现针对 bucket、 object、 role 的长期或者临时授权， 从而满足最小权限数据共享的安全策略。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/f69ea7c2471f43e9a0072f1e959c63db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/5537add671d04ebebdd1e3ac7b8986d9.png