阿里靠什么支撑 EB 级计算力？

红太狼 2022-04-24 06:26 184阅读 0赞

BigData 概念在上世纪90年代被提出，随 Google 的3篇经典论文（GFS，BigTable，MapReduce）奠基，已经发展了超过10年。这10年中，诞生了包括Google 大数据体系，微软 Cosmos 体系，开源 Hadoop 体系等优秀的系统，这其中也包括阿里云的飞天系统。这些系统一步一步推动业界进入“数字化“和之后的“ AI 化”的时代。

同时，与其他老牌系统相比（如，Linux 等操作系统体系，数据库系统、中间件，很多有超过30年的历史），大数据系统又非常年轻，随着云计算的普惠，正在大规模被应用。海量的需求和迭代推动系统快速发展，有蓬勃的生机。（技术体系的发展，可以通过如下 Hype-Cycle 概述，作者认为，大数据系统的发展进入技术复兴期/Slope of Enlightenment，并开始大规模应用 Plateau of Productivity。）

![image][]

上图来自Gartner

如果说，0到1上线标志一个系统的诞生，在集团内大规模部署标志一个系统的成长，在云上对外大规模服务标志一个系统的成熟。

MaxCompute 这10年已经走向成熟，经过多次升级换代，功能、性能、服务、稳定性已经有一个体系化的基础，成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。

## **1. MaxCompute（ODPS）概述** ##

**1.1 背景信息：十年之后，回头看什么是大数据**

"Big data represents the information assets characterized by such a high volume, velocity and variety torequire specific technology and analytical methods for its transformation intovalue. "

用5个“V”来描述大数据的特点：

*  Volume （数据量）：数据量非线性增长，包括采集、存储和计算的量都非常大，且增速很快。
 *  Variety （数据类型）：包括结构化和非结构化的数据，特别是最近随音视图兴起，非结构化数据增速更快。
 *  Velocity（数据存储和计算的增长速度）：数据增长速度快，处理速度快，时效性要求高。
 *  Veracity（信噪比）：数据量越大，噪声越多，需要深入挖掘数据来得到结果。
 *  Value（价值）：数据作为一种资产，有 1+1>2 的特点。

![image][image 1]

**1.3 竞品对比与分析**

大数据发展到今天，数据仓库市场潜力仍然巨大，更多客户开始选择云数据仓库，CDW仍处于高速增长期。当前互联网公司和传统数仓厂家都有进入领导者地位，竞争激烈，阿里巴巴CDW在全球权威咨询与服务机构Forrester发布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》报告中位列中国第一，全球第七。

[原文链接][Link 1]

[image]: /images/20220218/2d9117d20a0346409d3c9426acb181be.png
[image 1]: /images/20220218/e8e38a70edf1470ca78185e4b0375166.png
[Link 1]: https://yq.aliyun.com/articles/698738?spm=a2c4e.11153940.bloghomeflow.1.2b9f291aOEk4Tw