分布式大数据引擎Presto和Apache Spark

比眉伴天荒 2022-12-01 12:24 200阅读 0赞

![http://spark.apache.org/images/spark-runs-everywhere.png][http_spark.apache.org_images_spark-runs-everywhere.png]

Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。

这其中有两点就值得探究，首先是架构，其次自然是怎么做到低延迟来支持及时交互。

[Spark 3.0 ][Spark 3.0]是专为大规模数据处理而设计的快速通用的计算引擎。Spark是开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法

## Presto架构 ##

![Center][]

Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Worker节点负责实际执行查询任务。Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。如果配置了Hive Connector，需要配置一个Hive MetaStore服务为Presto提供Hive元信息，Worker节点与HDFS交互读取数据

## Presto安装部署 ##

参考：http://tech.meituan.com/presto.html

参考：http://prestodb-china.com/docs/current/installation.html

[http_spark.apache.org_images_spark-runs-everywhere.png]: /images/20221123/c40ca4667eaf4ddc9aaa1f5a2afb3312.png
[Spark 3.0]: http://spark.apache.org/docs/latest/
[Center]: /images/20221123/4e3055be32b44151b8338a41b10bc193.png