presto源码学习1——Presto概述

超、凢脫俗 2022-12-15 14:19 293阅读 0赞

> presto是基于Java语言开发的一个用来即席查询大数据的查询引擎，是facebook公司的一个开源产品

#### 相关文档 ####

*  git地址：https://gitee.com/mirrors/presto.git
 *  [官方文档][Link 1]

### presto的特点 ###

<table> 
 <thead> 
  <tr> 
   <th>特点</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>多数据源</td> 
   <td>presto目前支持包括mysql、hive等多种常用存储</td> 
  </tr> 
  <tr> 
   <td>扩展性</td> 
   <td>presto支持开发者自定义开发可插拔式的数据源插件</td> 
  </tr> 
  <tr> 
   <td>混合计算</td> 
   <td>presto支持同一个集群接入多个同一种存储组件，比如一个presto集群可以接入两个以上的hive集群，并且支持对这两个不同的hive集群的数据进行join查询和计算</td> 
  </tr> 
  <tr> 
   <td>高性能</td> 
   <td>presto是完全基于内存的并行计算，查询速度是hive的十倍之上</td> 
  </tr> 
 </tbody> 
</table>

### presto中的角色 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzIxNDE5_size_16_color_FFFFFF_t_70_pic_center]

如图所示，presto一次查询中主要涉及下面三种角色：

*  client：发起数据查询请求方，方式有：pre-cli、jdbc等
 *  Coordinator：presto集群中的管理节点，主要负责接收数据查询的请求、解析查询语句、生成查询计划、任务调度和集群节点管理等
 *  worker：是presto集群重的工作节点，主要负责执行Coordinator节点分发的数据计算操作

其中，worker节点会定期向Coordinator节点发送心跳，而Coordinator节点会维护存活的worker节点列表，并从中选择合适的worker节点用来执行具体的计算任务

### presto的相关概念 ###

#### Connector ####

可以理解为presto用来访问不同数据源的驱动或是插件，目前支持的connector有hive、mysql、kafka、kudu等，这些connector都实现了presto定义的spi接口，如果需要自定义特殊的数据源，也可以通过实现这个spi接口来开发特定的插件

#### Catalog ####

presto的catalog相当于我们经常说的mysql实例，可以在$PRESTO\_HOME/etc/catalog/下通过新增.properties文件来习总能catalog，其中文件名就是catalog名，我们可以通过定义不同的catalog来接入不同的数据存储，比如hive、mysql等，文件中的具体配置信息可以直接参考presto提供的杨例配置，比较清晰

#### Schema ####

schema就相当于我们平常用的数据库了，当presto访问hive或者mysql数据库时，schema就会转换为目标数据库中相同的概念

#### Table ####

presto中的数据表定义与其他数据库中的表定义是一样的

### presto的查询执行模型 ###

#### Statement ####

就是客户端向presto集群提交的SQL查询语句

#### Query ####

presto会将接收到的Statement语句进行解析，然后转化成一个query，并生成查询计划

与statement不同的是，Query包含了查询计划以及后面要介绍的Stage、Task、Split等很多用来进行数据计算的概念和组件，可以理解为statement就是sql语句，而query是一次查询执行

#### Stage ####

presto在执行Query的时候，会把每一个query切分成多个前后关联的stage，但这只是一个逻辑概念，是在coordinator中用来生成分布式查询计划的，本身不会在worker中执行

stage可以分为以下四种：

*  Source：负责连接数据源，从数据源读取数据的一个阶段
 *  Fixed：接收其他stage的产出作为输入，然后对数据进行分布式计算的stage
 *  Single（Root）：聚合其他stage的产出，并将数据输出给用户的阶段
 *  Coordinator\_Only：执行DDL、DML相关的stage

#### Task ####

stage逻辑上又被分为一系列的task，这些task就是后面要实际在worker上执行的任务，并且这些task可以并行的执行

#### Split ####

split：数据分片，是对数据集的一个切分，每个task负责处理一个或多个数据split

#### Operator ####

一个Operator代表对Split的一种操作，比如过滤、加权、转换等。一个Operator回依次读取每个数据分片重的数据，并将operator代表的计算和操作应用在数据上，然后产生输出

#### Driver ####

一个task包含多个Driver，其中，Driver是一系列Operator的集合，并且将相应的输出传递给他的task，task将收集到的输出结果传送给下一个stage中的一个task

#### Exchange ####

presto的stage通过exchange来进行数据传递，可以分为output buffer和exchange client两种。

其中，生产数据的stage通过output buffer将数据传递给下游的stage，消费数据的stage通过exchange client丛上游stage读取数据

[Link 1]: https://prestodb.io/docs/current/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzIxNDE5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/a425cb4dcfd84c2ea4e8c9c8985bf3c4.png