Presto优化之查询SQL

柔情只为你懂 2023-01-07 11:28 339阅读 0赞

# Presto优化之查询SQL #

### 1. 只选择使用的字段 ###

> 由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用\*读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl
    
    [BAD]:  SELECT * FROM tbl

### 2. 过滤条件必须加上分区字段 ###

> 对于有分区的表，where语句中优先使用分区字段进行过滤。acct\_day是分区字段，visit\_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101
    
    [BAD]:  SELECT * FROM tbl where visit_time=20171101

### 3. Group By语句优化 ###

> 合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender
    
    [BAD]:  SELECT GROUP BY gender, uid

### 4. Order by时使用Limit ###

> Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100
    
    [BAD]:  SELECT * FROM tbl ORDER BY time

### 5. 使用Join语句时将大表放在左边 ###

> Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id
    
    [BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

发表评论取消回复

表情：

评论列表（有 0 条评论，339人围观）

还没有评论，来说两句吧...

相关阅读

相关 Presto (三) --------- Presto 优化

目录一、数据存储二、查询 SQL 三、注意事项 -------------------- 一、数据存储 A、合理设置分区与 Hive

古城微笑少年丶/ 2024年04月01日 15:20/ 0 赞/ 15 阅读

相关 presto查询优化

资料：https://www.jianshu.com/p/f435ce79c966 数据存储优化合理设置分区与Hive类似，Presto会根据元信

约定不等于承诺〃/ 2023年01月14日 10:56/ 0 赞/ 84 阅读

相关 Presto优化之数据存储

Presto优化之数据存储 1. 合理设置分区 > 与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

向右看齐/ 2023年01月07日 11:28/ 0 赞/ 149 阅读

相关 Presto优化之查询SQL

Presto优化之查询SQL 1. 只选择使用的字段 > 由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用\读取所有字段。 [GOO

柔情只为你懂/ 2023年01月07日 11:28/ 0 赞/ 340 阅读

相关 Hadoop生态圈之即席查询工具Presto

一、Presto概念 presto是一个开源的分布式sql查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询场景。注意：虽然presto可以解析SQL

叁歲伎倆/ 2023年01月07日 11:27/ 0 赞/ 164 阅读

相关 Hadoop生态圈之即席查询工具Presto

一、Presto概念 presto是一个开源的分布式sql查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询场景。注意：虽然presto可以解析SQL

绝地灬酷狼/ 2022年11月19日 11:13/ 0 赞/ 293 阅读

相关 SQL查询优化

SQL查询优化主要针对SQL查询的优化介绍： 1. 慢查询 2. 索引 3. 拆分表全文索引主要是针对文件、文本的检索，比如文章。全文索引针对MyISA

拼搏现实的明天。/ 2022年10月02日 14:59/ 0 赞/ 184 阅读

相关 SQL慢查询优化之联表查询

一、前提基础 1、关联查询： MySQL 表关联的算法是 Nest Loop Join，是通过驱动表的结果集作为循环基础数据，然后一条一条地通过该结果集中的

柔光的暖阳◎/ 2022年05月29日 06:54/ 0 赞/ 222 阅读

相关 SQL慢查询优化之联表查询

-------------------- 一、前提基础 \ 1、关联查询 \\ MySQL 表关联的算法是 Nest Loop Join，是通过驱动表的结果集作为

小灰灰/ 2022年05月26日 03:27/ 0 赞/ 202 阅读

相关 Presto优化方法

我们针对presto主要优化了以下方面： 1.合并store\_sales表里面的152小文件到38个文件，每个250M; ALTER TABLE store\_sales

Love The Way You Lie/ 2021年09月28日 23:38/ 0 赞/ 439 阅读