MySQL关于order by和group by的优化

绝地灬酷狼 2022-01-21 08:17 293阅读 0赞

order by 关键字优化

尽量使用index方式排序，避免使用filesort方式排序

create table tblA( #id int primary key not null auto_increment, age int, birth TIMESTAMP not null );
    
    insert into tblA(age,birth) values(22,now());
    insert into tblA(age,birth) values(22,now());
    insert into tblA(age,birth) values(22,now());
    -- 在age和birth上建立索引
    create index idx_A_ageBirth on tblA(age,birth);
    
    select * from tblA;

-- type为index类型的
    EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY age;
    EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY age,birth;
    
    -- 这个产生了filesort了，因为带头大哥age不在了
    EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY birth;
    EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY birth,age;
    EXPLAIN SELECT * FROM tblA ORDER BY birth;
    EXPLAIN SELECT * FROM tblA WHERE birth>'2018-02-23 00:00:00' ORDER BY birth;
    
    -- 这个没有filesort，age就是大哥
    EXPLAIN SELECT * FROM tblA WHERE birth>'2018-02-23 00:00:00' ORDER BY age;
    
    -- 这个有filesort，索引建立默认是升序
    EXPLAIN SELECT * FROM tblA ORDER BY age ASC,birth DESC;

mysql支持两种方式的排序，filesort和index，index效率高，它指mysql扫描索引本身完成排序。filesort方式效率低

order by满足两种情况，会使用index方式排序

*  order by语句使用索引最左前列
 *  使用where子句与order by子句条件列组合满足索引最左前列

### 尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀 ###

### 如果不在索引列上，filesort有两种算法：mysql就要启动双路排序和单路排序 ###

*  双路排序：mysql4.1之前是使用双路排序，字面意思就是**两次**扫描磁盘，最终得到数据。读取行指针和orderby列，对他们进行排序，然后扫描已经排好序的列表，按照列表中的值重新从列表中读取对应的数据输出。从磁盘取排序字段，在buffer进行排序，再从磁盘取其他字段。
 *  取一批数据，要对磁盘进行两次扫描，众所周知，I/O是很耗时的，所以在mysql4.1之后，出现了第二种改进的算法，就是单路排序。
 *  单路排序：从磁盘读取查询需要的所有列，安装order by列在buffer对它们进行排序，然后扫描排序后的列表进行输出，它的效率更快一些，避免了第二次读取数据，并且把随机IO变成了顺序IO，但是它会使用更多的空间，因为它把每一行都保存在内存中了。
 *  结论及引申出的问题：由于单路是后出的，总体而言好过双路。但是单路有问题  
    
    
     *  在sort\_buffer中，方法B比方法A要多占用很多空间，因为方法B是把所有字段都取出来，所以有可能取出的数据的总大小超出了sort\_buffer的总量，导致每次只能取sort\_buffer容量大小的数据，进行排序（创建tmp文件，多路合并），排序再去取sort\_buffer容量大小，再排。。。从而多次I/O
     *  本来想省一次I/O操作，反而导致了大量的I/O操作，反而得不偿失

## 优化策略 ##

*  增大sort\_buffer\_size参数的设置
 *  增大max\_length\_for\_sort\_data参数的设置
 *  Why，

提高order by的速度

*  order by时select \*是一个大忌，只query需要的字段，这点非常重要，在这里影响的是  
    
    
     *  当query的字段大小总和小于max\_length\_for\_sort\_data而且排序字段不是text或blob类型时，会用改进后的算法–单路排序，否则用老算法–多路排序
     *  两种算法的数据都有可能超出sort\_buffer的容量，超出之后，会创建tmp文件进行合并排序，导致多次I/O，但是用单路排序算法的风险会更大一些，所以要提高sort\_buffer\_size
 *  尝试提高sort\_buffer\_size  
    
    
     *  不管用那种算法，提供这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的
 *  尝试提高max\_length\_for\_sort\_data  
    
    
     *  提高这个参数，会增加用改进算法的概率，但是如果设的太高，数据总容量超出sort\_buffer\_size的概率就增大了，明显症状是高的磁盘I/O活动和低的处理器使用率

## 总结 ##

mysql两种排序方式：文件排序或扫描有序索引排序

mysql能为**排序与查询**使用相同的索引

key a_b_c(a,b,c)
    
    order by能使用索引最左前缀
    order by a
    order by a,b
    order by a,b,c
    order by a desc,b desc,c desc #这个同时都为降序所以也可以
    
    如果where使用索引的最左前缀定义为常量，则order by能使用索引
    where a=const order by b,c
    where a=const and b=const order by c
    where a=const order by b,c
    where a=const and b>const order by b,c
    
    不能使用索引进行排序
    order by a asc,b desc,c desc #排序不一致，有升序有降序
    where g=const order by b,c #丢失a索引，没有带头大哥
    where a=const order by c #丢失b索引
    where a in(...) order by b,c #对于排序来说，多个相等条件也是范围查询

# group by关键字优化 #

*  group by实质是先排序后进行分组，遵照索引建的最佳左前缀
 *  当无法使用索引列，增大max\_length\_for\_sort\_data参数的设置+增大sort\_buffer\_size参数的设置
 *  where高于having,能写在where限定的条件就不要去having限定了