Mysql（五）索引优化常见的分页场景优化技巧 Join关联查询优化 in和exsits优化 count(*)查询优化

我就是我 2022-08-28 08:52 162阅读 0赞

### 文章目录 ###

*  前言
 *  常见的分页场景优化技巧：
 *   *  根据自增且连续的主键排序的分页查询
     *  根据非主键字段排序的分页查询
 *  Join关联查询优化
 *   *  嵌套循环连接 Nested-Loop Join(NLJ) 算法
     *  基于块的嵌套循环连接 Block Nested-Loop Join(BNL)算法
     *  被驱动表的关联字段没索引为什么要选择使用 BNL 算法而不使用 Nested-Loop Join ？
     *  关联sql的优化
     *   *  straight\_join：
 *  in和exsits优化
 *  count(\*)查询
 *   *  常见优化方法

--------------------

# 前言 #

前面我们讲了一部分索引优化，今天还有一部分，有兴趣的可以点专栏查看上一章的内容。  
示例表：

drop table `employees`;
    CREATE TABLE `employees` (
     `id` int(11) NOT NULL AUTO_INCREMENT,
     `name` varchar(24) NOT NULL DEFAULT '' COMMENT '姓名',
     `age` int(11) NOT NULL DEFAULT '0' COMMENT '年龄',
     `position` varchar(20) NOT NULL DEFAULT '' COMMENT '职位',
     `hire_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入职时间',
     PRIMARY KEY (`id`),
     KEY `idx_name_age_position` (`name`,`age`,`position`) USING BTREE
     ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='员工记录表';
     INSERT INTO employees(name,age,position,hire_time) VALUES('LiLei',22,'manager',NOW());
     INSERT INTO employees(name,age,position,hire_time) VALUES('HanMeimei', 23,'dev',NOW());
     INSERT INTO employees(name,age,position,hire_time) VALUES('Lucy',23,'dev',NOW());
    -- 插入一些示例数据
     drop procedure if exists insert_emp;
     delimiter ;;
     create procedure insert_emp()
     begin
     declare i int;
     set i=1;
     while(i<=100000)do
     insert into employees(name,age,position) values(CONCAT('zhuge',i),i,'dev');
     set i=i+1;
     end while;
     end;;
     delimiter ;
     call insert_emp();

# 常见的分页场景优化技巧： #

很多时候我们业务系统实现分页功能可能会用如下sql实现

select * from employees limit 10000,10;

表示从表 employees 中取出从 10001 行开始的 10 行记录。看似只查询了 10 条记录，实际这条 SQL 是先读取 10010 条记录，然后抛弃前 10000 条记录，然后读到后面 10 条想要的数据。因此要查询一张大表比较靠后的数据，执行效率是非常低的。

## 根据自增且连续的主键排序的分页查询 ##

SELECT * from employees LIMIT 9000,5;

![在这里插入图片描述][7d271d620a4a4ee0808fce3f46e1ba27.png]

对比一下执行计划：

EXPLAIN select * from employees where id > 9000 limit 5;

![在这里插入图片描述][1d44c5528dec478b9a54686732ca8b1d.png]

改写后的 SQL 走了索引，而且扫描的行数大大减少，执行效率更高

这条改写的SQL 在很多场景并不实用，因为表中可能某些记录被删后，主键空缺，导致结果不一致。所以这种改写得满 足以下两个条件：

*  主键自增且连续
 *  结果是按照主键排序的

## 根据非主键字段排序的分页查询 ##

EXPLAIN select * from employees ORDER BY name limit 9000,5;

![在这里插入图片描述][157e97a8efcc48edba9b357bb5d9690a.png]

发现并没有使用 name 字段的索引（key 字段对应的值为 null），扫描整个索引并查找到没索引的行(可能要遍历多个索引树)的成本比扫描全表的成本更高，所以优化器放弃使用索引。

让排序和分页操作先查出主键，然后根据主键查到对应的记录

select * from employees e inner join (select id from employees order by name limit 9000,5)ed on e.id = ed.id;

需要的结果与原 SQL 一致，执行时间减少了一半以上，我们再对比优化前后sql的执行计划：

EXPLAIN select * from employees e inner join (select id from employees order by name limit 9000,5)ed on e.id = ed.id;

![在这里插入图片描述][a7e9a2e349154e77a7d58c9243ecbb94.png]

原 SQL 使用的是 filesort 排序，而优化后的 SQL 使用的是索引排序。

# Join关联查询优化 #

mysql的表关联常见有两种算法：

*  Nested-Loop Join 算法
 *  Block Nested-Loop Join 算法

CREATE TABLE `t1` (
     `id` int(11) NOT NULL AUTO_INCREMENT,
     `a` int(11) DEFAULT NULL,
     `b` int(11) DEFAULT NULL,
     PRIMARY KEY (`id`),
     KEY `idx_a` (`a`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
     create table t2 like t1;
    
     drop procedure if exists insert_t1;
     delimiter ;;
     create procedure insert_t1()
     begin
    	declare i int;
    	set i=1;
    	while(i<=10000)do
    		insert into t1(a,b) values(i,i);
    		set i=i+1;
    	end while;
     end;;
     delimiter ;
     call insert_t1();
    
    
     drop procedure if exists insert_t2;
     delimiter ;;
     create procedure insert_t2()
     begin
    	declare i int;
    	set i=1;
    	while(i<=100)do
    		insert into t2(a,b) values(i,i);
    		set i=i+1;
    	end while;
     end;;
     delimiter ;
    call insert_t2();

## 嵌套循环连接 Nested-Loop Join(NLJ) 算法 ##

一次一行循环地从第一张表（称为驱动表）中读取行，在这行数据中取到关联字段，根据关联字段在另一张表（被驱动 表）里取出满足条件的行，然后取出两张表的结果合集

EXPLAIN select * from t1 inner join t2 on t1.a= t2.a;

![在这里插入图片描述][7eece58d1a684f59a719436e315c2cf0.png]  
从执行计划中可以看到这些信息：

驱动表是 t2，被驱动表是 t1。

即t2是小表，t1是大表，我们这里说的大小可不仅仅是说表数据的多少，而是结果集的大小，t2查询的结果集小，所以是小表。

sql的大致流程如下：

*  从表 t2 中读取一行数据（如果t2表有查询过滤条件的，会从过滤结果里取出一行数据）；
 *  从第 1 步的数据中，取出关联字段 a，到表 t1 中查找；
 *  取出表 t1 中满足条件的行，跟 t2 中获取到的结果合并，作为结果返回给客户端；
 *  重复上面 3 步。

整个过程会读取 t2 表的所有数据(扫描100行)，然后遍历这每行数据中字段 a 的值，根据 t2 表中 a 的值索引扫描 t1 表 中的对应行(扫描100次 t1 表的索引，1次扫描可以认为最终只扫描 t1 表一行完整数据，也就是总共 t1 表也扫描了100 行)。因此整个过程扫描了 200 行。 **如果被驱动表的关联字段没索引**，使用NLJ算法性能会比较低，mysql会选择Block Nested-Loop Join 算法。

先执行的就是驱动表(执行计划结果的id如果一样则按从上到下顺序执行sql)；优化器一般会优先选择小表做驱动表。所以使用 inner join 时，排在前面的表并不一定就是驱动表。

*  当使用left join时：左表是驱动表，右表是被驱动表
 *  当使用right join时：右表时驱动表，左表是被驱动表
 *  当使用join时：mysql会选择数据量比较小的表作为驱动表，大表作为被驱动表。

一般 join 语句中，如果执行计划 Extra 中未出现 Using join buffer 则表示使用的 join 算法是 NLJ。

## 基于块的嵌套循环连接 Block Nested-Loop Join(BNL)算法 ##

把驱动表的数据读入到 join\_buffer 中，然后扫描被驱动表，把被驱动表每一行取出来跟 join\_buffer 中的数据做对比

EXPLAIN select * from t1 inner join t2 on t1.b= t2.b;

![在这里插入图片描述][d617757e018f4efe90cd9c15a03e5145.png]  
Extra 中 的Using join buffer (Block Nested Loop)说明该关联查询使用的是 BNL 算法。

sql的大致流程如下：

*  把 t2 的所有数据放入到 join\_buffer 中
 *  把表 t1 中每一行取出来，跟 join\_buffer 中的数据做对比
 *  返回满足 join 条件的数据

整个过程对表 t1 和 t2 都做了一次全表扫描，因此扫描的总行数为

10000(表 t1 的数据总量) + 100(表 t2 的数据总量) = 10100。

并且 join\_buffer 里的数据是无序的，因此对表 t1 中的每一行，都要做 100 次判断，所以内存中的判断次数是 100 \* 10000= 100 万次。

这个例子里表 t2 才 100 行，要是表 t2 是一个大表，join\_buffer 放不下

join\_buffer 的大小是由参数 join\_buffer\_size 设定的，默认值是 256k。如果放不下表 t2 的所有数据话，策略很简单， 就是分段放。

比如 t2 表有1000行记录， join\_buffer 一次只能放800行数据，那么执行过程就是先往 join\_buffer 里放800行记录，然 后从 t1 表里取数据跟 join\_buffer 中数据对比得到部分结果，然后清空 join\_buffer ，再放入 t2 表剩余200行记录，再 次从 t1 表里取数据跟 join\_buffer 中数据对比。所以就多扫了一次 t1 表。

## 被驱动表的关联字段没索引为什么要选择使用 BNL 算法而不使用 Nested-Loop Join ？ ##

如果上面第二条sql使用 Nested-Loop Join，那么**磁盘扫描次数**为 100 \* 10000 = 100万次。

*  BNL**磁盘扫描次数**（10100）少很多.
 *  相比于磁盘扫描，BNL的内存计算会快得多。

因此MySQL对于被驱动表的关联字段没索引的关联查询，一般都会使用 BNL 算法。如果有索引一般选择 NLJ 算法，有索引的情况下 NLJ 算法比 BNL算法性能更高

## 关联sql的优化 ##

*  关联字段加索引，让mysql做join操作时尽量选择NLJ算法
 *  小表驱动大表，写多表连接sql时如果明确知道哪张表是小表可以用straight\_join写法固定连接驱动方式，省去 mysql优化器自己判断的时间

### straight\_join： ###

straight\_join功能同join类似，但能让左边的表来驱动右边的表，能改表优化器对于联表查询的执行顺序。如：select \* from t2 straight\_join t1 on t2.a = t1.a; 代表指定mysql选着 t2 表作为驱动表。

*  straight\_join只适用于inner join，并不适用于left join，right join。（因为left join，right join已经代表指 定了表的执行顺序）
 *  尽可能让优化器去判断，因为大部分情况下mysql优化器是比人要聪明的。使用straight\_join一定要慎重。

# in和exsits优化 #

**原则：** 小表驱动大表，即小的数据集驱动大的数据集

select * from A where id in (select id from B)
    #等价于：
    for(select id from B){
    	select * from A where A.id = B.id
    }

exists

select * from A where exists (select 1 from B where B.id = A.id)
    #等价于:
    for(select * from A){
     select * from B where B.id = A.id
     }

A表与B表的ID字段应建立索引

*  当B表的数据集小于A表的数据集时，in优于exists
 *  当A表的数据集小于B表的数据集时，exists优于in  
    将主查询A的数据，放到子查询B中做条件验证，根据验证结果（true或false）来决定主查询的数据是否保留
    
     *  EXISTS (subquery)只返回TRUE或FALSE,因此子查询中的SELECT \* 也可以用SELECT 1替换,官方说法是实际执行时会 忽略SELECT清单,因此没有区别
     *  EXISTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比
     *  EXISTS子查询往往也可以用JOIN来代替，何种最优需要具体问题具体分析

# count(\*)查询 #

临时关闭mysql查询缓存，为了查看sql多次执行的真实时间

set global query_cache_size=0;
    set global query_cache_type=0;

根据某个字段count不会统计字段为null值的数据行

EXPLAIN select count(1) from employees;

![在这里插入图片描述][266d7ea898864be592d56d191a788769.png]

EXPLAIN select count(id) from employees;

![在这里插入图片描述][952b2039f9d64aeaa3af181ece70a63a.png]

EXPLAIN select count(name) from employees;

![在这里插入图片描述][002be79de3594106a20a3889a03fad00.png]

EXPLAIN select count(*) from employees;

![在这里插入图片描述][1a758a75e18b490aa031809430a3a49d.png]

四个sql的执行计划一样，说明这四个sql执行效率应该差不多

*  **字段有索引：** count(\*)≈count(1)>count(字段)>count(主键 id)  
    count(字段)统计走二级索引，二级索引存储数据比主键索引少，所以count(字段)>count(主键 id) 
 *  **字段无索引：** count()≈count(1)>count(主键 id)>count(字段)  
    count(字段)统计走不了索引， count(主键 id)还可以走主键索引，所以count(主键 id)>count(字段)
 *  count(1)跟count(字段)执行过程类似，不过count(1)不需要取出字段统计，就用常量1做统计，count(字段)还需要取出 字段，所以理论上count(1)比count(字段)会快一点。
 *  count( \* )是**例外**，mysql并不会把全部字段取出来，而是**专门做了优化**，不取值，按行累加，效率很高，所以不需要用 count(列名)或count(常量)来替代 count(\*)。

## 常见优化方法 ##

*  查询mysql自己维护的总行数

对于myisam存储引擎的表做不带where条件的count查询性能是很高的，因为myisam存储引擎的表的总行数会被 mysql存储在磁盘上，查询不需要计算  
![在这里插入图片描述][2337e74dd167413a9bb3542a7065a15f.png]

*  show table status

如果只需要知道表总行数的估计值可以用如下sql查询，性能很高

show table status like 'employees';

![在这里插入图片描述][f17bfaa69b2f4e4db4c05a50686eff61.png]

*  将总数维护到Redis里  
    插入或删除表数据行的时候同时维护redis里的表总行数key的计数值(用incr或decr命令)，但是这种方式可能不准，很难 保证表操作和redis操作的事务一致性
 *  增加数据库计数表  
    插入或删除表数据行的时候同时维护计数表，让他们在同一个事务里操作

[7d271d620a4a4ee0808fce3f46e1ba27.png]: /images/20220828/aa992ad07f1f4e07a6a4a8f12885bdae.png
[1d44c5528dec478b9a54686732ca8b1d.png]: /images/20220828/c4f7a3c80cea42a6b52de83138af90da.png
[157e97a8efcc48edba9b357bb5d9690a.png]: /images/20220828/8c53fcd3f761414c9eea07c726b74dd5.png
[a7e9a2e349154e77a7d58c9243ecbb94.png]: /images/20220828/1223eb81816c4df49f84479ea195fa69.png
[7eece58d1a684f59a719436e315c2cf0.png]: /images/20220828/8cc9e3a9f8a948c4aae3d9058cbb27fe.png
[d617757e018f4efe90cd9c15a03e5145.png]: /images/20220828/16d0f99f134741c1985e4315867f9a3a.png
[266d7ea898864be592d56d191a788769.png]: /images/20220828/10d1d68921c34327b19564d89f638621.png
[952b2039f9d64aeaa3af181ece70a63a.png]: /images/20220828/e2efc9fda9484f4bade7b2005037228d.png
[002be79de3594106a20a3889a03fad00.png]: /images/20220828/8a6b6d22fad04c3e80f1de317b2bafb6.png
[1a758a75e18b490aa031809430a3a49d.png]: /images/20220828/c1697eeb88e24accbdfc17ca78dfd68c.png
[2337e74dd167413a9bb3542a7065a15f.png]: /images/20220828/6026b5b6f4894e96b87f0e9f67b359f0.png
[f17bfaa69b2f4e4db4c05a50686eff61.png]: /images/20220828/d7032a1115dc475c943cd9a5d3700aee.png