SQL之SQL优化

冷不防 2023-10-09 17:19 9阅读 0赞

#### 文章目录 ####

*  一、插入数据优化
 *   *  insert优化
     *  大批量插入数据
 *  二、主键优化
 *   *  数据组织方式
     *  ·页分裂
     *  ·页合并
     *  主键设计原则
     *  三、order by优化
 *  四、Group By 优化
 *  五、limit优化
 *  六、count优化
 *   *  count的几种用法
 *  七、update优化
 *  总结

--------------------

## 一、插入数据优化 ##

### insert优化 ###

insert into tb_test values(1, 'tom');
    insert into tb_test values(2, 'cat');
    insert into tb_test values(3,"jerry');

> 批量插入

lnsert into tb_test values(1, 'Tom').(2,'Cat'),(3,"Jerry');

> 手动提交事务

start transaction;
    insert into tb_test walues(1,'Tom'),(2,'Cat").(3,'"Jerry');
    insert into tb_test values(4,'Tom').(5,'Cat').(6,"Jerry');
    insert into tb_test values(7,'Ton').(8,'"Cat').(9,"]erry');
    commit;

> 主键顺序插入

主键乱序插入: 8 1 9 2 1 8 8 2 4 1 5 8 9 5 7 3
    主键顺序插入: 1 2 3 4 5 7 8 9 1 5 2 1 8 8 8 9

### 大批量插入数据 ###

如果一次性需要插入大批量数据，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入。操作如下:  
![在这里插入图片描述][722dfd83226e46499acc91a4176a4788.png]

#客户端连接服务端时，加上参数--local-infile
    mysql --local-infile -u root -p
    #设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
    set global local_infile = 1;
    #执行load指令将准备好的数据，加载到表结构中
    load data local infile '/root/sql1.log' into table 'tb_user' fields terminated by ',' lines terminated by '\n';

***主键顺序插入性能高于乱序插入***

## 二、主键优化 ##

### 数据组织方式 ###

在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表(index organized table IOT)。  
![在这里插入图片描述][3d0360e55100463aaa365fbc6f9c61da.png]

### ·页分裂 ###

页可以为空，也可以填充一半，也可以填充100%。每个页包含了2-N行数据(如果一行数据多大，会行溢出)，根据主键排列。  
**主键顺序插入**  
![在这里插入图片描述][7a47bcbe354a4ed09a9aa39501938f03.png]**主键乱序插入**  
![在这里插入图片描述][70bd92ffd7b645d2b315e4c384632067.png]![在这里插入图片描述][7aef727555654a5b9be4974d86bcf59e.png]

### ·页合并 ###

当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记(flaged）为删除并且它的空间变得允许被其他记录声明使用。  
当页中删除的记录达到MERGE\_THRESHOLD(默认为页的50%)，InnoDB会开始寻找最靠近的页（前或后）看看是否可以将两个页合并以优化空间使用。  
![在这里插入图片描述][e8e4b4eb0469449694081c3bdd2e6e00.png]![在这里插入图片描述][5e0ad0b44cb64aaba3e74e4750de30a0.png]

> 知识小贴士:  
> MERGE\_THRESHOLD:合并页的阈值，可以自己设置，在创建表或者创建索引时指定。

### 主键设计原则 ###

满足业务需求的情况下，尽量降低主键的长度。
    插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
    尽量不要使用UUID做主键或者是其他自然主键，如身份证号。
    业务操作时，避免对主键的修改。

![在这里插入图片描述][b63f94e5891a4be78b572bd1cb17b002.png]

### 三、order by优化 ###

Using filesort :通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫FileSort 排序。  
2.Using index:通过有序索引顺序扫描直接返回有序数据，这种情况即为using  
index，不需要额外排序，操作效率高。

#没有创建索引时，根据age, phone进行排序
    explain select id,age,phone from tb_user order by age , phone;
    #创建索引
    create index idx_user_age_phone_aa on tb_user(age,phone);
    #创建索引后，根据age, phone进行升序排序
    explain select id,age,phone from tb_user order by age , phone;
    #创建索引后，根据age, phone进行降序排序
    explain select id,age,phone from tb_user order by age desc , 
    phone desc ;

#根据age, phone进行降序一个升序，一个降序
    explain select id,age,phone from tb_user order by age asc , phone desc;
    #创建索引
    create index idx_user_age_phone_ad on tb_user(age asc ,
    phone desc);
    #根据age, phone进行降序一个升序，一个降序
    explain select id,age,phone from tb_user order by age asc , 
    phone desc;

![在这里插入图片描述][8cb17fa74ceb49c6a45f22b368d7ef31.png]

*  根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。
 *  尽量使用覆盖索引。
 *  多字段排序,一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC)。
 *  如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小 sort\_buffer\_size(默认256k)。

## 四、Group By 优化 ##

#删除掉目前的联合索引 idx_user_pro_age_sta
    drop index idx_user_pro_age_sta on tb_user;
    #执行分组操作，根据profession字段分组
    explain select profession , count(*) from tb_user group by profession;
    *#创建索引*
    Create index idx_user_pro_age_sta on tb_user(profession , age , status);
    #执行分组操作，根据profession字段分组
    explain select profession , count(*) from tb_user group by profession;
    #执行分组操作，根据profession字段分组
    explain select profession , count(*) from tb_user group by profession , age;

*  在分组操作时，可以通过索引来提高效率。
 *  分组操作时，索引的使用也是满足最左前缀法则的。

![在这里插入图片描述][db7560b740f6424f8f9b5e38f1693c22.png]![在这里插入图片描述][d5a89f5d4a124490a6389bf78cd2e10c.png]创建索引  
![在这里插入图片描述][7ade604f7a2f4e18bc894b04bc77bad6.png]![在这里插入图片描述][d426fcb3e9f848b289a9dd8c145934f4.png]![在这里插入图片描述][035f6acd0fe34a63b6b1761833f14db9.png]![在这里插入图片描述][2528b8080ee04a59ac6a4a27a9892524.png]

## 五、limit优化 ##

一个常见又非常头疼的问题就是limit 2000000,10，此时需要MySQL排序前2000010记录，仅仅返回2000000 - 2000010的记录，其他记录丢弃，查询排序的代价非常大。

优化思路:一般分页查询时，通过创建覆盖索引能够比较好地提高性能，可以通过覆盖索引加子查询形式进行优化。  
![在这里插入图片描述][919d6c4d3d8047a083fed201e0d927f4.png]

explain select *from tb_sku t , (select id from tb_sku order by
     id limit 2000000,10) a where tid = a.id;

## 六、count优化 ##

explain select count(*) from tb_user ;

*  MyISAM引擎把一个表的总行数存在了磁盘上，因此执行count(\*)的时候会直接返回这个数，效率很高;
 *  InnoDB引擎就麻烦了，它执行count(\*)的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数。  
    优化思路:自己计数。

### count的几种用法 ###

count()是一个聚合函数，对于返回的结果集，一行行地判断，如果count 函数的参数不是NULL，累计值就加1，否则不加，最后返回累计值。  
用法:`count (* ) 、count（主键)、count(字段)、count ( 1)`

1.  count(主键)

InnoDB引擎会遍历整张表，把每一行的主键id值都取出来，返回给服务层。服务层拿到主键后，直接按行进行累加(主键不可能为null)。

1.  count(字段)

没有not null约束:InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，服务层判断是否为null不为null，计数累加。  
有not null约束: InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，直接按行进行累加。

1.  count ( 1)

InnoDB引擎遍历整张表，但不取值。服务层对于返回的每一行，放一个数字“1”进去，直接按行进行累加。

1.  count (\* )

InnoDB引擎并不会把全部字段取出来，而是专门做了优化，不取值，服务层直接按行进行累加。

按照效率排序的话，count(字段)<count(主键id)<count(1) = count(*)，
    所以尽量使用count(*)。

## 七、update优化 ##

update student set no ='2000100100'where id = 1;
    update student set no = '2000100105'where name ='韦一笑';

***InnoDB的行锁是针对索引加的锁，不是针对记录加的锁,并且该索引不能失效，否则会从行锁升级为表锁。***

--------------------

## 总结 ##

![在这里插入图片描述][beffa8d56d6b4d15aeb3f2d202e85550.png]

[722dfd83226e46499acc91a4176a4788.png]: https://img-blog.csdnimg.cn/722dfd83226e46499acc91a4176a4788.png
[3d0360e55100463aaa365fbc6f9c61da.png]: https://img-blog.csdnimg.cn/3d0360e55100463aaa365fbc6f9c61da.png
[7a47bcbe354a4ed09a9aa39501938f03.png]: https://img-blog.csdnimg.cn/7a47bcbe354a4ed09a9aa39501938f03.png
[70bd92ffd7b645d2b315e4c384632067.png]: https://img-blog.csdnimg.cn/70bd92ffd7b645d2b315e4c384632067.png
[7aef727555654a5b9be4974d86bcf59e.png]: https://img-blog.csdnimg.cn/7aef727555654a5b9be4974d86bcf59e.png
[e8e4b4eb0469449694081c3bdd2e6e00.png]: https://img-blog.csdnimg.cn/e8e4b4eb0469449694081c3bdd2e6e00.png
[5e0ad0b44cb64aaba3e74e4750de30a0.png]: https://img-blog.csdnimg.cn/5e0ad0b44cb64aaba3e74e4750de30a0.png
[b63f94e5891a4be78b572bd1cb17b002.png]: https://img-blog.csdnimg.cn/b63f94e5891a4be78b572bd1cb17b002.png
[8cb17fa74ceb49c6a45f22b368d7ef31.png]: https://img-blog.csdnimg.cn/8cb17fa74ceb49c6a45f22b368d7ef31.png
[db7560b740f6424f8f9b5e38f1693c22.png]: https://img-blog.csdnimg.cn/db7560b740f6424f8f9b5e38f1693c22.png
[d5a89f5d4a124490a6389bf78cd2e10c.png]: https://img-blog.csdnimg.cn/d5a89f5d4a124490a6389bf78cd2e10c.png
[7ade604f7a2f4e18bc894b04bc77bad6.png]: https://img-blog.csdnimg.cn/7ade604f7a2f4e18bc894b04bc77bad6.png
[d426fcb3e9f848b289a9dd8c145934f4.png]: https://img-blog.csdnimg.cn/d426fcb3e9f848b289a9dd8c145934f4.png
[035f6acd0fe34a63b6b1761833f14db9.png]: https://img-blog.csdnimg.cn/035f6acd0fe34a63b6b1761833f14db9.png
[2528b8080ee04a59ac6a4a27a9892524.png]: https://img-blog.csdnimg.cn/2528b8080ee04a59ac6a4a27a9892524.png
[919d6c4d3d8047a083fed201e0d927f4.png]: https://img-blog.csdnimg.cn/919d6c4d3d8047a083fed201e0d927f4.png
[beffa8d56d6b4d15aeb3f2d202e85550.png]: https://img-blog.csdnimg.cn/beffa8d56d6b4d15aeb3f2d202e85550.png