Mysql学习-02 sql执行顺序与索引分析

亦凉 2024-02-19 13:18 41阅读 0赞

**1.性能下降SQL慢 执行时间长 等待时间长原因：**

*  查询数据过多
 *  关联了太多的表，太多join
 *  没有充分利用到索引 -- > 单值,复合 Mysql一般情况下，查询一张表只会用到其中的一个索引，所以单值索引有时候并不能把sql的查询条件都纳入索引查找范围。所以需要适当的使用复合索引。
 *  服务器调优及各个参数设置（缓冲、线程数等）

**2.常见通用的Join查询:**

1.  SQL执行顺序

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70][]

优化器会分析不同执行顺序产生的性能消耗不同而动态调整执行顺序。

2.Join图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1][]

CREATE TABLE `t_dept` (
    `id` INT ( 11 ) NOT NULL AUTO_INCREMENT,
    `deptName` VARCHAR ( 30 ) DEFAULT NULL,
    `address` VARCHAR ( 40 ) DEFAULT NULL,
    PRIMARY KEY ( `id` ) 
    ) ENGINE = INNODB AUTO_INCREMENT = 7 DEFAULT CHARSET = utf8;
    
    CREATE TABLE `t_emp` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(20) DEFAULT NULL,
      `age` int(3) DEFAULT NULL,
      `deptId` int(11) DEFAULT NULL,
      `empno` int(11) NOT NULL,
      PRIMARY KEY (`id`),
      KEY `fk_dept_id` (`deptId`)
    ) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8;
    
    -- 1   所有有门派的人员信息 
    -- （ A、B两表共有）
     select * from t_emp a inner join t_dept b on a.deptId = b.id; 
     
    -- 2   列出所有用户，并显示其机构信息 
     -- （A的全集）
     select * from t_emp a left join t_dept b on a.deptId = b.id; 
     
    -- 3   列出所有门派 
    -- （B的全集）
     select * from  t_dept  b  
     
    -- 4   所有不入门派的人员 
    -- （A的独有）
    select * from t_emp a left join t_dept b on a.deptId = b.id where b.id is null; 
     
    -- 5   所有没人入的门派 
    -- （B的独有）
     select * from t_dept b left join  t_emp a on a.deptId = b.id where a.deptId is null;  
     
    -- 6  列出所有人员和机构的对照关系
    -- (AB全有)
    -- #MySQL Full Join的实现 因为MySQL不支持FULL JOIN,下面是替代方法
    --  #left join + union(可去除重复数据)+ right join
     
    SELECT * FROM t_emp A LEFT JOIN t_dept B ON A.deptId = B.id
    UNION
    SELECT * FROM t_emp A RIGHT JOIN t_dept B ON A.deptId = B.id
     
    -- 7 列出所有没入派的人员和没人入的门派
    -- （A的独有+B的独有）
    SELECT * FROM t_emp A LEFT JOIN t_dept B ON A.deptId = B.id WHERE B.`id` IS NULL
    UNION
    SELECT * FROM t_emp A RIGHT JOIN t_dept B ON A.deptId = B.id WHERE A.`deptId` IS NULL;

**3.索引简介:**

3.1 介绍：索引（Index）是帮助MySQL高效获取数据的数据结构。可以得到索引的本质：**索引是数据结构。**

索引的目的在于提高查询效率，可以类比字典，如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。  
可以简单理解为“排好序的快速查找数据结构”。

在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，  
这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。下图就是一种可能的索引方式示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2][]

左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址  
为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找在一定的复杂度内获取到相应数据，从而快速的检索出符合条件的记录。  
**一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储的磁盘上.**

我们平常所说的索引，如果没有特别指明，都是指B树(多路搜索树，并不一定是二叉的)结构组织的索引。其中**聚集索引，次要索引，覆盖索引，复合索引，前缀索引，唯一索引默认都是使用B+树索引，统称索引**。当然，**除了B+树这种类型的索引之外，还有哈稀索引(hash index)等。**

3.2 优势  
索引，可以提高数据检索的效率，降低数据库的IO成本。  
通过索引列对数据进行排序，降低数据排序的成本，降低了CPU的消耗。

3.3 劣势  
虽然**索引大大提高了查询速度，同时却会降低更新表的速度**，如对表进行INSERT、UPDATE和DELETE。 因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段， 都会调整因为更新所带来的键值变化后的索引信息  
**实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的.**

3.4 mysql索引结构

*  BTree索引

原理图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3][]

【初始化介绍】  
一颗b树，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。**真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。**  
【查找过程】  
如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。  
**真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。**

时间复杂度:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5][]

*  B+Tree索引

原理图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6][]

B树和B+树的区别：  
　 1）B-树的关键字和记录是放在一起的，叶子节点可以看作外部节点，不包含任何信息；B+树的非叶子节点中只有关键字和指向下一个节点的索引，记录只放在叶子节点中。  
　 2）在B-树中，越靠近根节点的记录查找时间越快，只要找到关键字即可确定记录的存在；而B+树中每个记录的查找时间基本是一样的，都需要从根节点走到叶子节点，而且在叶子节点中还要再比较关键字。从这个角度看B-树的性能好像要比B+树好，而在实际应用中却是B+树的性能要好些。因为B+树的非叶子节点不存放实际的数据，这样每个节点可容纳的元素个数比B-树多，树高比B-树小，这样带来的好处是减少磁盘访问次数。尽管B+树找到一个记录所需的比较次数要比B-树多，但是一次磁盘访问的时间相当于成百上千次内存比较的时间，因此实际中B+树的性能可能还会好些，而且B+树的叶子节点使用指针连接在一起，方便顺序遍历（例如查看一个目录下的所有文件，一个表中的所有记录等），这也是很多数据库和文件系统使用B+树的缘故。 　  
思考：为什么说B+树比B-树更适合实际应用中操作系统的文件索引和数据库索引？  
1) **B+树的磁盘读写代价更低**   
　　 B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中，那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。  
2) **B+树的查询效率更加稳定**   
　　 由于非终结点并不是最终指向文件内容的结点，而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有**关键字查询的路径长度相同，导致每一个数据的查询效率相当**。

*  聚簇索引与非聚簇索引

聚簇索引并不是一种单独的索引类型，而是一种数据存储方式。术语‘聚簇’表示数据行和相邻的键值进错的存储在一起。  
如下图，左侧的索引就是聚簇索引，因为数据行在磁盘的排列和索引排序保持一致。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7][]

聚簇索引的好处：  
按照聚簇索引排列顺序，查询显示一定范围数据的时候，由于数据都是紧密相连，数据库不不用从多个数据块中提取数据，所以节省了大量的io操作。  
聚簇索引的限制：  
对于mysql数据库目前只有innodb数据引擎支持聚簇索引，而Myisam并不支持聚簇索引。  
由于**数据物理存储排序方式只能有一种，所以每个Mysql的表只能有一个聚簇索引。一般情况下就是该表的主键。**  
**为了充分利用聚簇索引的聚簇的特性，所以innodb表的主键列尽量选用有序的顺序id，而不建议用无序的id，比如uuid这种。**

*  full-text全文索引

全文索引（也称全文检索）是目前搜索引擎使用的一种关键技术。它能够利用【分词技术】等多种算法智能分析出文本文字中关键词的频率和重要性，然后按照一定的算法规则智能地筛选出我们想要的搜索结果。

CREATE TABLE `article` (
      `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
      `title` varchar(200) DEFAULT NULL,
      `content` text,
      PRIMARY KEY (`id`),
      FULLTEXT KEY `title` (`title`,`content`)
    ) ENGINE=MyISAM DEFAULT CHARSET=utf8;
     
    不同于like方式的的查询：
    SELECT * FROM article WHERE content LIKE ‘%查询字符串%’;
    全文索引用match+against方式查询：
    SELECT * FROM article WHERE MATCH(title,content) AGAINST (‘查询字符串’);
     
    明显的提高查询效率。
     
    限制：
    mysql5.6.4以前只有Myisam支持，5.6.4版本以后innodb才支持，但是官方版本不支持中文分词，
    需要第三方分词插件。
    5.7以后官方支持中文分词。但是不建议使用 需要分词建议es

*  Hash索引

**Hash索引只有Memory, NDB两种引擎支持**，Memory引擎默认支持Hash索引，如果多个hash值相同，出现**哈希碰撞**，那么索引以**链表方式存储**。

3.5 mysql索引分类

*  单值索引 即一个索引只包含单个列，一个表可以有多个单列索引

随表一起建索引：
    CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT 
    ,customer_no VARCHAR(200),customer_name VARCHAR(200),
      PRIMARY KEY(id),
      KEY (customer_name)
    );
      
    单独建单值索引：
    CREATE  INDEX idx_customer_name ON customer(customer_name); 
     
    删除索引：
    DROP INDEX idx_customer_name  on customer;

*  唯一索引 索引列的值必须唯一，但允许有空值

随表一起建索引：
    CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT 
    ,customer_no VARCHAR(200),customer_name VARCHAR(200),
      PRIMARY KEY(id),
      KEY (customer_name),
      UNIQUE (customer_no)
    );
      
    单独建唯一索引：
    CREATE UNIQUE INDEX idx_customer_no ON customer(customer_no); 
     
    删除索引：
    DROP INDEX idx_customer_no on customer ;

*  主键索引 设定为主键后数据库会自动建立索引，innodb为聚簇索引

随表一起建索引：
    CREATE TABLE customer (id INT(10) UNSIGNED  
    AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
      PRIMARY KEY(id) 
    );
       
    CREATE TABLE customer2 (id INT(10) UNSIGNED 
      ,customer_no VARCHAR(200),customer_name VARCHAR(200),
      PRIMARY KEY(id) 
    );
     
     单独建主键索引：
    ALTER TABLE customer 
     add PRIMARY KEY customer(customer_no);  
     
    删除建主键索引：
    ALTER TABLE customer 
     drop PRIMARY KEY ;  
     
    修改建主键索引：
    必须先删除掉(drop)原索引，再新建(add)索引

*  复合索引 即一个索引包含多个列

随表一起建索引：
    CREATE TABLE customer (id INT(10) UNSIGNED 
     AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
      PRIMARY KEY(id),
      KEY (customer_name),
      UNIQUE (customer_name),
      KEY (customer_no,customer_name)
    );
     
    单独建索引：
    CREATE  INDEX idx_no_name ON customer(customer_no,customer_name); 
     
    删除索引：
    DROP INDEX idx_no_name  on customer ;

*  基本语法

1.  创建 ALTER mytable ADD \[UNIQUE \] INDEX \[indexName\] ON (columnname(length))
2.  删除 DROP INDEX \[indexName\] ON mytable;
3.  查看 SHOW INDEX FROM table\_name\\G
4.  使用ALTER命令

有四种方式来添加数据表的索引：
    ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，
    这意味着索引值必须是唯一的，且不能为NULL。
     
    ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的
    值必须是唯一的（除了NULL外，NULL可能会出现多次）。
     
    ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
     
    ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。

3.6 哪些情况需要创建索引

1.   **主键自动建立唯一索引**
2.   **频繁作为查询条件的字段应该创建索引**
3.   **查询中与其它表关联的字段，外键关系建立索引**
4.   **单键/组合索引的选择问题，who？(在高并发下倾向创建组合索引)**
5.   **查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度**
6.   **查询中统计或者分组字段**

3.7 哪些情况不要创建索引

*  **表记录太少**
 *   **经常增删改的表 -->提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。 因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件**
 *   **Where条件里用不到的字段不创建索引**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/cb65ce362b2447a8b4fc6808f03f5953.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/b6bd151c31a3469cbcc88042bc836393.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/372509071fc44f8e9157e92cf3e7c0df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/d8daf593c2094cad89dd0544f5abd7f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/7a8bdc0a18064d2ba267a4b98297a1c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/997b2c9520fb468dad1d24fa3b7624f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/5122d8fb3cb647e4be98daa349ef4d5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a4d720b53ad14236b3c5201d0c00cf5b.png