面试官：一千万的数据，你是怎么查询的？

骑猪看日落 2024-03-16 23:51 33阅读 0赞

*  前言
 *  准备数据
    
     *  创建表
     *  创建数据脚本
 *  开始测试
    
     *  普通分页查询
 *  如何优化
    
     *  优化偏移量大问题
     *  优化数据量大问题
 *  SELECT \* 它不香吗？
 *  结束

--------------------

### 前言 ###

*  面试官：来说说，一千万的数据，你是怎么查询的？
 *  B哥：直接分页查询，使用limit分页。
 *  面试官：有实操过吗？
 *  B哥：肯定有呀

此刻献上一首《凉凉》

也许有些人没遇过上千万数据量的表，也不清楚查询上千万数据量的时候会发生什么。

今天就来带大家实操一下，这次是基于MySQL 5.7.26做测试

### 准备数据 ###

没有一千万的数据怎么办？

创建呗

代码创建一千万？那是不可能的，太慢了，可能真的要跑一天。可以采用数据库脚本执行速度快很多。

#### 创建表 ####

CREATE TABLE `user_operation_log`  (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `ip` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `op_data` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr4` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr5` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr6` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr7` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr8` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr9` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr10` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr11` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      `attr12` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
      PRIMARY KEY (`id`) USING BTREE
    ) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

#### 创建数据脚本 ####

采用批量插入，效率会快很多，而且每1000条数就commit，数据量太大，也会导致批量插入效率慢

DELIMITER ;;
    CREATE PROCEDURE batch_insert_log()
    BEGIN
      DECLARE i INT DEFAULT 1;
      DECLARE userId INT DEFAULT 10000000;
     set @execSql = 'INSERT INTO `test`.`user_operation_log`(`user_id`, `ip`, `op_data`, `attr1`, `attr2`, `attr3`, `attr4`, `attr5`, `attr6`, `attr7`, `attr8`, `attr9`, `attr10`, `attr11`, `attr12`) VALUES';
     set @execData = '';
      WHILE i<=10000000 DO
       set @attr = "'测试很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长的属性'";
      set @execData = concat(@execData, "(", userId + i, ", '10.0.69.175', '用户登录操作'", ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ")");
      if i % 1000 = 0
      then
         set @stmtSql = concat(@execSql, @execData,";");
        prepare stmt from @stmtSql;
        execute stmt;
        DEALLOCATE prepare stmt;
        commit;
        set @execData = "";
       else
         set @execData = concat(@execData, ",");
       end if;
      SET i=i+1;
      END WHILE;
    
    END;;
    DELIMITER ;

### 开始测试 ###

哥的电脑配置比较低：win10 标压渣渣i5 读写约500MB的SSD

由于配置低，本次测试只准备了3148000条数据，占用了磁盘5G(还没建索引的情况下)，跑了38min，电脑配置好的同学，可以插入多点数据测试

SELECT count(1) FROM `user_operation_log`

返回结果：3148000

三次查询时间分别为：

*  14060 ms
 *  13755 ms
 *  13447 ms

#### 普通分页查询 ####

MySQL 支持 LIMIT 语句来选取指定的条数数据， Oracle 可以使用 ROWNUM 来选取。

MySQL分页查询语法如下：

SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset

*  第一个参数指定第一个返回记录行的偏移量
 *  第二个参数指定返回记录行的最大数目

下面我们开始测试查询结果：

SELECT * FROM `user_operation_log` LIMIT 10000, 10

查询3次时间分别为：

*  59 ms
 *  49 ms
 *  50 ms

这样看起来速度还行，不过是本地数据库，速度自然快点。

换个角度来测试

##### 相同偏移量，不同数据量 #####

SELECT * FROM `user_operation_log` LIMIT 10000, 10
    SELECT * FROM `user_operation_log` LIMIT 10000, 100
    SELECT * FROM `user_operation_log` LIMIT 10000, 1000
    SELECT * FROM `user_operation_log` LIMIT 10000, 10000
    SELECT * FROM `user_operation_log` LIMIT 10000, 100000
    SELECT * FROM `user_operation_log` LIMIT 10000, 1000000

查询时间如下：

![68bbd6f5fc57f14cdd80c83f8f7f3bf1.png][]

图片

从上面结果可以得出结束：数据量越大，花费时间越长

##### 相同数据量，不同偏移量 #####

SELECT * FROM `user_operation_log` LIMIT 100, 100
    SELECT * FROM `user_operation_log` LIMIT 1000, 100
    SELECT * FROM `user_operation_log` LIMIT 10000, 100
    SELECT * FROM `user_operation_log` LIMIT 100000, 100
    SELECT * FROM `user_operation_log` LIMIT 1000000, 100

![3a2aa5354062772fdd6ed3617a01a1d6.png][]

图片

从上面结果可以得出结束：偏移量越大，花费时间越长

SELECT * FROM `user_operation_log` LIMIT 100, 100
    SELECT id, attr FROM `user_operation_log` LIMIT 100, 100

### 如何优化 ###

既然我们经过上面一番的折腾，也得出了结论，针对上面两个问题：偏移大、数据量大，我们分别着手优化

#### 优化偏移量大问题 ####

##### 采用子查询方式 #####

我们可以先定位偏移位置的 id，然后再查询数据

SELECT * FROM `user_operation_log` LIMIT 1000000, 10SELECT id FROM `user_operation_log` LIMIT 1000000, 1SELECT * FROM `user_operation_log` WHERE id >= (SELECT id FROM `user_operation_log` LIMIT 1000000, 1) LIMIT 10

查询结果如下：

![686f7ac81408e6591d8afb87de7c27a9.png][]

从上面结果得出结论：

*  第一条花费的时间最大，第三条比第一条稍微好点
 *  子查询使用索引速度更快

缺点：只适用于id递增的情况

id非递增的情况可以使用以下写法，但这种缺点是分页查询只能放在子查询里面

> 注意：某些 mysql 版本不支持在 in 子句中使用 limit，所以采用了多个嵌套select

SELECT * FROM `user_operation_log` WHERE id IN (SELECT t.id FROM (SELECT id FROM `user_operation_log` LIMIT 1000000, 10) AS t)

##### 采用 id 限定方式 #####

这种方法要求更高些，id必须是连续递增，而且还得计算id的范围，然后使用 between，sql如下

SELECT * FROM `user_operation_log` WHERE id between 1000000 AND 1000100 LIMIT 100
    
    SELECT * FROM `user_operation_log` WHERE id >= 1000000 LIMIT 100

查询结果如下：

![051de5c66da6d9495921ea23be635717.png][]

图片

从结果可以看出这种方式非常快

> 注意：这里的 LIMIT 是限制了条数，没有采用偏移量

#### 优化数据量大问题 ####

返回结果的数据量也会直接影响速度

SELECT * FROM `user_operation_log` LIMIT 1, 1000000
    
    SELECT id FROM `user_operation_log` LIMIT 1, 1000000
    
    SELECT id, user_id, ip, op_data, attr1, attr2, attr3, attr4, attr5, attr6, attr7, attr8, attr9, attr10, attr11, attr12 FROM `user_operation_log` LIMIT 1, 1000000

查询结果如下：

![c5770d0290f77448ba4ff117ae2c9322.png][]

图片

从结果可以看出减少不需要的列，查询效率也可以得到明显提升

第一条和第三条查询速度差不多，这时候你肯定会吐槽，那我还写那么多字段干啥呢，直接 \* 不就完事了

注意本人的 MySQL 服务器和客户端是在\_同一台机器\_上，所以查询数据相差不多，有条件的同学可以测测客户端与MySQL分开

### SELECT \* 它不香吗？ ###

在这里顺便补充一下为什么要禁止 `SELECT *`。难道简单无脑，它不香吗？

主要两点：

*  用 "SELECT \* " 数据库需要解析更多的对象、字段、权限、属性等相关内容，在 SQL 语句复杂，硬解析较多的情况下，会对数据库造成沉重的负担。
 *  增大网络开销，\* 有时会误带上如log、IconMD5之类的无用且大文本字段，数据传输size会几何增涨。特别是MySQL和应用程序不在同一台机器，这种开销非常明显。

### 结束 ###

最后还是希望大家自己去实操一下，肯定还可以收获更多，欢迎留言！！

创建脚本我给你正好了，你还在等什么！！！

### 更多好文章 ###

*  1.  [Java高并发系列（共34篇）][Java_34]
    2.  [MySql高手系列（共27篇）][MySql_27]
    3.  [Maven高手系列（共10篇）][Maven_10]
    4.  [Mybatis系列（共12篇）][Mybatis_12]
    5.  [聊聊db和缓存一致性常见的实现方式][db]
    6.  [接口幂等性这么重要，它是什么？怎么实现？][Link 1]
    7.  [泛型，有点难度，会让很多人懵逼，那是因为你没有看这篇文章！][Link 2]

![3eb3f7ad0453a11a82181767a1854bc0.png][]

[68bbd6f5fc57f14cdd80c83f8f7f3bf1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/140d777c2b954a4abcf07bed443ee9a5.png
[3a2aa5354062772fdd6ed3617a01a1d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/37a6002899564c398e26f548fd4c167b.png
[686f7ac81408e6591d8afb87de7c27a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/745f37cc48044ab1b1e90e7068534167.png
[051de5c66da6d9495921ea23be635717.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/78abd8c6c40b47c6ab1e80d370c5d8e3.png
[c5770d0290f77448ba4ff117ae2c9322.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a5fa022dbc0d41e0a6d4336c01853459.png
[Java_34]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933285&idx=1&sn=f5507c251b84c3405f2fe0f7fb1da97d&chksm=88621b9bbf15928dd4c26f52b2abb0e130cde02100c432f33f0e90123b5e4b20d43017c1030e&token=1916804008&lang=zh_CN&scene=21#wechat_redirect
[MySql_27]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933461&idx=1&sn=67cd31469273b68a258d963e53b56325&chksm=88621c6bbf15957d7308d81cd8ba1761b356222f4c6df75723aee99c265bd94cc869faba291c&token=1916804008&lang=zh_CN&scene=21#wechat_redirect
[Maven_10]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933753&idx=1&sn=0b41083939980be87a61c4f573792459&chksm=88621d47bf1594516092b662c545abfac299d296e232bf25e9f50be97e002e2698ea78218828&scene=21#wechat_redirect
[Mybatis_12]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933868&idx=1&sn=ed16ef4afcbfcb3423a261422ff6934e&chksm=88621dd2bf1594c4baa21b7adc47456e5f535c3358cd11ddafb1c80742864bb19d7ccc62756c&token=1400407286&lang=zh_CN&scene=21#wechat_redirect
[db]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933452&idx=1&sn=48b3b1cbd27c50186122fef8943eca5f&chksm=88621c72bf159564e629ee77d180424274ae9effd8a7c2997f853135b28f3401970793d8098d&token=1919005508&lang=zh_CN&scene=21#wechat_redirect
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933334&idx=1&sn=3a68da36e4e21b7339418e40ab9b6064&chksm=88621be8bf1592fe5301aab732fbed8d1747475f4221da341350e0cc9935225d41bf79375d43&token=1919005508&lang=zh_CN&scene=21#wechat_redirect
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzA5MTkxMDQ4MQ==&mid=2648933878&idx=1&sn=bebd543c39d02455456680ff12e3934b&chksm=88621dc8bf1594de6b50a760e4141b80da76442ba38fb93a91a3d18ecf85e7eee368f2c159d3&token=799820369&lang=zh_CN&scene=21#wechat_redirect
[3eb3f7ad0453a11a82181767a1854bc0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/d45ae836fb5b4e228f5e1a48d60933c0.png