挖出一些分页查询的秘密

谁借莪１个温暖的怀抱￠ 2022-12-25 07:53 82阅读 0赞

今天看下分页查询这个知识点，能挖出什么样的知识。

测试表中符合条件的记录共32条，如果需要得到第10到第20条的记录，我们能怎么做？

SQL> select rownum, employee_id
      2  from hr.employees a
      3  where hire_date between to_date('20050101','yyyymmdd') 
      4                      and to_date('20060201','yyyymmdd');
    
    
        ROWNUM EMPLOYEE_ID
    ---------- -----------
             1         202
             2         101
             3         103
             4         105
             5         110
             6         111
             7         116
             8         117
             9         121
            10         123
            11         125
            12         129
            13         130
            14         131
            15         138
            16         142
            17         146
            18         147
            19         150
            20         151
            21         152
            22         159
            23         160
            24         162
            25         168
            26         170
            27         175
            28         180
            29         185
            30         188
            31         189
            32         193
    
    
    32 rows selected.

这个需求用到的，其实就是分页，一般有两种基本格式。

**格式1**，

SQL> select * 
      2  from (select rownum as rowno, a.employee_id as id
      3        from (select employee_id from hr.employees 
      4              where hire_date between to_date('20050101','yyyymmdd') 
      5                                  and to_date('20060201','yyyymmdd')) a
      6        where rownum <= 20)
      7  where rowno >= 10;
    
    
         ROWNO         ID
    ---------- ----------
            10        123
            11        125
            12        129
            13        130
            14        131
            15        138
            16        142
            17        146
            18        147
            19        150
            20        151
    
    
    11 rows selected.

**格式2**，

SQL> select * 
      2  from (select rownum as rowno, a.employee_id as id
      3        from (select employee_id from hr.employees 
      4              where hire_date between to_date('20050101','yyyymmdd') 
      5                                  and to_date('20060201','yyyymmdd')) a)
      6  where rowno between 10 and 20;
    
    
         ROWNO         ID
    ---------- ----------
            10        123
            11        125
            12        129
            13        130
            14        131
            15        138
            16        142
            17        146
            18        147
            19        150
            20        151
    
    
    11 rows selected.

这两种格式，既有相同，又有不同，我们看下。

**1. 相同点**

(1) 这两种格式中内层的子查询，从语义上理解，应该读取所有符合条件的记录，即32条，

select employee_id from hr.employees 
    where hire_date between to_date('20050101','yyyymmdd')
                        and to_date('20060201','yyyymmdd')

(2) 这两种格式返回的结果集是相同的，都是正确的。

**2. 不同点**

我们用执行计划，来看一下，

SQL> alter session set statistics_level=all;
    Session altered.
    
    
    SQL> select * from table(dbms_xplan.display_cursor(null,null,'advanced -PROJECTION -bytes iostats,last'));

格式1实际只读取了20条记录，并不是32条，

![format_png][]

格式2读取了32条记录，

![format_png 1][]

这是为什么？

在CBO模式下，Oracle可以将外层的查询条件推到内层查询中，以提高内层查询的执行效率。对于格式1，第二层的查询条件where rowno >= 10就可以被推入到内层查询中，这样Oracle查询的结果一旦超过了rownum限制条件，就终止查询将结果返回了。从执行计划中，我们看到COUNT STOPKEY，点到为止，就是这个意思。

格式2，由于查询条件between 10 and 20，是存在于查询的第三层，而Oracle无法将第三层的查询条件推到最内层,(即使推到最内层也没有意义，因为最内层查询不知道rowno代表什么)。因此，对格式2，Oracle最内层返回给中间层的是所有满足条件的数据，而中间层返回给最外层的也是所有数据。数据的过滤在最外层完成，从执行计划中，我们看到COUNT，没带STOPKEY，说明需要统计所有的数据。

如果数据量有限，这两种格式，相差无几，如同上面的测试，COST相同，但是当数据量很庞大的时候，因为格式1不需要读取所有数据，而格式2需要读取所有数据，然后再根据rownum筛选，显然格式1的效率要比格式2高。

我们再进一步，上面的测试，不知道大家看没看出一些问题？

两种格式中，子查询都是如下，没带任何排序，因此如果这张表的数据是实时更新的，很可能每次执行返回的结果集是不同的，如果这个分页的需求，对结果集的顺序是有要求的，这条SQL就是错的，而且可能很隐蔽，至于原因，《[Oracle数据顺序问题][Oracle]》中说明了，Oracle中没有默认的数据读取顺序，唯一能让结果集有序的操作就是增加order by子句，

select employee_id from hr.employees 
    where hire_date between to_date('20050101','yyyymmdd')
                        and to_date('20060201','yyyymmdd')

除此之外，可能还得注意，如果order by的字段，存在相同记录，查询结果集可能还是不确定的，需要order by有可以唯一确定记录的字段，例如可以用唯一索引字段、唯一约束字段或rowid，具体案例可参考《[一个分页排序SQL查询结果集不确定的案例][SQL]》。

一个分页操作，牵扯到的知识其实是很多的，如果不常用，确实容易忽视，就像我现在看之前经历过的案例，可能也会忘，还是得重新了解，一方面可能是知识点没吃透，另一方面还是需要注意日常的总结，形成适合自己的知识库和检索体系，在实践中学，从学回到实践，都是一种过程，只能慢慢体会了。

**近期的热文：**

《[2020数据技术嘉年华][2020]》

《[MySQL异常访问的熔断机制][MySQL]》

《[Oracle时间戳类型内部表示的转换方式][Oracle 1]》

《[Oracle的批量插入操作][Oracle 2]》

《[数据库结构文档的生成利器][Link 1]》

《[主键约束索引的奇葩现象][Link 2]》

《[如何判断应用系统性能好不好？][Link 3]》

《[Oracle Cloud创建19c数据库][Oracle Cloud_19c]》

《[SQL工具集-格式化结果的SQL][SQL_-_SQL]》

《[如何捕获问题SQL解决过度CPU消耗的问题][SQL_CPU]》

《[如何查看JVM运行的堆内存情况][JVM]》

《[Oracle删除字段的方式和风险，你都了解么？][Oracle 3]》

《[登录缓慢的诡异问题][Link 4]》

《[公众号600篇文章分类和索引][600]》

[format_png]: /images/20221120/cfdace167e2447c4923ec81af15b3d00.png
[format_png 1]: /images/20221120/fb18984ddde242f29fd563c7eb2cf66c.png
[Oracle]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a03ddf6d3150182b83e646496f5c13ea3d28fff5a72ad3bfb75dfd5e996168eb3334527&idx=1&mid=2247491568&scene=21&sn=6b5d87ec8d990851c661bb59d5366f98#wechat_redirect
[SQL]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea81446fddf6cd791dfcf197eab1a430b5590d6cec1286a2510a69d4befee7e09bfae64e7522&idx=1&mid=2247483804&scene=21&sn=cd50d4700da313762363bfff66f4d933#wechat_redirect
[2020]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a18ddf6d30e243825ca20c8ab61d3b72d0fa989b463cbd67f7d83c0932a823804fe0cbb&idx=1&mid=2247491563&scene=21&sn=2879e433ef26e2fb5e8ebe209cecb850#wechat_redirect
[MySQL]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a2cddf6d33a79a9a38ef536a49ccfeda392fbdd6d8a030f82b8cb5efa30901d2b5f0f1e&idx=1&mid=2247491551&scene=21&sn=c511f041804a9a9b23f6e15e2d59b999#wechat_redirect
[Oracle 1]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a36ddf6d3206fe0de0807cc3b3612fa98a23d77970dba7f1f03df30c4bc58bbe85571e8&idx=1&mid=2247491525&scene=21&sn=9a940dbaa4bc5273033982d77b4288de#wechat_redirect
[Oracle 2]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a46ddf6d350601dfdc0d1d205ffdf749ec1fe0ed780cc16f76bf2f7515ef6e66e197946&idx=1&mid=2247491509&scene=21&sn=96c9e131acaf541e5ceae6f84e6de6a1#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a43ddf6d355d2016952b8619d38fe02d29425399ae59ce4955f53d7550fd0b9e09dcaf3&idx=1&mid=2247491504&scene=21&sn=9eaedbca194eebea3bc2ac6ec27f163f#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815a52ddf6d34410fc367c116948a693d98005f6f43ffd9d0468a0af83e4e60c6af3d3045e&idx=1&mid=2247491489&scene=21&sn=f2cc824ff4a7148dc8289d03eb8e7418#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815ad4ddf6d3c28b6bc547fe08a3de87e06d8c3292a6cc9bdffc7fc5f7d432263637d86231&idx=1&mid=2247491367&scene=21&sn=89f5263257059b2c7f61be001bc27b94#wechat_redirect
[Oracle Cloud_19c]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815ad1ddf6d3c71da6d160381513bc2cb57b4d1b801bfde274c999abae90fadaa4fb27c14c&idx=1&mid=2247491362&scene=21&sn=0aeaf1f06a566c5e34ce258cfe5ef8f2#wechat_redirect
[SQL_-_SQL]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815b02ddf6d214ff8098c44d2f1aabacb383ae1fb4e25a94db4ac0bfa4fa8c8e65610cec94&idx=1&mid=2247491313&scene=21&sn=8ee15fea049d85c2534c2bbfad4eaab8#wechat_redirect
[SQL_CPU]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815b6addf6d27c0f85b9b84c237e4ca93f497fe293c31877990cef9259c6ab8450745b31be&idx=1&mid=2247491225&scene=21&sn=ac866f3d0bbba602e31aa53ca880b74f#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815b74ddf6d2621f3b547a49d4b6c8025612fb1ab0892928365b881ad2f76f01206ed68e45&idx=1&mid=2247491207&scene=21&sn=11ad7551928df895633f9b73f103eb0e#wechat_redirect
[Oracle 3]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815939ddf6d02f97942e6dd5b5c60e60cd732d31c893f8879244f66d7d914b9f23fe7fc207&idx=1&mid=2247490762&scene=21&sn=67f5fdf567297ab86db77a57162f7a6a#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815955ddf6d0434a80b00ba0e31ba96198814d630a9a255ec7b427a210ab01ad5bba685038&idx=1&mid=2247490726&scene=21&sn=f8836d3e25f6496fab88258526f048a9#wechat_redirect
[600]: http://mp.weixin.qq.com/s?__biz=MzI2NzM1OTM4OA%3D%3D&chksm=ea815fa3ddf6d6b521f9a1fccaeaf2b2ed2b547c3102b18c51397ef670985f477ee102d76fe8&idx=1&mid=2247490128&scene=21&sn=3e9b7f11a1bf04b4f302830fcdbed57d#wechat_redirect