Oracle中的并行系列（二）：你设置的并行真的生效了吗？

妖狐艹你老母 2022-04-22 15:02 670阅读 0赞

经过第一篇文章[《Oracle 中的并行系列（一）》][Oracle]的介绍，我们对Oracle中的并行有了大致的了解。但是实际使用并行的过程中我们可能会遇到很多问题，比如可能还会遇到数据倾斜 、并行降级、并行失效、分发方式不合理、BUFFER SORT、HASH JOIN BUFFERED阻塞等情况。今天我们介绍其中一个大家很关心的问题：你设置的并行真的生效了吗？

要测试判断并行是否存在问题，我们一般会使用如下排查思路流程：

*  操作系统硬件资源使用情况。
 *  数据库负载信息：活动会话，并行参数设置限制等
 *  跟踪监控并行SQL。
 *  尝试解决方案再次执行查看并行服务进程使用情况。

模拟问题：数据库中执行简单8个并行查询语句，观察并行是否存在问题。sql\_text: select /\*+ parallel(8)\*/count(\*) from test;

### **1.操作系统硬件资源** ###

执行并行查询语句的时候，关注系统硬件资源的使用情况。如下示例图可知该测试环境有72颗逻辑cpu，并且开启并行查询后cpu使用率在1-2%之间，磁盘的读吞吐大概为3G左右。简单判断系统硬件资源不存在瓶颈，根据经验初步判断并行应该是生效了，因为磁盘吞吐较高，未开并行一般吞吐在几十兆到1G不等（具体视sql语句复杂度和存储类型）。

![20190114094605439.jpg][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70][]

### **2.数据库并行参数配置** ###

在初步确认系统硬件资源充足的情况下，确认数据库并行参数是否做过修改存在限制。

*  cpu\_count为72，默认情况下等于操作系统cpu数量。
 *  parallel\_max\_servers为1970，一个实例分配并行执行进程和并行恢复进程的最大数量。受参数（CPU\_COUNT, PARALLEL\_THREADS\_PER\_CPU, PGA\_AGGREGATE\_TARGET）影响，具体可以参数文章(Doc ID 1968840.1)。
 *  parallel\_min\_percent默认为0，并行执行需要并行执行进程数的最小百分比。
 *  parallel\_min\_servers默认为0，实例启动时oracle 常见的初始并行进程数量。
 *  parallel\_servers\_targets为1152，一旦系统上活的并行服务器进程数等于PARALLEL\_SERVERS\_TARGETS，并行语句将开始排队。
 *  parallel\_threads\_per\_cpu默认为2，参数描述并行执行期间每个CPU能处理的并行执行进程或线程数。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 1][]

### **3.跟踪监控SQL执行** ###

跟踪SQL执行计划，如示例图3.1展示结果：Note Degree of Parallelism is 8 because of hint。执行计划显示该测试语句因为使用了hint，语句执行并行度为8。需要注意的是虽然这里显示了并行度为8，但是真正使用多少并行需要使用其他手段监控，一般我们会使用sql monitor来确定。如示例图3.2和图3.3展示结果：Parallel Execution Details（DOP=4，Servers Requested=8，Servers Allocated=4）。测试语句希望请求8个并行进程但是实际上只申请到了4个并行进程。我们通过查询视图v$px\_process\_sysstat和v$pq\_sysstat也同样可以发现只申请了4个并行进程。

Tip：对于生产环境，一些DML语句我们不能随意执行语句进行测试。这个时候可以根据sql\_id使用v$sql或者dba\_hist\_sqlstat视图进行并行进程使用情况的查看。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 5][]

![20190114095042826.png][]

### **4.定位问题原因** ###

根据前面的查询步骤我们已经发现了问题：sql的并行出现了降级（8>4）。这时我们需要更细粒度的日志监控判断问题原因，sql monitor可能也无法帮助我们定位问题根源。Oracle从9i之后提供了非常强大的跟踪工具，我们可以通过会话中设置“\_px\_trace”参数完成对并行语句的更细粒度的跟踪。由于本环境为测试环境并且压力负载较小所以使用"\_px\_trace"=high,all高粒度trace日志打印。根据示例图4.1可以非常清晰的看到以下流程：kxfrcomputerThread request 8 threads>kxfrADjustDOP no,threads 8>kxfrAllocSlaves request 8 threads>kxfpgsg call 8>kxfpiinfo mxslv:1970,inst target:1152(资源充足)>KxFpAdaptDOP Resource Manager reduced num server to maxdop=4。问题非常明显数据库使用Resource Manager导致并行出现了降级。

Tip：并行trace使用参考详细可以参考文章(Doc ID 444164.1)：

alter session set "\_px\_trace"=\[\[Verbosity,\]area\],\[\[Verbosity,\]area\],..,\[time\];

alter session set "\_px\_trace"=high/medium/low,scheduling/granule/messaging/buffer/compilation/all/none,time;

*  scheduling - ( equivalent to some of event 10384 and some of 10390)
 *  execution - (equivalent to some of event 10390)
 *  granule - (equivalent to some of event 10390 and some of 10391)
 *  messaging - (equivalent to event 10392 and event 10393)
 *  buffer - (equivalent to event 10399)
 *  compilation - ( no equivalent event)
 *  all - all of the above
 *  none - none of the above.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 6][]

### **5.验证解决并行降级问题** ###

根据第四部分的trace信息可以定位为Resource Manager引起了并行降级问题。查询当前会话确实有名为CITY\_GROUP的资源限制存在，根据示例图5.2显示列PARALLEL\_DEGREE\_LIMIT\_P1并行为4。Resource Manager并行度进行了限制统一为4。解决Resource Manager的问题后再次进行测试。使用sql monitor判断如示例图5.3展示结果：Parallel Execution Details（DOP=8，Servers Allocated=8），并行恢复正常。

![20190114095449411.png][]

![20190114095503419.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 7][]

一般情况下我们可以通过上述分析流程判断我们的并行是否真的生效或者降级的问题。sql monitor工具和v$px\_process\_sysstat等视图可以给我们展示语句真正使用的并行度。但是当我们发现并行存在问题的时候，我们可能需要更细粒度的\_px\_trace工具产生trace日志进行跟踪分析。

### **| 作者简介** ###

**刘金龙·沃趣科技高级数据库技术专家**

精通Oracle内部体系结构原理，擅长Oracle数据库性能调优、故障分析、定位以及解决，是国内最先接触并成功搭建测试12c R2 sharding 的DBA之一。

[Oracle]: http://mp.weixin.qq.com/s?__biz=MzU0MTczNzA1OA==&mid=2247484544&idx=1&sn=7684e9e138dfd9ac9f9ab8617d8becd3&chksm=fb242d8dcc53a49b34c7bd3c156d0d28fd8df704647d43f02ebdf03d2aeb10dadf362f72d7c1&scene=21#wechat_redirect
[20190114094605439.jpg]: /images/20220327/b815dde3ede0428e97095ccd06db6949.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70]: /images/20220327/e54a72a21d9145c091e29c56a77ee636.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 1]: /images/20220327/1641e64afdbf41ec9555f6b634b2908e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 2]: /images/20220327/3232b8b6e9a9469b892bc519a1e87ca2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 3]: /images/20220327/ba535ffffdca42ee99cd48c047dc197d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 4]: /images/20220327/524a080023c042aea0c70922b3bf5d5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 5]: /images/20220327/fdae8140f7b145139e0a20285264b6c6.png
[20190114095042826.png]: /images/20220327/f767b86458af4ec98a2ae7f66cdd509a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 6]: /images/20220327/555aa03c8a354ac69896b0a1cf9924c2.png
[20190114095449411.png]: /images/20220327/f1358378b27546298157ef45b7f4daec.png
[20190114095503419.png]: /images/20220327/9b5764ed37fb40ae8381f5e69fe630b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dvcXV0ZWNodGVhbQ_size_16_color_FFFFFF_t_70 7]: /images/20220327/72c8f45089fc40318c7733260473c554.png