PostgreSQL vacuum原理一功能与参数

叁歲伎倆 2022-08-19 01:41 180阅读 0赞

从上篇“PostgreSQL MVCC 源码实现 【[http://www.linuxidc.com/Linux/2015-05/117969.htm][http_www.linuxidc.com_Linux_2015-05_117969.htm]】”中，我们知道，PG并没有像[Oracle][]那样的undo来存放旧版本；而是将旧版本直接存放于relation文件中。那么带来的问题就是dead tuple过多，导致relation文件不断增大而带来空间膨胀问题。为了解决这个问题，PG中引入了vacuum后台进程，专门来清理这些dead tuple，并回缩空间。当然vacuum的作用不仅在此，它还有以下其它功能：

一、vacuum的功能

1.回收空间

这个通常是大家最容易想起来的功能。回收空间，将dead tuple清理掉。但是已经分配的空间，一般不会释放掉。除非做vacuum full，但是需要exclusive lock。一般不太建议，因为如果表最终还是会涨到这个高水位上，经常做vacuum full意义不是非常大。一般合理设置vacuum参数，进行常规vacuum也就够了。

2.冻结tuple的xid

PG会在每条记录（tuple）的header中，存放xmin,xmax信息(增删改事务ID)。transactionID的最大值为2的32次，即无符整形来表示。当transactionID超过此最大值后，会循环使用。

这会带来一个问题：就是最新事务的transactionID会小于老事务的transactionID。如果这种情况发生后，PG就没有办法按transactionID来区分事务的先后，也没有办法实现MVCC了。因此PG用vacuum后台进程，按一定的周期和算法触发vacuum动作，将过老的tuple的header中的事务ID进行冻结。冻结事务ID，即将事务ID设置为“2”（“0”表示无效事务ID；“1”表示bootstrap，即初始化；“3”表示最小的事务ID）。PG认为被冻结的事务ID比任何事务都要老。这样就不会出现上面的这种情况了。

3.更新统计信息

vacuum analyze时，会更新统计信息，让PG的planner能够算出更准确的执行计划。autovacuum\_analyze\_threshold和autovacuum\_analyze\_scale\_factor参数可以控制analyze的触发的频率。

4.更新visibility map

在PG中，有一个visibility map用来标记那些page中是没有dead tuple的。这有两个好处，一是当vacuum进行scan时，直接可以跳过这些page。二是进行index-only scan时，可以先检查下visibility map。这样减少fetch tuple时的可见性判断，从而减少IO操作，提高性能。另外visibility map相对整个relation，还是小很多，可以cache到内存中。

二、vacuum参数介绍

autovacuum有好多参数，用来控制其行为，大致有以下几个：  
• autovacuum：默认为on，表示是否开起autovacuum。默认开起。特别的，当需要冻结xid时，尽管此值为off，PG也会进行vacuum。  
• autovacuum\_naptime：下一次vacuum的时间，默认1min。 这个naptime会被vacuum launcher分配到每个DB上。autovacuum\_naptime/num of db。  
• log\_autovacuum\_min\_duration：记录autovacuum动作到日志文件，当vacuum动作超过此值时。 “-1”表示不记录。“0”表示每次都记录。  
• autovacuum\_max\_workers：最大同时运行的worker数量，不包含launcher本身。  
• autovacuum\_vacuum\_threshold:默认50。与autovacuum\_vacuum\_scale\_factor配合使用， autovacuum\_vacuum\_scale\_factor默认值为20%。当update,delete的tuples数量超过autovacuum\_vacuum\_scale\_factor\*table\_size+autovacuum\_vacuum\_threshold时，进行vacuum。如果要使vacuum工作勤奋点，则将此值改小。  
• autovacuum\_analyze\_threshold:默认50。与autovacuum\_analyze\_scale\_factor配合使用, autovacuum\_analyze\_scale\_factor默认10%。当update,insert,delete的tuples数量超过autovacuum\_analyze\_scale\_factor\*table\_size+autovacuum\_analyze\_threshold时，进行analyze。  
• autovacuum\_freeze\_max\_age和autovacuum\_multixact\_freeze\_max\_age：前面一个200 million,后面一个400 million。离下一次进行xid冻结的最大事务数。  
• autovacuum\_vacuum\_cost\_delay：如果为-1，取vacuum\_cost\_delay值。  
• autovacuum\_vacuum\_cost\_limit：如果为-1，到vacuum\_cost\_limit的值，这个值是所有worker的累加值。

基于代价的vacuum参数:  
• vacuum\_cost\_delay ：计算每个毫秒级别所允许消耗的最大IO，vacuum\_cost\_limit/vacuum\_cost\_dely。 默认vacuum\_cost\_delay为20毫秒。  
• vacuum\_cost\_page\_hit ：vacuum时，page在buffer中命中时，所花的代价。默认值为1。  
• vacuum\_cost\_page\_miss：vacuum时，page不在buffer中，需要从磁盘中读入时的代价默认为10。 vacuum\_cost\_page\_dirty：当vacuum时，修改了clean的page。这说明需要额外的IO去刷脏块到磁盘。默认值为20。  
• vacuum\_cost\_limit：当超过此值时，vacuum会sleep。默认值为200。

把上面每个cost值调整的小点，然后把limit值调的大些，可以延长每次vacuum的时间。这样做，如果在高负载的系统当中，可能IO会有所影响，因vacuum。但是对于表物理存储空间的增长会有所减缓。

[http_www.linuxidc.com_Linux_2015-05_117969.htm]: http://www.linuxidc.com/Linux/2015-05/117969.htm
[Oracle]: http://www.linuxidc.com/topicnews.aspx?tid=12