(三)Master Thread 不同版本的工作方式

素颜马尾好姑娘i 2022-12-22 11:21 100阅读 0赞

###### 一. InnoDB 1.0x版本之前的Master Thread ######

Master Thread具有最高的线程优先级别，内部由多个循环组成：主循环（loop）、后台循环（background loop）、刷新循环（flush loop）、暂停循环（suspend loop），Master Thread会根据数据库运行的状态进行循环之间的切换。

Loop主循环（大多数操作都在这个循环下）这个由两大部分操作，每秒和每10秒操作：

void master_thread() { 
        loop:
        for(int i=0; i<10; i++) { 
            do thing once per second
            sleep 1 second if necessary
        }
        do things once per then seconds
        goto loop;
    }

可以发现，loop循环是通过thread sleep来实现的，意味着每秒或者每10每秒的操作并不是十分的精确的，在负载大的情况下，可能会有不同程度的延迟（delay），只能说大概在这个频率下。

每秒一次的操作包括：

1.  日志缓冲刷新到磁盘（总是）：即使事务没有提交，InnoDB也会每秒将重做日志缓冲刷新到重做日志文件中，因此可以理解为什么再大的事务提交，时间也是很短的。
2.  合并插入缓冲insert buffer（可能）：并不是每秒刷新的，如果前一秒的IO次数小于5，则认为IO压力小，可以执行合并插入缓冲的操作。
3.  最多刷新100个InnoDB的缓冲池脏页到磁盘（可能）：判断当前缓冲池中脏页的比例(buf\_get\_modifyed\_ratio\_pct)是否超过了配置文件中innodb\_max\_dirty\_pages\_pct这个参数（默认为90）如果超过了这个阈值，InnoDB存储引擎认为需要做同步操作，将100个脏页写入磁盘中。
4.  如果当前没有用户活动，切换到background loop（可能）

每10秒的操作：

1.  刷新100个脏页到磁盘(可能)：InnoDB引擎会先判断过去10秒之内磁盘的IO操作是否小于200次，如果是，则将100个脏页舒心到磁盘。
2.  合并至多5个插入缓冲(总是)
3.  将日志缓冲刷新到磁盘(总是)
4.  删除无用的undo页(总是)：InnoDB存储引擎会执行full purse操作，即删除无用的Undo页，对表进行update、delete这类操作，原先行被标记删除，但是因为一致性读读关系，需要保留这些行的版本号，这时候会进行回收删除，每次最多尝试回收20个undo页。
5.  刷新100个或者10个脏页到磁盘(总是)：判断当前缓冲池中脏页的比例(buf\_get\_modifyed\_ratio\_pct)是否超过了配置文件中innodb\_max\_dirty\_pages\_pct这个参数（70%）如果超过了70%，则刷新100个脏页到磁盘中；如果比例小于70%，则只需要刷新10%的脏页到磁盘。

接着来看**background loop** 若当前没有用户活动（数据库空闲时）或者数据库关闭（shutdown），就会切换到这个循环执行以下操作：

1.  删除无用的undo页(总是)
2.  合并20个插入缓冲(总是)
3.  跳回到主循环(总是)
4.  不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成)：如果fulsh loop 页没有什么事情可以做了，InnoDB存储引擎会切换到suspend loop，将Master Thread刮起。

若flush loop中也没有什么事情可以做了，InnoDB引擎会切换到suspend\_loop，将Master Thread挂起，等待事件发生。若用户启动了InnoDB引擎，却没有使用任何InnoDB存储引擎的表，那么Master Thread总是处于挂起的状态。

下面是， InnoDB 1.0x版本之前Master Thread完整的伪代码：

void master_thread() { 
        oto loop;
    loop:
    for(int i=0; i<10; i++) { 
    	thread_sleep(1)    // sleep 1秒
    	do log buffer flush to dish
    	
    	if (last_one_second_ios < 5) { 
    		do merget at most 5 insert buffer
    	}
    	
    	if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {   // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认90)
    		do buffer pool flush 100 dirty page  // 刷新100个脏页到磁盘
    	}
    
    	if (no user activetuy) { 
    		goto background loop
    	}
    }
    
    if (last_ten_second_ios < 200) {   // 如果过去10内磁盘IO次数小于200
    	do buffer pool flush 100 dirty page
    }
    
    do merge at most 5 insert buffer  // 合并至多5个插入缓冲（总是）
    do log buffer flush to dish
    do flush purge
    
    if (buf_get_modified_ratio_pct > 70%) { 
    	do buffer pool flush 100 dirty page
    } else { 
    	do buffer pool flush 10 dirty page
    }
    goto loop
    
    backgroud loop:   // 后台循环
    do full purge     // 删除无用的undo页 （总是）
    do merger 20 insert buffer  // 合并插入缓冲是20（总是）
    if not idle:      // 如果不空闲，就跳回主循环，如果空闲就跳入flush loop
    goto loop:    // 跳到主循环
    else:
    	goto flush loop
    flush loop:  // 刷新循环
    do buffer pool flush 100 dirty page // 刷新100个脏页到磁盘
    if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值
    	goto flush loop            // 跳到刷新循环，不断刷新脏页，直到符合条件
    	goto suspend loop          // 完成刷新脏页的任务后，跳入suspend loop
    suspend loop:
    suspend_thread()               //master线程挂起，等待事件发生
    waiting event
    goto loop;
    }

###### 二. InnoDB 1.2x版本之前的Master Thread ######

在如今磁盘技术的快速发展中，对于缓冲池向磁盘刷新时都做了一定的hard coding，这些限制很大程度上限制了InnoDB存储引擎对磁盘IO的性能，尤其是写入性能。

与之前版本的区别：

1.  因此提供参数innodb\_io\_capacity用来表示IO的吞吐量，默认200，对于刷新到磁盘页的数量，会按照innodb\_io\_capacity的百分比来控制。规则如下：
    
     *  在合并插入缓冲时，合并插入缓冲的数量为innodb\_io\_capacity值5%；
     *  在从缓冲池刷新脏页时，刷行脏页的数量为innodb\_io\_capcity。
2.  从InnoDB1.0x版本开始，innodb\_max\_dirty\_pages\_pct的默认值变位来了75
3.  InnoDB1.0x版本还有一个参数innodb\_adaptive\_flushing（自适应地刷新），该值影响每秒刷新脏页的数量。原来的刷新规则：脏页所占比例小于innodb\_max\_dirty\_pages\_pct时，不刷新；大于innodb\_max\_dirty\_pages\_pct时，刷新100页。随着innodb\_adaptive\_flushing参数的引入，InnoDB引擎会通过一个buf\_flush\_getdesired\_flush\_rate的函数来判断刷新脏页最合适的数量。因此，当脏页的比例小于innodb\_max\_dirty\_pages\_pct时，也会刷新一定量的脏页。
4.  之前每次full purge操作时，最多回收20个undo页。从InnoDB1.0x开始引入参数innodb\_purge\_batch\_size，该参数可以控制回收undo页的数量，默认值为20。

通过以下为代码，我们可以得到InnoDB1.2X前Master Thread的工作方式：

void master_thread() { 
        loop:
        for(int i=0; i<10; i++) { 
            thread_sleep(1)    // sleep 1秒
            do log buffer flush to dish
    
            if (last_one_second_ios < 5% innodb_io_capacity) { 
                do merget 5% innodb_io_capacity insert buffer
            }
    
            if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {   // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
                do buffer pool flush 100% innodb_io_capacity dirty page  // 刷新全部脏页到磁盘
            } else if (enable adaptive flush) {     // 如果开户了自适应刷新
                do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
            }
    
            if (no user activetuy) { 
                goto background loop
            }
        }
    
        if (last_ten_second_ios < innodb_io_capacity) {   // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值（默认是200）
            do buffer pool flush 100%  innodb_io_capacity dirty page
        }
    
        do merge 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
        do log buffer flush to dish
        do flush purge
    
        if (buf_get_modified_ratio_pct > 70%) { 
            do buffer pool flush 100% innodb_io_capacity dirty page
        } else { 
            do buffer pool flush 10% innodb_io_capacity dirty page
        }
        goto loop
    
        backgroud loop:   // 后台循环
        do full purge     // 删除无用的undo页 （总是）
        do merger 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
        if not idle:      // 如果不空闲，就跳回主循环，如果空闲就跳入flush loop
        goto loop:    // 跳到主循环
        else:
            goto flush loop
        flush loop:  // 刷新循环
        do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘
        if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值（默认75%）
            goto flush loop            // 跳到刷新循环，不断刷新脏页，直到符合条件
            goto suspend loop          // 完成刷新脏页的任务后，跳入suspend loop
        suspend loop:
        suspend_thread()               //master线程挂起，等待事件发生
        waiting event
        goto loop;
    }

###### 三. InnoDB 1.2x版本的Master Thread ######

在InnoDB1.2x版本中，Master Thread的伪代码如下：

if (InnoDB is idle) { 
        srv_master_do_idle_tasks();    // 每10秒操作
    } else { 
        srv_master_do_active_tasks();    // 每秒操作
    }

其中 srv\_master\_do\_idle\_tasks(); 就是之前版本中每10秒的操作，srv\_master\_do\_active\_tasks()处理的是之前每秒中的操作。同时对于刷新脏页的操作，从Master Thread献成分离到一个单独的Page Cleaner Thread，从而减轻了Master Thread的工作，同时进一步提到了系统的并发性。