iotop出现SWAPIN使用率很高99.99%的处理

末蓝、 2022-04-12 04:48 294阅读 0赞

## 定义：SWAPIN ##

依据 iotop的参考手册，定义为：  
**the percentage of time the thread/process spent while swapping in**  
**进程或者线程花费在交换内存时间的百分比。**  
如果出现SWAPIN百分比很高，可以肯定内存不足了，赶快通过**free -h** 查看一下内存情况，并合理优化内存相关配置。

## 缘由 ##

最近在优化MySQL数据库，处理上亿数据的导入，通过优化innodb的配置，使用LOAD INFILE达到了每秒15K左右的插入速度。

运行一段时间后，发现继续入库速度会减慢，使用IOTOP发现写的速度很低，而SWAPIN的负载很高，达到99.99%，网络上相关信息很少。一旦出现这个现象，mysql反应很慢。

经过检查，发现系统内存可用空间很少，SWAP分区占用50%以上，发现是MySQL进程占用空间太大导致，通过修改缓存大小改善这个问题：

// 修改缓存到12GB=12*1024*1024*1024
    SET GLOBAL innodb_buffer_pool_size=12884901888;
    // 通过如下命令查看改变的状态
    SHOW STATUS WHERE Variable_name='InnoDB_buffer_pool_resize_status';

通过释放更多的可用空间做为内存交换，而不是使用磁盘的SWAP空间，加快系统的运行。  
我的服务器配置如下：  
256GB RAM， 双CPU 共 40 Cores  
采用docker部署MySQL容器16个，配置如下：

[mysqld]
    datadir=/var/lib/mysql
    socket=/var/lib/mysql/mysql.sock
    max_connections=1000
    
    explicit_defaults_for_timestamp=true
    
    slow-query-log = off
    #slow_query_log_file = /var/log/slow-query.log
    #long_query_time = 1
    #log-queries-not-using-indexes = on
    
    ## InnoDB options
    innodb_adaptive_flushing        = 1
    innodb_buffer_pool_instances    = 4
    innodb_buffer_pool_size         = 12G
    innodb_file_per_table           = 1
    innodb_flush_log_at_trx_commit  = 2
    innodb_flush_method             = O_DIRECT
    innodb_io_capacity              = 800
    innodb_log_file_size            = 7G
    innodb_log_files_in_group       = 4
    innodb_log_buffer_size          = 64M
    innodb_max_dirty_pages_pct      = 50
    innodb_read_io_threads          = 32
    innodb_write_io_threads         = 16
    innodb_thread_concurrency       = 64
    
    
    max_allowed_packet              =100MB

前期，我把innodb\_buffer\_pool\_size设置为16GB，结果每一个MySQL进程占用20GB，实际使用达到16GB，16个MySQL把内存耗尽，导致MySQL处理速度变慢。  
我是按照256GB/16 = 16GB，按75%内存估算，配置为12GB。

## 外号：如何提高入库速度 ##

在处理数据入库时，我的文件是通过程序生成，到达10多个字段，而且主键索引是字符串，还带其他索引，目前优化可以到15K左右，100W记录在55s左右，约18K，如果出现SWAPIN占用很高时，入库速度只有6K多。

提高入库速度主要依赖于服务器的硬盘速度，原来在老机器上操作，速度提升有限，基本在7~8K。  
由于入库对并发利用率不高CPU多核性能利用不上，甚至比不上台式机，可是如果磁盘速度提升，入库速度就会有大幅度提升。10000转的机械硬盘就比不上15000转的。

主要优化两个地方:  
innodb\_buffer\_pool\_size 这个设置为可用内存的75%（官宣）  
innodb\_log\_file\_size 日志文件大小，这个依赖于入库的数据量，通过提高该参数，实现尽量少的刷盘，提高入库速度。如何计算合理的日志文件大小参见文章: [How to calculate a good InnoDB log file size][]

[How to calculate a good InnoDB log file size]: https://www.percona.com/blog/2008/11/21/how-to-calculate-a-good-innodb-log-file-size/