Redis的appendfsync参数详解

梦里梦外; 2022-04-11 15:12 204阅读 0赞

redis.conf中的appendfysnc是对redis性能有重要影响的参数之一。可取三种值：always、everysec和no。

设置为always时，会极大消弱Redis的性能，因为这种模式下每次write后都会调用fsync（Linux为调用fdatasync）。

如果设置为no，则write后不会有fsync调用，由操作系统自动调度刷磁盘，性能是最好的。

everysec为最多每秒调用一次fsync，这种模式性能并不是很糟糕，一般也不会产生毛刺，这归功于Redis引入了BIO线程，所有fsync操作都异步交给了BIO线程。

另外，Redis在处理一条命令时，并不立即调用write写AOF文件，只是将数据写入到AOF buffer（server.**aof\_buf**）中。调用write和命令处理是分开的，Redis只在每次进入epoll\_wait之前做write操作。

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> /*&nbsp;Write&nbsp;the&nbsp;append&nbsp;only&nbsp;file&nbsp;buffer&nbsp;on&nbsp;disk. &nbsp;* &nbsp;*&nbsp;Since&nbsp;we&nbsp;are&nbsp;required&nbsp;to&nbsp;write&nbsp;the&nbsp;AOF&nbsp;before&nbsp;replying&nbsp;to&nbsp;the&nbsp;client, &nbsp;*&nbsp;and&nbsp;the&nbsp;only&nbsp;way&nbsp;the&nbsp;client&nbsp;socket&nbsp;can&nbsp;get&nbsp;a&nbsp;write&nbsp;is&nbsp;entering&nbsp;when&nbsp;the &nbsp;*&nbsp;the&nbsp;event&nbsp;loop,&nbsp;we&nbsp;accumulate&nbsp;all&nbsp;the&nbsp;AOF&nbsp;writes&nbsp;in&nbsp;a&nbsp;memory &nbsp;*&nbsp;buffer&nbsp;and&nbsp;write&nbsp;it&nbsp;on&nbsp;disk&nbsp;using&nbsp;this&nbsp;function&nbsp;just&nbsp;before&nbsp;entering &nbsp;*&nbsp;the&nbsp;event&nbsp;loop&nbsp;again. &nbsp;* &nbsp;*&nbsp;About&nbsp;the&nbsp;'force'&nbsp;argument: &nbsp;* &nbsp;*&nbsp;When&nbsp;the&nbsp;fsync&nbsp;policy&nbsp;is&nbsp;set&nbsp;to&nbsp;'everysec'&nbsp;we&nbsp;may&nbsp;delay&nbsp;the&nbsp;flush&nbsp;if&nbsp;there &nbsp;*&nbsp;is&nbsp;still&nbsp;an&nbsp;fsync()&nbsp;going&nbsp;on&nbsp;in&nbsp;the&nbsp;background&nbsp;thread,&nbsp;since&nbsp;for&nbsp;instance &nbsp;*&nbsp;on&nbsp;Linux&nbsp;write(2)&nbsp;will&nbsp;be&nbsp;blocked&nbsp;by&nbsp;the&nbsp;background&nbsp;fsync&nbsp;anyway. &nbsp;*&nbsp;When&nbsp;this&nbsp;happens&nbsp;we&nbsp;remember&nbsp;that&nbsp;there&nbsp;is&nbsp;some&nbsp;aof&nbsp;buffer&nbsp;to&nbsp;be &nbsp;*&nbsp;flushed&nbsp;ASAP,&nbsp;and&nbsp;will&nbsp;try&nbsp;to&nbsp;do&nbsp;that&nbsp;in&nbsp;the&nbsp;serverCron()&nbsp;function. &nbsp;* &nbsp;*&nbsp;However&nbsp;if&nbsp;force&nbsp;is&nbsp;set&nbsp;to&nbsp;1&nbsp;we'll&nbsp;write&nbsp;regardless&nbsp;of&nbsp;the&nbsp;background &nbsp;*&nbsp;fsync.&nbsp;*/ #define&nbsp;AOF_WRITE_LOG_ERROR_RATE&nbsp;30&nbsp;/*&nbsp;Seconds&nbsp;between&nbsp;errors&nbsp;logging.&nbsp;*/ void&nbsp;flushAppendOnlyFile(int&nbsp;force)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;aofWrite调用write将AOF&nbsp;buffer写入到AOF文件，处理了ENTR，其它没什么 &nbsp;&nbsp;&nbsp;&nbsp;ssize_t&nbsp;nwritten&nbsp;=&nbsp;aofWrite(server.aof_fd,server.aof_buf,sdslen(server.aof_buf)); &nbsp;&nbsp;&nbsp;&nbsp;。。。。。。 &nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;Handle&nbsp;the&nbsp;AOF&nbsp;write&nbsp;error.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(server.aof_fsync&nbsp;==&nbsp;AOF_FSYNC_ALWAYS)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;We&nbsp;can't&nbsp;recover&nbsp;when&nbsp;the&nbsp;fsync&nbsp;policy&nbsp;is&nbsp;ALWAYS&nbsp;since&nbsp;the &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;reply&nbsp;for&nbsp;the&nbsp;client&nbsp;is&nbsp;already&nbsp;in&nbsp;the&nbsp;output&nbsp;buffers,&nbsp;and&nbsp;we &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;have&nbsp;the&nbsp;contract&nbsp;with&nbsp;the&nbsp;user&nbsp;that&nbsp;on&nbsp;acknowledged&nbsp;write&nbsp;data &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;is&nbsp;synced&nbsp;on&nbsp;disk.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;serverLog(LL_WARNING,"Can't&nbsp;recover&nbsp;from&nbsp;AOF&nbsp;write&nbsp;error&nbsp;when&nbsp;the&nbsp;AOF&nbsp;fsync&nbsp;policy&nbsp;is&nbsp;'always'.&nbsp;Exiting..."); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;exit(1); &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return;&nbsp;/*&nbsp;We'll&nbsp;try&nbsp;again&nbsp;on&nbsp;the&nbsp;next&nbsp;call...&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;Successful&nbsp;write(2).&nbsp;If&nbsp;AOF&nbsp;was&nbsp;in&nbsp;error&nbsp;state,&nbsp;restore&nbsp;the &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;OK&nbsp;state&nbsp;and&nbsp;log&nbsp;the&nbsp;event.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;。。。。。。 &nbsp;&nbsp;&nbsp;&nbsp;/*&nbsp;Perform&nbsp;the&nbsp;fsync&nbsp;if&nbsp;needed.&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(server.aof_fsync&nbsp;==&nbsp;AOF_FSYNC_ALWAYS)&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;redis_fsync是一个宏，Linux实际为fdatasync，其它为fsync &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;所以最好不要将redis.conf中的appendfsync设置为always，这极影响性能 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;redis_fsync(server.aof_fd);&nbsp;/*&nbsp;Let's&nbsp;try&nbsp;to&nbsp;get&nbsp;this&nbsp;data&nbsp;on&nbsp;the&nbsp;disk&nbsp;*/ &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;else&nbsp;if&nbsp;((server.aof_fsync&nbsp;==&nbsp;AOF_FSYNC_EVERYSEC&nbsp;&amp;&amp;&nbsp;server.unixtime&nbsp;&gt;&nbsp;server.aof_last_fsync))&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;如果已在sync状态，则不再重复 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;BIO线程会间隔设置sync_in_progress &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;if&nbsp;(server.aof_fsync&nbsp;==&nbsp;AOF_FSYNC_EVERYSEC) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sync_in_progress&nbsp;=&nbsp;bioPendingJobsOfType(BIO_AOF_FSYNC)&nbsp;!=&nbsp;0; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(!sync_in_progress) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;eversec性能并不那么糟糕，因为它： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;后台方式执行fsync &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;Redis并不是严格意义上的单线程，实际上它创建一组BIO线程，专门处理阻塞和慢操作 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;这些操作就包括FSYNC，另外还有关闭文件和内存的free两个操作。 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;不像always，EVERYSEC模式并不立即调用fsync， &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;而是将这个操作丢给了BIO线程异步执行， &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;BIO线程在进程启动时被创建，两者间通过bio_jobs和bio_pending两个 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;全局对象交互，其中主线程负责写，BIO线程负责消费。 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;aof_background_fsync(server.aof_fd); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;server.aof_last_fsync&nbsp;=&nbsp;server.unixtime; &nbsp;&nbsp;&nbsp;&nbsp;} } </td> 
 </tr> 
 </tbody> 
</table>