(转)mongoDB 禁用大内存页面 transparent_hugepage=never

电玩女神 2022-07-13 12:29 112阅读 0赞

# [(转)mongoDB 禁用大内存页面 transparent\_hugepage=never][mongoDB _ transparent_hugepage_never] #

最近在学mongoDB，安装倒没什么困难，有yum仓库。不过接入ctl后的一条warning倒挺让人烦心的。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>2015-03-22T09:27:00.222+0800 I CONTROL&nbsp; [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.</code> 
     </div> 
     <div> 
      <code>2015-03-22T09:27:00.222+0800 I CONTROL&nbsp; [initandlisten] **&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; We suggest setting it to 'never'</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

如果在运行时解决这问题，也不困难，只需要修改hugepage的设置就可以了。执行下面两条命令

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>echo</code> 
      <code> never &gt;&gt;&nbsp; </code> 
      <code>/sys/kernel/mm/transparent_hugepage/enabled</code> 
     </div> 
     <div> 
      <code>echo</code> 
      <code> never &gt;&gt;&nbsp; </code> 
      <code>/sys/kernel/mm/transparent_hugepage/defrag</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

别忘了重启你的mongoDB，这条warning就消失了。不过下次重新启动系统，这些设置就会消失。

不过想在启动时关掉大内存页面就废了我不少时间了。

首先是网上有人说，把上面的两行命令写入/etc/rc.local，如果是fedora21这样新的系统，应该就是/etc/rc.d/rc.local。不过这无济于事。

我们先看看官方文档怎么说。[https://www.kernel.org/doc/Documentation/vm/transhuge.txt][https_www.kernel.org_doc_Documentation_vm_transhuge.txt] 这是关于大内存页面的linux内核文档说明，里面是这样描述如何关闭的。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>== Boot parameter ==</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>You can change the sysfs boot time defaults of Transparent Hugepage</code> 
     </div> 
     <div> 
      <code>Support by passing the parameter "transparent_hugepage=always" or</code> 
     </div> 
     <div> 
      <code>"transparent_hugepage=madvise" or "transparent_hugepage=never"</code> 
     </div> 
     <div> 
      <code>(without "") to the kernel command line.</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

它说要把 transparent\_hugepage=never 这个参数写入 内核命令行（kernel command line）。不过这个内核命令行又在哪里呢。于是继续找，发现了红帽公司的一份补充说明 [https://access.redhat.com/solutions/46111][https_access.redhat.com_solutions_46111] ， 里面是这样描述的。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>To disable THP at boot </code> 
      <code>time</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>Append the following to the kernel </code> 
      <code>command</code> 
      <code>line </code> 
      <code>in</code> 
      <code>grub.conf:</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>transparent_hugepage=never</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

好了，离真相又更近一步了，不过我的是grub2，所以这篇文章所描述的grub.conf并不存在。继续找，发现了这两篇文章[https://lists.fedoraproject.org/pipermail/users/2012-January/412889.html][https_lists.fedoraproject.org_pipermail_users_2012-January_412889.html] 跟 [http://docs.mongodb.org/manual/reference/transparent-huge-pages/][http_docs.mongodb.org_manual_reference_transparent-huge-pages]（mongoDB的官方文档）。这两篇终于看见光明了，为什么我一开始没翻到mongodb的官方文档？果断投诉google，你家的搜索不靠谱啊。前面一篇基本上是正确的，不过下面的命令写错了

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>grub2-mkconfig </code> 
      <code>/boot/grub2/grub</code> 
      <code>.cfg</code> 
     </div> 
     <div> 
      <code>应该是</code> 
     </div> 
     <div> 
      <code>grub2-mkconfig -o </code> 
      <code>/boot/grub2/grub</code> 
      <code>.cfg</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

不过mongodb的官方文档还留下了这么一句话

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>See your operating system’s documentation for details on the precise location of the grub-legacy or grub2 configuration file.</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

所以为了保险起见，我还是认真研读了 [http://docs.fedoraproject.org/en-US/Fedora/21/html/System\_Administrators\_Guide/sec-GRUB\_2\_over\_Serial\_Console.html\#sec-Configuring\_GRUB\_2][http_docs.fedoraproject.org_en-US_Fedora_21_html_System_Administrators_Guide_sec-GRUB_2_over_Serial_Console.html_sec-Configuring_GRUB_2] 以防万一。

终于在折腾了一个晚上之后，搞定了。如果你也是grub2的linux系统，请通过以下步骤关闭大内存页面。

step1 编辑 /etc/default/grub，在GRUB\_CMDLINE\_LINUX加入选项 transparent\_hugepage=never

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>GRUB_TIMEOUT=5</code> 
     </div> 
     <div> 
      <code>GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"</code> 
     </div> 
     <div> 
      <code>GRUB_DEFAULT=saved</code> 
     </div> 
     <div> 
      <code>GRUB_DISABLE_SUBMENU=true</code> 
     </div> 
     <div> 
      <code>GRUB_TERMINAL_OUTPUT="console"</code> 
     </div> 
     <div> 
      <code>GRUB_CMDLINE_LINUX="rd.lvm.lv=fedora/swap rd.lvm.lv=fedora/root rhgb quiet transparent_hugepage=never"</code> 
     </div> 
     <div> 
      <code>GRUB_DISABLE_RECOVERY="true"</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

step2 重新生成grub配置文件

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>On BIOS-based machines, issue the following </code> 
      <code>command</code> 
      <code>as root:</code> 
     </div> 
     <div> 
      <code>~]</code> 
      <code># grub2-mkconfig -o /boot/grub2/grub.cfg</code> 
     </div> 
     <div> 
      <code>On UEFI-based machines, issue the following </code> 
      <code>command</code> 
      <code>as root:</code> 
     </div> 
     <div> 
      <code>~]</code> 
      <code># grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

step3 重启你的系统

至此大功告成，如果你使用的是grub，请把选项写入grub.conf文件就好了。

查询hugepage状态，第一种方式

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>[root@localhost yucanlin]</code> 
      <code># cat /sys/kernel/mm/transparent_hugepage/enabled </code> 
     </div> 
     <div> 
      <code>always madvise [never]</code> 
     </div> 
     <div> 
      <code>[root@localhost yucanlin]</code> 
      <code># cat /sys/kernel/mm/transparent_hugepage/defrag </code> 
     </div> 
     <div> 
      <code>always madvise [never]</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

never就对了。

第二种方式

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>[yucanlin@localhost ~]$ </code> 
      <code>grep</code> 
      <code>Huge </code> 
      <code>/proc/meminfo</code> 
     </div> 
     <div> 
      <code>AnonHugePages:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 kB</code> 
     </div> 
     <div> 
      <code>HugePages_Total:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</code> 
     </div> 
     <div> 
      <code>HugePages_Free:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</code> 
     </div> 
     <div> 
      <code>HugePages_Rsvd:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</code> 
     </div> 
     <div> 
      <code>HugePages_Surp:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</code> 
     </div> 
     <div> 
      <code>Hugepagesize:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2048 kB</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

0就对了。

不过有个小遗憾，重启后我发现 enabled 是never，但defrag却依然是always，不过经过查询meminfo，大内存页面是被禁用了。就不去管他了。

[mongoDB _ transparent_hugepage_never]: http://www.cnblogs.com/ywcz060/p/5543228.html
[https_www.kernel.org_doc_Documentation_vm_transhuge.txt]: https://www.kernel.org/doc/Documentation/vm/transhuge.txt
[https_access.redhat.com_solutions_46111]: https://access.redhat.com/solutions/46111
[https_lists.fedoraproject.org_pipermail_users_2012-January_412889.html]: https://lists.fedoraproject.org/pipermail/users/2012-January/412889.html
[http_docs.mongodb.org_manual_reference_transparent-huge-pages]: http://docs.mongodb.org/manual/reference/transparent-huge-pages/
[http_docs.fedoraproject.org_en-US_Fedora_21_html_System_Administrators_Guide_sec-GRUB_2_over_Serial_Console.html_sec-Configuring_GRUB_2]: http://docs.fedoraproject.org/en-US/Fedora/21/html/System_Administrators_Guide/sec-GRUB_2_over_Serial_Console.html#sec-Configuring_GRUB_2