Linux内核之内存5: 其他工程问题以及调优

水深无声 2022-12-01 14:19 85阅读 0赞

## 1.DMA和cache一致性 ##

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-isnAS84z-1598517499007)(media/c4206114972c5f94e6f185da50b701ea.png)\]][img-isnAS84z-1598517499007_media_c4206114972c5f94e6f185da50b701ea.png]

### (1)不带CACHE ###

自己写驱动，申请DMA，可以用Coherent DMA buffers

void * dma_alloc_coherent(struct device *dev, size_t size, dma_addr_t
    *dma_handle,gfp_t flag);
    
    void  dma_free_coherent (struct device *dev, size_t size,void *cpu_addr,
    dma_addr_t dma_handle);

CMA和此API自动融合，调用dma\_alloc\_coherent()将从CMA获得内存，不带cache。

### (2)流式DMA: ###

操作其他进程的地址，比如tcp/ip报文的缓存，无法控制DMA地址源，

用dma\_map\_single，自动设置cache flush，

CPU无法访问cache，这个是硬件自动完成的；但是CPU可以控制cache，使能cache为非法(破坏命中)，会自动与memory同步。

DMA Streaming Mapping
    
    dma_addr_t dma_map_single(...);
    
    void dma_unmap_single (...);

有的强大DMA，不需要连续内存做DMA操作，scater/getter可以用

int dma_map_sg(...);
    
    void dma_unmap_sg (...);

有一些强大硬件，DMA能感知cache网络互联；

这3套API，对任何硬件都成立；实现API后端，兼容不同硬件。

有些新的强大硬件，有支持IOMMU/smmu

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rh7dgdvQ-1598517499010)(media/33f4cf825d818ceeb55f2bed46ce02fe.png)\]][img-rh7dgdvQ-1598517499010_media_33f4cf825d818ceeb55f2bed46ce02fe.png]

Dma可以从不连续内存，CMA申请内存

dma\_alloc\_coherent不需要从CMA申请内存，支持MMU，可以用物理不连续的内存来实现DMA操作；

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OSVf9oIP-1598517499011)(media/2b61657481e8532ccffea663698f99f0.jpg)\]][img-OSVf9oIP-1598517499011_media_2b61657481e8532ccffea663698f99f0.jpg]

## 2. 内存的cgroup ##

./swapoff –a
    
    echo 1 \> /proc/sys/vm/overcommit_memory //
    
    /sys/fs/cgroup/memory
    
    mkdir A
    
    cd A
    
    sudo echo \$(100\*1024\*1024) \> memory.limit_in_bytes //限制最大内存100M
    
    //a.out放到A cgroup执行；
    
    sudo cgexec –g memory:A ./a.out

## 3. 性能方面的调优：page in/out, swapin/out ##

## 4. Dirty ratio的一些设置 ##

脏页写回

**时间维度**：时间到，脏页写回；dirty\_expire\_centisecs

**空间维度**：Dirty\_ratio

Dirty\_background\_ratio:

cd /proc/sys/vm

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LHdHPa72-1598517499013)(media/1703771327809b1776192a4d948d96c9.png)\]][img-LHdHPa72-1598517499013_media_1703771327809b1776192a4d948d96c9.png]

假如某个进程在不停写数据，当写入大小触发dirty\_background\_ratio\_10%时，脏页开始写入磁盘，写入数据大小触发dirty\_ratio\_20%时(磁盘IO速度远比写内存慢)，如果继续写，会被内核阻塞，等脏页部分被写入磁盘，释放pagecached后，进程才能继续写入内存；

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nmVblUcS-1598517499015)(media/d9fa8494584d1c5e6e286e6bd120a90d.jpg)\]][img-nmVblUcS-1598517499015_media_d9fa8494584d1c5e6e286e6bd120a90d.jpg]

所有的脏页flush，都是后台自动完成，当写入速度不足以触发dirty\_ratio时，进程感知不到磁盘的存在。

## 5. swappiness ##

内存回收reclaim，涉及三个水位，

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DaRM2Zai-1598517499017)(media/ebd0ac95b88659438744f1a21af8efa1.png)\]][img-DaRM2Zai-1598517499017_media_ebd0ac95b88659438744f1a21af8efa1.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1dGVyZXNh_size_16_color_FFFFFF_t_70_pic_center]

回收哪里的内存,back\_groudpages, swap，由swappiness决定

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vi0YJ1DX-1598517499019)(media/8c7d0fb3d337d001d1f4739d49adf20d.png)\]][img-vi0YJ1DX-1598517499019_media_8c7d0fb3d337d001d1f4739d49adf20d.png]

Swappiness越大，越倾向于回收匿名页；

即使Swappiness设置为0，先回收背景页，以使达到最低水位；假使达不到，还是会回收匿名页；

**有个例外**，对于cgroup而言，设置swappiness=0，该group的swap回收被关闭；但是全局的swap还是可以回收；

为什么设定最低水位，在Linux有一些紧急申请，PF\_MEMALLOC，可以突破min水位，(回收内存的过程，也需要申请内存，类似征粮队自身需要吃粮食)。

最低水位，可以通过lewmem\_reserve\_ratio修改；

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oFS3VfG-1598517499021)(media/342b3dba400ad3fc2112fa8fc9097fcd.png)\]][img-1oFS3VfG-1598517499021_media_342b3dba400ad3fc2112fa8fc9097fcd.png]

关于最低水位的计算方法：

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gm1DKBPz-1598517499023)(media/861cb980fbf3200617f4e1a8c7e58dd1.png)\]][img-gm1DKBPz-1598517499023_media_861cb980fbf3200617f4e1a8c7e58dd1.png]

回收inode/dentry的slab

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eskF8AAA-1598517499024)(media/2f53631c6abc21d2a5d4209990bc911a.png)\]][img-eskF8AAA-1598517499024_media_2f53631c6abc21d2a5d4209990bc911a.png]

设置drop\_caches

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-buDAjpNq-1598517499025)(media/a1907b75740ab025c86b61d706e02627.png)\]][img-buDAjpNq-1598517499025_media_a1907b75740ab025c86b61d706e02627.png]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dDfGVDZV-1598517499026)(media/6a05756892b0222976274d5f73ea0a8e.png)\]][img-dDfGVDZV-1598517499026_media_6a05756892b0222976274d5f73ea0a8e.png]

### getdelays工具 ###

getdelays 测量调度、I/O、SWAP、Reclaim的延迟，需要内核打开相应选项

CONFIG\_TASK\_DELAY\_ACCT=y

CONFIG\_TASKSTATS=y

Documentation/accounting/delay-accounting.txt

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lrWQDJGM-1598517499026)(media/5a8927f31b2aaeb7897b9c0a5b914cec.png)\]][img-lrWQDJGM-1598517499026_media_5a8927f31b2aaeb7897b9c0a5b914cec.png]

### vmstat ###

用法,man vmstate

模糊查找

apropos timer
    
    (base) leon\@pc:\~/work/myHub/linux/kernel/linux/Documentation/accounting\$
    apropos vmstat
    
    vmstat (8)      - Report virtual memory statistics
    
    (base) leon\@pc:\~/work/myHub/linux/kernel/linux/Documentation/accounting\$

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FmXtNv7c-1598517499027)(media/a5f2131bcf953ad13c8bdef51c6af778.png)\]][img-FmXtNv7c-1598517499027_media_a5f2131bcf953ad13c8bdef51c6af778.png]

## 6.其他文章 ##

宋宝华《关于DMA和dma\_alloc\_coherent若干误解的澄清》

[https://access.redhat.com/documentation/enus/red\_hat\_enterprise\_linux/6/html/performance\_tuning\_guide/s-memory-tunables][https_access.redhat.com_documentation_enus_red_hat_enterprise_linux_6_html_performance_tuning_guide_s-memory-tunables]

[img-isnAS84z-1598517499007_media_c4206114972c5f94e6f185da50b701ea.png]: /images/20221123/4f695c3295ea4e53aff923b13182832a.png
[img-rh7dgdvQ-1598517499010_media_33f4cf825d818ceeb55f2bed46ce02fe.png]: /images/20221123/f0d24a7d10424187b7109049b97ce236.png
[img-OSVf9oIP-1598517499011_media_2b61657481e8532ccffea663698f99f0.jpg]: /images/20221123/4891e29fb7cb4a4bb05cd01c375c705b.png
[img-LHdHPa72-1598517499013_media_1703771327809b1776192a4d948d96c9.png]: /images/20221123/5be0c1eed6fc4a7a93a97a4835be7154.png
[img-nmVblUcS-1598517499015_media_d9fa8494584d1c5e6e286e6bd120a90d.jpg]: /images/20221123/72990dd0b2474e729739b91a94993341.png
[img-DaRM2Zai-1598517499017_media_ebd0ac95b88659438744f1a21af8efa1.png]: /images/20221123/2fac2e50e2ab4ff68458df170bffc610.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1dGVyZXNh_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/991061fc3be447259c8f4692f8b2a4ee.png
[img-vi0YJ1DX-1598517499019_media_8c7d0fb3d337d001d1f4739d49adf20d.png]: /images/20221123/369fe057c3ae41b28be889c341a21f81.png
[img-1oFS3VfG-1598517499021_media_342b3dba400ad3fc2112fa8fc9097fcd.png]: /images/20221123/30294e189a30450daca37270a3c1993b.png
[img-gm1DKBPz-1598517499023_media_861cb980fbf3200617f4e1a8c7e58dd1.png]: /images/20221123/a95f311d40a0441e8b6d66e2a78810f1.png
[img-eskF8AAA-1598517499024_media_2f53631c6abc21d2a5d4209990bc911a.png]: /images/20221123/1bbdc40cd7a74b4a9c4e096ef17cde15.png
[img-buDAjpNq-1598517499025_media_a1907b75740ab025c86b61d706e02627.png]: /images/20221123/ed1afe3dafee4be69e9530838507cc6d.png
[img-dDfGVDZV-1598517499026_media_6a05756892b0222976274d5f73ea0a8e.png]: /images/20221123/db0bf4f968a84a1fa7d0c8458091d271.png
[img-lrWQDJGM-1598517499026_media_5a8927f31b2aaeb7897b9c0a5b914cec.png]: /images/20221123/acc9d515af02401c97968fd891b6a044.png
[img-FmXtNv7c-1598517499027_media_a5f2131bcf953ad13c8bdef51c6af778.png]: /images/20221123/2a671fabb8654f78896e9987aa1e09e5.png
[https_access.redhat.com_documentation_enus_red_hat_enterprise_linux_6_html_performance_tuning_guide_s-memory-tunables]: https://access.redhat.com/documentation/enus/red_hat_enterprise_linux/6/html/performance_tuning_guide/s-memory-tunables