Intel® MKL-DNN

野性酷女 2023-01-07 07:10 137阅读 0赞

# **Intel® MKL-DNN** #

在现代英特尔架构中，缓存和内存使用效率会对整体性能产生显著影响。良好的内存访问模式可以最大限度地降低访问内存数据的额外成本，不会降低整体处理速度。若要实现这一目标，数据的存储和访问方式起着重要作用。这通常被称为数据布局。它描述了多维数组如何在内存地址空间中线性存储。

## 1. Intel® Math Kernel Library for Deep Neural Networks (Intel® MKL-DNN) ##

数据布局由二维图像的 四个字母表示。  
N：批次大小，表示一个批次中的图像数量。  
C：通道，表示一张图像中的通道数。  
W：宽度，表示图像水平维度的像素数。  
H：高度，表示图像垂直维度的像素数。

这四个字母的顺序表示像素数据如何存储在 1-d 内存空间中。例如，NCHW 表示像素数据首先以宽度存储，然后是高度、通道，最后是批量存储。使用通道优先索引从左到右访问数据。**NCHW 是使用英特尔 MKL-DNN 的推荐数据布局，因为这种格式是 CPU 的高效数据布局。**

TensorFlow 使用 NHWC 作为默认数据布局，但它也支持 NCHW。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXExMTY_size_16_color_FFFFFF_t_70_pic_center]

**英特尔 MKL-DNN 库通过矢量化利用 SIMD 指令，并通过多线程利用多个内核。**矢量化技术有效利用了现代 CPU 的缓存和计算能力，以及指令集的效用。单个计算最多可处理 16 个单精度 (512 位长) 数字。同时，最多可以在一个周期内完成两次乘法和加法 (融合乘加 (FMA)) 运算。此外，多线程技术有助于同时执行多个独立运算。通过避免顺序执行，通常可以最好地执行深度学习任务的计算，因此获取并行运行的可用内核是加速深度学习任务的理想选择。英特尔 MKL-DNN 采用 OpenMP，以充分利用英特尔架构。

OpenMP\* 线程绑定到不同内核的线程上下文并尽可能靠近，建议将此环境变量设置为可用的物理内核数。

## Wordbook ##

Intel® Math Kernel Library for Deep Neural Networks (Intel® MKL-DNN)  
Intel® Advanced Vector Extensions 2 (Intel® AVX2)  
C/C++ Development Tools (CDT)

## References ##

[https://software.intel.com/content/www/cn/zh/develop/articles/maximize-tensorflow-performance-on-cpu-considerations-and-recommendations-for-inference.html][https_software.intel.com_content_www_cn_zh_develop_articles_maximize-tensorflow-performance-on-cpu-considerations-and-recommendations-for-inference.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5neXExMTY_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/c22627f6e1584f7db03e0961838950a0.png
[https_software.intel.com_content_www_cn_zh_develop_articles_maximize-tensorflow-performance-on-cpu-considerations-and-recommendations-for-inference.html]: https://software.intel.com/content/www/cn/zh/develop/articles/maximize-tensorflow-performance-on-cpu-considerations-and-recommendations-for-inference.html