C++性能优化系列——百倍加速比的矩阵转置性能调优

Myth丶恋晨 2022-11-25 10:26 47阅读 0赞

打算写一个矩阵转置分别在CPU和GPU平台的性能优化的系列，在最开始把测试环境等一些基本情况交代清楚，并在这里持续更新优化的结果。

## 机器配置 ##

为了方便各位对比性能，介绍一下我的测试机器配置。  
CPU Intel 9900k，程序主要与主频和缓存密切相关，参考如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70 1]

### 公用函数 ###

void TestTranspose(int i,int iAlign,int iVerify)
    	{ 
    		/*typedef*/ void (*Funcp[20])(unsigned char*, unsigned char*);
    		void (*TargetFunc)(unsigned char*, unsigned char*);
    		Funcp[0] = SimdTransposeBlock16;
    		Funcp[1] = SimdTransposeBlock16Pad;
    		Funcp[2] = SimdTransposeBlock8ColPad;
    		Funcp[3] = SimdTransposeBlock8RowPad;
    		Funcp[4] = SimdTransposeBlock16PadParallel;
    		Funcp[5] = SimdTransposeBlock8RowPadPrefetch;
    		Funcp[6] = SimdTransposeBlock8RowPPP;
    		Funcp[7] = IPPTranspose;
    		TargetFunc = Funcp[i];
    		unsigned char* pSource;
    		unsigned char* pTarget;
    		
    		if (iAlign)
    		{ 
    			pSource = (unsigned char*)malloc(sizeof(unsigned char) * NSLICE);
    			for (int irow = 0; irow < NROW; ++irow)
    			{ 
    				memset(pSource + irow * NCOL, irow % 256, sizeof(unsigned char) * NCOL);//按照字节赋值
    			}
    
    			pTarget = (unsigned char*)malloc(sizeof(unsigned char) * NSLICE);
    			for (int irow = 0; irow < NROW; ++irow)
    			{ 
    				memset(pTarget + irow * NCOL, irow % 256, sizeof(unsigned char) * NCOL);//按照字节赋值
    			}
    		}
    		else
    		{ 
    			pSource = (unsigned char*)malloc(sizeof(unsigned char) * NREALCOL * NROW);
    			for (int irow = 0; irow < NROW; ++irow)
    			{ 
    				memset(pSource + irow * (NREALCOL), irow % 256, sizeof(unsigned char) * (NREALCOL));//按照字节赋值
    			}
    			
    			pTarget = (unsigned char*)malloc(sizeof(unsigned char) * NSLICE);
    			for (int irow = 0; irow < NROW; ++irow)
    			{ 
    				memset(pTarget + irow * NCOL, irow % 256, sizeof(unsigned char) * NCOL);//按照字节赋值
    			}
    		}
    		TargetFunc(pSource, pTarget);
    
    		/*unsigned char* pNavi; InitMem(pNavi); if (iAlign) { NavTranspose(pSource, pNavi); Verify(pNavi, pTarget); } else { NavTransposePad(pSource, pNavi); Verify(pNavi, pTarget); } FreeMem(pNavi);*/
    
    		FreeMem(pTarget);
    		FreeMem(pSource);
    	}

## 优化情况 ##

CPU平台上对元素为char类型，尺寸为1024 \* 1024，内存1M的矩阵转置，分别从内存访问，向量化，多线程并行化三个角度优化，执行情况如下：

<table> 
 <thead> 
  <tr> 
   <th>优化手段</th> 
   <th>执行时间(ms)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>读内存连续</td> 
   <td>2.68945</td> 
  </tr> 
  <tr> 
   <td>写内存连续</td> 
   <td>1.5498</td> 
  </tr> 
  <tr> 
   <td>写内存连续+分块</td> 
   <td>0.605469</td> 
  </tr> 
  <tr> 
   <td>写内存连续+分块+内存填充</td> 
   <td>0.367188</td> 
  </tr> 
  <tr> 
   <td>写内存连续+分块+内存填充+多线程</td> 
   <td>0.105469</td> 
  </tr> 
  <tr> 
   <td>Intrinsic+写内存连续+分块+内存填充</td> 
   <td>0.0732422</td> 
  </tr> 
  <tr> 
   <td>Intrinsic+写内存连续+分块+内存填充+寄存器优化</td> 
   <td>0.0695312</td> 
  </tr> 
  <tr> 
   <td>Intrinsic+写内存连续+分块+内存填充+寄存器优化+预取</td> 
   <td>0.0669922</td> 
  </tr> 
  <tr> 
   <td>Intrinsic+写内存连续+分块+内存填充+寄存器优化+预取+多线程</td> 
   <td>0.0200195</td> 
  </tr> 
  <tr> 
   <td>单线程+IPP</td> 
   <td>0.0822266</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

性能对比：  
1.在CPU平台上原始转置方法执行时间：2.68945ms，最终优化转置方法执行时间：0.0200195ms，得到加速比约**135**倍。  
2.单线程下与Intel IPP转置函数对比性能，其中IPP 0.0822266ms，Intrinsic最快达到0.0669922ms，速度快于IPP。获得加速比为**1.227** 。

## 传送门 ##

[CPU性能优化系列——矩阵转置(一)访问内存顺序带来的性能差异][CPU]

[CPU性能优化系列——矩阵转置(二)循环分块优化缓存访问][CPU 1]

[CPU性能优化系列——矩阵转置(三)内存填充避免缓存抖动][CPU 2]

[CPU性能优化系列——矩阵转置(四)OpenMP并行计算][CPU_OpenMP]

[CPU性能优化系列——矩阵转置(六)Intrinsic转置实现与Core Bound优化][CPU_Intrinsic_Core Bound]

[CPU性能优化系列——矩阵转置(七)Intrinsic 内存预取与OpenMP多线程并行化][CPU_Intrinsic _OpenMP]

[CPU性能优化系列——矩阵转置(八)IPP转置API性能测试][CPU_IPP_API]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70]: /images/20221124/306ed3e1964d473cb55f0037afb5ebce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70 1]: /images/20221124/7d97d9f078d64cca8d4fd39e0d7a0529.png
[CPU]: https://blog.csdn.net/yan31415/article/details/107611634
[CPU 1]: https://blog.csdn.net/yan31415/article/details/107709063
[CPU 2]: https://blog.csdn.net/yan31415/article/details/107816040
[CPU_OpenMP]: https://blog.csdn.net/yan31415/article/details/107818190
[CPU_Intrinsic_Core Bound]: https://blog.csdn.net/yan31415/article/details/107464744
[CPU_Intrinsic _OpenMP]: https://blog.csdn.net/yan31415/article/details/108080285
[CPU_IPP_API]: https://blog.csdn.net/yan31415/article/details/108124462