ARM整形算力计算

今天药忘吃喽~ 2024-04-07 11:48 15阅读 0赞

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

#### 文章目录 ####

*  前言
 *  一、RK3399规格？
 *  二、开始计算
 *   *  1.参考
     *  2.计算
 *  总结

--------------------

## 前言 ##

之前做人工智能使用RK3399的CPU去推理，发现效果不理想，现在基本上是采用NPU来推理了。我内心不禁萌生一个想法，ARM的CPU算力到底有多少，为什么推理方面干不过NPU，这里我借用经常使用的RK3399来对比下

--------------------

## 一、RK3399规格？ ##

RK3399是国产厂商瑞芯微设计的一款ARM产品，基于Cortex-A72+Cortex-A53的大小核架构设计，算是半国产产品吧，Cortex-A72数量2颗，主频1800Mhz；Cortex-A53数量4颗，主频1500Mhz。

## 二、开始计算 ##

### 1.参考 ###

我们需要参考官方给出的实际算力表，见下表

![在这里插入图片描述][865576f9b284480186944b3e9ad57e52.png]  
表里我们看出  
Cortex-A72的DMIPS/MHZ是4.7，也就是每秒，每MHZ执行4.7百万个整数计算指令  
Cortex-A53的DMIPS/MHZ是2.3，也就是每秒，没MHZ执行2.3百万个整数计算指令  
有了这些数据，我们开始计算实际的整数算力。

### 2.计算 ###

MOPS：megaOPS，每秒10^6次整数运算，相当于每秒一百万次整数运算  
GOPS：gigaOPS，每秒10^9次整数运算，相当于每秒十亿次整数运算  
TOPS：teraOPS，每秒10^12次整数运算，相当于每秒一万亿次整数运算  
POPS：petaOPS，每秒10^15次整数运算，相当于每秒一千万亿次整数运算  
EOPS：exaOPS，每秒10^18次整数运算，相当于每秒一百亿亿次整数运算

有了这些数据，我们就可以开始计算RK3399的算力了，这里我们抛弃其它的干扰，只计算官方给出的数据，结果可能有一定的偏差。

计算公式:频率(MHZ)x核心数xDMIPS/MHZ

Cortex-A72: 1800x2x4.7=16920 DMIPS  
Cortex-A53: 1500x4x2.3=13800 DMIPS

合计：30720 DMIPS

这个算力在GOPS核TOPS中间，实际307.2GOPS或0.3072TOPS，看起来和动辄3TOPS的NPU比起来还是有差距的。

--------------------

## 总结 ##

1、市面上很多模型都是基于INT8的，精度和FLOAT肯定是差一些的，大多数人都是采用牺牲一些精度换取大量的性能提升，这个是目前边端设备上的主流做法。  
2、没有测试GPU，RK3399这个GPU在嵌入式设备上还是蛮强的，但是实际上在推理场景发挥有限，至少我是没有获得过巨大的性能提升。  
3、边端设备上推理还是采用NPU更划算，单纯依靠CPU还是不太现实，或者只能满足受限制的小场景。

[865576f9b284480186944b3e9ad57e52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ae2bae84529a49639238bc8385948087.png