人脑的算力估算

浅浅的花香味﹌ 2023-01-21 04:29 12阅读 0赞

> 这篇文章的起因是前些天听到一句话：“人脑的算力大概是5000TOPS”，由此产生了些许疑惑。本着“求是”的精神，讨论一下人脑算力的估算值。如果你也有诸如“电脑的计算力达到人脑水平了吗”之类的疑惑，推荐你阅读。

首先，为了完成算力估算和对比，得和读者们约定一个计量单位。这里我们使用在业界常用的指标：**OPS，即每秒运算次数（Operations per second）**。对任一个处理器，每秒钟能够处理的运算次数越多，则意味着算力越强。

一些常见的单位包括：

*  GOPS（gigaOPS，每秒十亿次运算）
 *  TOPS（teraOPS，每秒一兆/一万亿次运算）
 *  POPS（petaOPS，每秒一千兆/一千万亿次运算）
 *  其他的还可见下表：

![v2-78c3b21d4ad85e8cc5655cfb44781283_b.jpg][] 图片来源\[1\]

除了OPS之外，常用的还有FLOPS（每秒浮点运算次数， Floating-point operations per second）。浮点运算属于运算（OP）的一种，指的是带小数的加减乘除运算。

从Wikipedia上摘一些不同处理器的算力水平\[2\]，供大家对算力的强弱形成一些直观的感受：

*  NVIDIA GeForce RTX 2080: 10.1 TFLOPS
 *  NVIDIA Tesla V100: 14.1 TFLOPS
 *  神威太湖之光：93.01 PFLOPS
 *  比特币全网算力(2018/5) : 35 EFLOPS（exaFLOPS，每秒一百京/一百亿亿次浮点运算）

![v2-b9b0d7ff33a7577a5f915fcac7d2d108_b.jpg][] 图片来源网络，国产超级计算机——神威·太湖之光

第二步，理解了计量单位之后，可以开始粗略估算一下人脑的算力。

注：对于人脑的算力估计方式多种多样，从 1015到 1028 FLOPS都有，因此本文采用的估算方法仅代表我个人观点，并非权威，特此说明。

做几个数字上的估计（这些数字可能会随着对人脑的研究发生变化）：

*  单个人脑的神经元数量：普遍估计是~1000亿个；
 *  单个神经元与多少个其他神经元连接：估计是在10000个这一量级；
 *  单个神经元连接的激活速度：这一部分的争议较大，这里选用参考文献\[4\]中的数值——单个神经元的激活频率约2Hz，即一秒激活2次；

根据这三个维度的数字，我们有：

人脑的算力=神经元个数（10^11个）\*单个神经元连接数（10^4个）\*单个连接的激活速度（2 OP/个秒）；

**因此，我们估算出的人脑算力在2x10^15 OPS的量级，即是2 petaFLOPS左右。**和下图左下角的对人脑的估算结果2.2 billion megaflops \[5\]相同，接近本文引言部分提的5000TOPS（同一量级），但小于神威·太湖之光的93.01 petaFLOPS。

![v2-ee960c6c5a82d8f35e5348ce2fd9bb3e_b.jpg][] 图片来源\[5\]，左下角对于人脑算力的估计和本文的估计结果很接近

最后，从数值上看计算脑已经远超人脑了，但这并不意味着计算脑和人脑之间已经不存在差距了。**我们可以从下面几点来辩证地看待这篇文章**：

*  前文使用的FLOPS不能完全反映人脑的算力。FLOPS其实只能表达计算性能的一部分，其他同样重要的指标例如：数据的读写性能。往往一款芯片它在实际运行时的算力和它的理论FLOPS之间，存在着一段不小的差距。另外，人脑并不是为数学运算而生的，而FLOPS衡量的运算速度只是数学运算意义上的算力；
 *  哪怕在实现相同算力的情况下，人脑的功耗远低于而效率却远高于计算脑。一台超级计算机的耗能足够供给一整栋大楼，而一个人脑的耗能约等于点亮一个灯泡\[1\]。因此，为了将功耗也纳入性能的考量，越来越多使用TOPS/W作为性能指标之一，即衡量在1W功耗下，处理器能进行的运算次数。类似的，一台超级算机器的占用空间远高于一个人脑的体积；

在自动驾驶领域使用的嵌入式芯片的神经网络计算单元，除了用OPS来衡量以外，还需要额外考虑能效比TOPS/W \[3\]：

*  Mobileye Eye Q4：2.5 TOPS，3W，0.83 TOPS/W
 *  地平线J2：4 TOPS，2 W，2 TOPS/W
 *  NVIDIA Xavier：30 TOPS，30 W，1 TOPS/W
 *  Tesla FSD 单芯片：144 TOPS，72 W，2 TOPS/W
 *  黑芝麻华山二号A1000：40 TOPS，8-10W，5 TOPS/W
 *  地平线J5：96 TOPS，15W，6 TOPS/W
 *  计算脑发展至今的结构仍遵循着“冯·诺依曼体系”，在这个结构下的神经网络、深度学习方法，其运算、学习的效率仍远低于人脑。

**总的来说，计算脑和人脑的差距不是简单能用数字来衡量的，可能是方法论上的差距。**

**计算脑在存储和运算速度上强于人脑，但人脑在运算效率上远高于计算脑。**

而现在的浅薄的我们，能做到的只是用这些浅薄的数字做一些**“管中窥豹”、“坐井观天”**的工作罢了。

人类进化了上亿年才出现了如今的完美、高效的器官，对于计算脑，不妨让子弹再飞一会儿。

![v2-5bba5c1b18d39bacfed3902bac1dd1f1_b.jpg][] 图片来源网络

> 参考文献：  
> \[1\] [https://foglets.com/supercomputer-vs-human-brain/][https_foglets.com_supercomputer-vs-human-brain]  
> \[2\] [https://zh.wikipedia.org/wiki/%E6%AF%8F%E7%A7%92%E6%B5%AE%E9%BB%9E%E9%81%8B%E7%AE%97%E6%AC%A1%E6%95%B8][https_zh.wikipedia.org_wiki_E6_AF_8F_E7_A7_92_E6_B5_AE_E9_BB_9E_E9_81_8B_E7_AE_97_E6_AC_A1_E6_95_B8]  
> \[3\] [http://www.51wctt.com/News/45730/Detail/1][http_www.51wctt.com_News_45730_Detail_1]  
> \[4\] [https://aiimpacts.org/rate-of-neuron-firing/][https_aiimpacts.org_rate-of-neuron-firing]  
> \[5\] [https://www.scientificamerican.com/article/computers-vs-brains/][https_www.scientificamerican.com_article_computers-vs-brains]

[v2-78c3b21d4ad85e8cc5655cfb44781283_b.jpg]: /images/20221020/84eb6abca7e44d0e8ae98d5d4c97d3a0.png
[v2-b9b0d7ff33a7577a5f915fcac7d2d108_b.jpg]: /images/20221020/d7ce21880c87441785be79fbd0f676b7.png
[v2-ee960c6c5a82d8f35e5348ce2fd9bb3e_b.jpg]: /images/20221020/37cf939c3af24bf4b1605658784b64dd.png
[v2-5bba5c1b18d39bacfed3902bac1dd1f1_b.jpg]: /images/20221020/4d0ae58ef15544c09b48d0e9c1164916.png
[https_foglets.com_supercomputer-vs-human-brain]: https://link.zhihu.com/?target=https%3A//foglets.com/supercomputer-vs-human-brain/
[https_zh.wikipedia.org_wiki_E6_AF_8F_E7_A7_92_E6_B5_AE_E9_BB_9E_E9_81_8B_E7_AE_97_E6_AC_A1_E6_95_B8]: https://link.zhihu.com/?target=https%3A//zh.wikipedia.org/wiki/%25E6%25AF%258F%25E7%25A7%2592%25E6%25B5%25AE%25E9%25BB%259E%25E9%2581%258B%25E7%25AE%2597%25E6%25AC%25A1%25E6%2595%25B8
[http_www.51wctt.com_News_45730_Detail_1]: https://link.zhihu.com/?target=http%3A//www.51wctt.com/News/45730/Detail/1
[https_aiimpacts.org_rate-of-neuron-firing]: https://link.zhihu.com/?target=https%3A//aiimpacts.org/rate-of-neuron-firing/
[https_www.scientificamerican.com_article_computers-vs-brains]: https://link.zhihu.com/?target=https%3A//www.scientificamerican.com/article/computers-vs-brains/