（深度学习）为什么GPU比CPU慢？

我会带着你远行 2023-02-26 09:27 11阅读 0赞

`GPU`由于擅长矩阵运算，在深度学习尤其是计算机视觉方面得到了广泛的应用。

前几天在我废了好大劲在我的的电脑上安装了`Tensorflow 2.0 - GPU`，然后就迫不及待地去体验一下`GPU`的速度。

我去`Tensorflow`官网上直接复制了一段代码，就是最简单的神经网络识别`MNIST`手写数字数据集。然后分别用`GPU`和`CPU`跑了以下，结果让我大吃一惊。之前听别人说用`GPU`通常会比`CPU`快好几倍，而我经过尝试发现`GPU`竟然比`CPU`还要慢了好多！

经过请教别人和上网查资料得出结论：是因为模型规模过小，没有体现出`GPU`的优势。

下面先看一下我的电脑的CPU和GPU的配置：

<table> 
 <thead> 
  <tr> 
   <th>硬件</th> 
   <th>型号</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CPU</td> 
   <td>第六代英特尔酷睿i5-6200u处理器</td> 
  </tr> 
  <tr> 
   <td>GPU</td> 
   <td>NVIDIA GeForce 940MNVIDIA GeForce 940M</td> 
  </tr> 
 </tbody> 
</table>

下面看代码。大家可以跑一下试试（不同硬件配置结果可能不同）

## 一、小规模神经网络模型（GPU比CPU慢） ##

#TensorFlow and tf.keras
    import tensorflow as tf
    #Helper libraries
    import numpy as np
    import matplotlib.pyplot as plt
    from time import time
    
    mnist = tf.keras.datasets.mnist
    (x_train, y_train), (x_test, y_test) = mnist.load_data()
    x_train, x_test = x_train / 255.0, x_test / 255.0
    
    #用CPU运算
    startTime1 = time()
    
    with tf.device('/cpu:0'):
        model = tf.keras.models.Sequential([
          tf.keras.layers.Flatten(input_shape=(28, 28)),
          tf.keras.layers.Dense(128, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(10, activation='softmax')
        ])
        model.compile(optimizer='adam',
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
        model.fit(x_train, y_train, epochs=10)
        model.evaluate(x_test, y_test)
    t1 = time() - startTime1
    
    #用GPU运算
    startTime2 = time()
    
    with tf.device('/gpu:0'):
        model = tf.keras.models.Sequential([
          tf.keras.layers.Flatten(input_shape=(28, 28)),
          tf.keras.layers.Dense(128, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(10, activation='softmax')
        ])
        model.compile(optimizer='adam',
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
        model.fit(x_train, y_train, epochs=10)
        model.evaluate(x_test, y_test)
    
    t2 = time() - startTime2
    
    #打印运行时间
    print('使用cpu花的时间：', t1)
    print('使用gpu花的时间：', t2)

**测试结果：**

使用cpu花的时间： 52.422937631607056
    使用gpu花的时间： 122.77410888671875

**测试结果分析**

`GPU`比`CPU`慢的原因大致为：  
数据传输会有很大的开销，而`GPU`处理数据传输要比`CPU`慢，而`GPU`的专长矩阵计算在小规模神经网络中无法明显体现出来。

## 二、加深加宽隐藏层（GPU优势逐渐体现） ##

#TensorFlow and tf.keras
    import tensorflow as tf
    #Helper libraries
    import numpy as np
    import matplotlib.pyplot as plt
    from time import time
    
    mnist = tf.keras.datasets.mnist
    (x_train, y_train), (x_test, y_test) = mnist.load_data()
    x_train, x_test = x_train / 255.0, x_test / 255.0
    
    #CPU运行
    startTime1 = time()
    
    with tf.device('/cpu:0'):
        model = tf.keras.models.Sequential([
          tf.keras.layers.Flatten(input_shape=(28, 28)),
          tf.keras.layers.Dense(1000, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(1000, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(10, activation='softmax')
        ])
        model.compile(optimizer='adam',
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
        model.fit(x_train, y_train, epochs=10)
        model.evaluate(x_test, y_test)
    
    t1 = time() - startTime1
    
    #GPU运行
    startTime2 = time()
    
    with tf.device('/gpu:0'):
        model = tf.keras.models.Sequential([
          tf.keras.layers.Flatten(input_shape=(28, 28)),
          tf.keras.layers.Dense(1000, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(1000, activation='relu'),
          tf.keras.layers.Dropout(0.2),
          tf.keras.layers.Dense(10, activation='softmax')
        ])
    
        model.compile(optimizer='adam',
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
        
        model.fit(x_train, y_train, epochs=10)
        model.evaluate(x_test, y_test)
    
    t2 = time() - startTime2
    
    #打印运行时间
    print('使用cpu花的时间：', t1)
    print('使用gpu花的时间：', t2)

**测试结果**

使用cpu花的时间： 390.03080129623413
    使用gpu花的时间： 224.40780639648438

以上，希望能给大家带来帮助！