解决Python中下载cifar-10数据集缓慢问题

刺骨的言语ヽ痛彻心扉 2023-02-14 00:28 47阅读 0赞

## 解决Python中下载cifar-10数据集缓慢问题 ##

最近需要使用cifar-10数据集进行开发，但是使用Python在下载的时候发现速度非常慢。下面介绍一下我的解决方法。

1、下载cifax-10数据集，如果使用Python进行下载的话速度比较慢，**这里建议你直接到官网进行下载**，[官网：][Link 1] 直接点击下载即可。示例：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70]

然后选择合适的位置保存即可，示例：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 1]

2、对下载好的文件进行解压。示例：

![在这里插入图片描述][20200529231404321.png]

文件的目录如下所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 2]

3、使用Python3读取cifar-10中的数据。示例代码：

def load_file(filename):
        # filename表示需要读取文件的路径
        with open(filename,'rb') as fo:
            data = pickle.load(fo,encoding='latin1')   # bytes 官方的例程 latin1 读取数据
        return data

**提示**：上面的方法需要自己编写程序进行读取。**需要时刻注意文件的路径**。

4、上面的方法需要自己编写程序进行数据的读取，编写过程比较麻烦，而且容易出错。下面介绍使用Keras库中的cifar10.load\_data()函数进行数据读取，直接可以读取出训练集和测试集。这里需要你首先安装tensorflow库和Keras库。

（1）将刚才下载的压缩文件直接复制，放到Keras库的数据集文件夹下，一般情况下在"C:\\Users\\用户名.keras\\datasets" 下，如果有特殊情况读者可以自行寻找，然后将压缩文件粘贴到datasets文件夹下即可。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 3]

（2）修改文件名。将文件名由：cifar-10-python.tar.gz 改为：cifar-10-batches-py.tar.gz点击保存即可。示例：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 4]

（3）修改好文件名之后，直接退出，使用Python代码直接读取数据。示例：

from keras.datasets import cifar10  # 读取数据集
    (x_train, y_train), (x_test, y_test) = cifar10.load_data()

**提示**：当上面程序运行时，**会自动将压缩包进行解压操作**，无需自己手动进行解压。

至此，当数据解压完成之后，就可以使用Keras库内置的函数进行读取数据了。

[Link 1]: http://www.cs.toronto.edu/~kriz/cifar.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200529231308151.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200529231344988.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg=,size_16,color_FFFFFF,t_70
[20200529231404321.png]: https://img-blog.csdnimg.cn/20200529231404321.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200529231430222.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020052923153839.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200529231603588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NIUUMzODg=,size_16,color_FFFFFF,t_70