TensorFlow高效读取数据——TFRecord

偏执的太偏执、 2021-09-22 06:02 423阅读 0赞

*分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又给我们这群喜爱开发的童鞋们提供了友好的入门机会，因此，不如就在当下，开始一步一步的学习并开发自己的小程序吧。这是我的公众号：目的是和大家讨论小程序开发，同时也带着开发小白入门设计开发微信小程序，来吧，加入！*

![20200318220239494.png][]

# 正文： #

关于Tensorflow读取数据，官网给出了三种方法：

*  **供给数据(Feeding)**： 在TensorFlow程序运行的每一步， 让[Python][]代码来供给数据。
 *  **从文件读取数据**： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。
 *  **预加载数据**： 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。  
    对于数据量较小而言，可能一般选择直接将数据加载进内存，然后再分batch输入网络进行训练（tip:使用这种方法时，结合yield 使用更为简洁，大家自己尝试一下吧，我就不赘述了）。但是，如果数据量较大，这样的方法就不适用了，因为太耗内存，所以这时最好使用tensorflow提供的队列queue，也就是第二种方法 **从文件读取数据**。对于一些特定的读取，比如csv文件格式，官网有相关的描述，在这儿我介绍一种比较通用，高效的读取方法（官网介绍的少），即使用tensorflow内定标准格式——TFRecords
 *   
 *  TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件（通俗的讲就是不需要把数据再分开存放到不同的文件中）… …总而言之，这样的文件格式好处多多，所以让我们用起来吧。
 *  TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)。我们可以写一段代码获取你的数据， 将数据填入到tf.train.Example协议内存块(protocol buffer)，将协议内存块序列化为一个字符串， 并且通过tf.[Python][]\_io.TFRecordWriter 写入到TFRecords文件。  
    从TFRecords文件中读取数据， 可以使用tf.TFRecordReader的tf.parse\_single\_example解析器。这个操作可以将Example协议内存块(protocol buffer)解析为张量。

# 生成TFRecords文件 #

我们使用tf.train.Example来定义我们要填入的数据格式，然后使用tf.[Python][]\_io.TFRecordWriter来写入。

# coding=utf-8
    import tensorflow as tf
    import numpy as np
    from tensorflow.examples.tutorials.mnist import input_data
    
    
    # 生成整数型的属性。
    def _bytes_feature(value):
        return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
    
    
    # 生成字符串型的属性。
    def _bytes_feature(value):
        return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
    
    mnist = input_data.read_data_sets(
        "", dtype=tf.uint8, one_hot=True)
    image = mnist.train.images
    
    # 训练数据所对应的正确答案，可以作为一个属性保存在TFRcord中。
    labels = mnist.train.labels
    # 训练数据的图像分辨率，这可以作为Example中的一个属性                  
    pixels = images.shape[1]
    num_examples = mnist.train.num_examples
    
    
    # 输出TFRecord文件的地址。
    filename = "e:/file/TFRecord"
    # 创建一个writer来写TFRecord文件.
    writer = tf.python_io.TFRecordWriter(filename)
    for inex in range(num_examples):
        # 将图像矩阵转化成一个字符串
        image_raw = images[index].tostring()
        # 将一个样例转化为Example protocol buffer,并将所有的信息写入这个数据结构。
        example = tf.train.Example(features=tf.train.Features(feature={
            'pixels': _int64_feature(pixels),
            'label': _int64_feature(np.argmax(labels[index])),
            'image_raw': _bytes_feature(image_raw)}))
    
        # 将一个example写入tfrecord文件。
        writer.writer(example.SerializeToSring())
    writer.close()

[20200318220239494.png]: /images/20210920/16a74a74305f4b668c5b31c7c35a6a3d.png
[Python]: http://codecloud.net/tag/Python