Python TensorFlow，TFRecord文件类型，读取数据并保存成TFRecord文件类型，TFRecordWriter()

淡淡的烟草味﹌ 2022-03-12 15:23 247阅读 0赞

TFRecords是Tensorflow设计的一种内置文件格式，是一种二进制文件，它能更好的利用内存，更方便复制和移动。

TFRecords是为了将二进制数据和标签(训练的目标类别标签)数据存储在同一个文件中。

文件的保存格式：\*.tfrecords

写入文件的内容：每个样本的Example协议块(键值对,类字典格式,表示一个样本数据)

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2][]

--------------------

**demo.py（TFRecord，读取数据并保存成TFRecord文件类型，TFRecordWriter）：**

import tensorflow as tf
    import os
    os.environ['TF_CPP_MIN_LOG_LEVEL']='2'  # 设置警告级别
    
    
    # 读取二进制文件(包含多个样本),并对每个样本构造example协议块并写入tfrecords文件。
    # 二进制表示的图片数据。图片尺寸32*32,3个通道。每个图片样本的大小固定(1+32*32*3=3073字节)第一个字节表示图片类别，32*32*3个字节表示图片像素值
    # 数据来源：http://www.cs.toronto.edu/~kriz/cifar.html
    
    # 找到数据文件，放入列表   路径+名字->列表当中
    file_names = os.listdir("./data/")
    print(file_names)  # ['data_batch_1.bin', 'data_batch_2.bin', 'data_batch_3.bin']
    # 拼接路径和文件名
    filename_list = [os.path.join("./data/", file) for file in file_names]
    
    # 1、构造文件名队列
    file_queue = tf.train.string_input_producer(filename_list)
    
    # 2、构造二进制文件读取器，读取内容。 每个样本的字节数
    reader = tf.FixedLengthRecordReader(3073)  # 1+32*32*3=3073 (图片)
    key, value = reader.read(file_queue)  # value表示一个样本的数据
    print(value)  # Tensor("ReaderReadV2:1", shape=(), dtype=string)
    
    # 3、解码内容,二进制文件内容的解码 （将读取的字符串类型张量转换成uint8类型的张量）
    decoded_data = tf.decode_raw(value, tf.uint8)
    print(decoded_data)  # Tensor("DecodeRaw:0", shape=(?,), dtype=uint8)
    
    # 4、分割出标签和图片数据，划分特征值和目标值 (decoded_data的第一个字节表示图片类别(标签))
    label = tf.cast(tf.slice(decoded_data, [0], [1]), tf.int32)
    image = tf.slice(decoded_data, [1], [3072])  # 从下标1开始切，取3072列。
    print(image)  # Tensor("Slice_1:0", shape=(3072,), dtype=uint8)
    
    # 5、可以对图片的特征数据进行形状的改变 [3072] --> [32, 32, 3]
    image_reshape = tf.reshape(image, [32, 32, 3])
    print(label)  # Tensor("Cast:0", shape=(1,), dtype=int32)
    print(image_reshape)  # Tensor("Reshape:0", shape=(32, 32, 3), dtype=uint8)
    
    # 6、批处理数据
    image_batch, label_batch = tf.train.batch([image_reshape, label], batch_size=10, num_threads=1, capacity=10)
    print(image_batch)  # Tensor("batch:0", shape=(10, 32, 32, 3), dtype=uint8)
    print(label_batch)  # Tensor("batch:1", shape=(10, 1), dtype=int32)
    
    
    # 开启会话运行结果
    with tf.Session() as sess:
        # 创建一个线程协调器
        coord = tf.train.Coordinator()
    
        # 开启读文件的子线程
        threads = tf.train.start_queue_runners(sess, coord=coord)
    
        # 1、建立TFRecord存储器
        writer = tf.python_io.TFRecordWriter("./mydata/dog.tfrecords")
    
        # 2、循环将每个样本构造example协议块并写入tfrecords文件
        for i in range(10):  # 一个批次中有10个样本
            # 取出第i个图片数据的特征值和目标值
            image = image_batch[i].eval().tostring()  # eval()相当于sess.run()。 tostring()将ndarray转换成字符串类型。
            label = int(label_batch[i].eval()[0])  # 取出目标值 (label_batch是二维的张量)
    
            # 构造一个样本的example协议块
            example = tf.train.Example(features=tf.train.Features(feature={
                "image": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image])),
                "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))
            }))
    
            # 写入单个样本
            writer.write(example.SerializeToString())  # SerializeToString()将样本的协议块序列化成字符串
    
        # 关闭
        writer.close()
    
        # 结束子线程
        coord.request_stop()
        # 等待子线程结束
        coord.join(threads)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220312/e8fc2e5cb96f41a2a223099209cb3d41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220312/cfb218221bcc47fe8d0cdb0c10e52f49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2]: /images/20220312/95dc7b6b616d49c7a145ada3902b83b6.png