Python TensorFlow，读取二进制文件，FixedLengthRecordReader()

落日映苍穹つ 2022-03-12 13:52 269阅读 0赞

数据来源：[http://www.cs.toronto.edu/~kriz/cifar.html][http_www.cs.toronto.edu_kriz_cifar.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

--------------------

**demo.py（读取二进制文件，FixedLengthRecordReader()）：**

import tensorflow as tf
    import os
    os.environ['TF_CPP_MIN_LOG_LEVEL']='2'  # 设置警告级别
    
    
    # 读取二进制文件。 (二进制表示的图片。图片尺寸32*32,3个通道。每个图片样本的大小固定(1+32*32*3=3073字节)第一个字节表示图片类别，32*32*3个字节表示图片像素值)
    
    # 找到数据文件，放入列表   路径+名字->列表当中
    file_names = os.listdir("./data/")
    print(file_names)  # ['data_batch_1.bin', 'data_batch_2.bin', 'data_batch_3.bin']
    # 拼接路径和文件名
    filename_list = [os.path.join("./data/", file) for file in file_names]
    
    # 1、构造文件名队列
    file_queue = tf.train.string_input_producer(filename_list)
    
    # 2、构造二进制文件读取器，读取内容。 每个样本的字节数
    reader = tf.FixedLengthRecordReader(3073)  # 1+32*32*3=3073 (图片)
    key, value = reader.read(file_queue)  # value表示一个样本的数据
    print(value)  # Tensor("ReaderReadV2:1", shape=(), dtype=string)
    
    # 3、解码内容,二进制文件内容的解码 （将读取的字符串类型张量转换成uint8类型的张量）
    decoded_data = tf.decode_raw(value, tf.uint8)
    print(decoded_data)  # Tensor("DecodeRaw:0", shape=(?,), dtype=uint8)
    
    # 4、分割出标签和图片数据，划分特征值和目标值 (decoded_data的第一个字节表示图片类别(标签))
    label = tf.cast(tf.slice(decoded_data, [0], [1]), tf.int32)
    image = tf.slice(decoded_data, [1], [3072])  # 从下标1开始切，取3072列。
    print(image)  # Tensor("Slice_1:0", shape=(3072,), dtype=uint8)
    
    # 5、可以对图片的特征数据进行形状的改变 [3072] --> [32, 32, 3]
    image_reshape = tf.reshape(image, [32, 32, 3])
    print(label)  # Tensor("Cast:0", shape=(1,), dtype=int32)
    print(image_reshape)  # Tensor("Reshape:0", shape=(32, 32, 3), dtype=uint8)
    
    # 6、批处理数据 (批处理之前,需要数据的形状固定)
    image_batch, label_batch = tf.train.batch([image_reshape, label], batch_size=10, num_threads=1, capacity=10)
    print(image_batch)  # Tensor("batch:0", shape=(10, 32, 32, 3), dtype=uint8)
    print(label_batch)  # Tensor("batch:1", shape=(10, 1), dtype=int32)
    
    
    # 开启会话运行结果
    with tf.Session() as sess:
        # 创建一个线程协调器
        coord = tf.train.Coordinator()
    
        # 开启读文件的子线程
        threads = tf.train.start_queue_runners(sess, coord=coord)
    
        # 打印读取的内容
        print(sess.run(label_batch))
        '''
        [[1]
         [6]
         [6]
         [8]
         [8]
         [3]
         [4]
         [6]
         [0]
         [6]]
        '''
        print(sess.run(image_batch))
        '''
        [[[[115 118 121]
           [122 124 126]
           [129 133 136]
           ...
            [ 21  26  17]
            [ 12  15  27]
            [ 43  28  10]]]]
        '''
    
        # 结束子线程
        coord.request_stop()
        # 等待子线程结束
        coord.join(threads)

[http_www.cs.toronto.edu_kriz_cifar.html]: http://www.cs.toronto.edu/~kriz/cifar.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220312/3780ec407cf74f68b98082b775b54969.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220312/d2caf983a1d9488bbf87cf828192b52c.png