TensorFlow基础（十二）——制作tfrecord训练集

缺乏、安全感 2021-12-16 04:18 371阅读 0赞

学习这部分可以先看《[你可能无法回避的 TFRecord 文件格式详细讲解][TFRecord]》对tfrecord的基本格式有个大概的了解

之后可以结合《[Slim读取TFrecord文件][Slim_TFrecord]》来看本博客

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

# tensorflow 的tfrecord格式转为图片： #

总的来说只有3步：

*  1.读取tfrecords，只是读取器变成了tf.TFRecordReader来读取tfrecord文件。
 *  2.通过一个解析器tf.parse\_single\_example ，解析这个特殊的tfrecord格式文件。
 *  3.然后用解码器 tf.decode\_raw 解码。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1][]

从tf中读图片代码：

# -*- coding: utf-8 -*-
    
    import tensorflow as tf 
    from PIL import Image  
    
    #写入将要保存图片路径，需要自己手动新建文件夹
    swd = './tfrecord2pic'+'/'
    #TFRecord文件路径，只能打开某一个具体的tfrecord,有多个那就改一下咯。
    data_path = './traindata.tfrecords-003'
    # 获取文件名列表
    data_files = tf.gfile.Glob(data_path)
    # 文件名列表生成器
    filename_queue = tf.train.string_input_producer(data_files,shuffle=True) 
    
    reader = tf.TFRecordReader()
    
    #上一篇说了，tfrecord格式数据度保存在值里面，即serialized_example，所以键不管
    
    _, serialized_example = reader.read(filename_queue)   #返回文件名和文件
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                           'img_width': tf.FixedLenFeature([], tf.int64),
                                           'img_height': tf.FixedLenFeature([], tf.int64),
                                       })  #取出包含image和label的feature对象
    #tf.decode_raw可以将字符串解析成图像对应的像素数组
    image = tf.decode_raw(features['img_raw'], tf.uint8)
    height = tf.cast(features['img_height'],tf.int32)
    width = tf.cast(features['img_width'],tf.int32)
    label = tf.cast(features['label'], tf.int32)
    channel = 3
    image = tf.reshape(image, [height,width,channel])
    
    with tf.Session() as sess: #开始一个会话
        init_op = tf.initialize_all_variables()
        sess.run(init_op)
        #启动多线程
        coord=tf.train.Coordinator()
    
        threads= tf.train.start_queue_runners(coord=coord)
    
    #循环6次，所以转化了6张图片
    
        for i in range(6):
            single,l = sess.run([image,label])#在会话中取出image和label
    
            img=Image.fromarray(single, 'RGB')#这里Image是之前提到的
    
    #存下图片，格式是  第几张图片_label_所属类别标签号
    
            img.save(swd+str(i)+'_''Label_'+str(l)+'.jpg')
        coord.request_stop()
    
        coord.join(threads)

注意：

> 1.红色字体是需要修改的部分，看注释改下吧。
> 
> 2.每次读取都是从tfrecord第一张图片开始读取的，for i in range(xxx,xxxx):这里设置图片的编号，
> 
> 同时还设置转化的图片数目。你如果想从第10张以后开始读取保存图片，简单：
> 
> 你写个if语句，判断循环了多少次嘛。到了第10次才开始保存即可。
> 
> 或者你想跳过中间某些图片不处理，还是写个if语句，count在那个范围之内你再读取嘛。
> 
> 3.比如你tfrecord有300张图片，你设置for i in range(xxx,xxxx)读取500张，
> 
>    其实后面200张图片又从tfrecord头开始读取重复图片了，不会保错。

参考:[https://blog.csdn.net/fu6543210/article/details/80265612][https_blog.csdn.net_fu6543210_article_details_80265612]

**\*\*这个是关于读tf数据的介绍，值得看**[https://www.cnblogs.com/Charles-Wan/p/6197019.html][https_www.cnblogs.com_Charles-Wan_p_6197019.html]

采用tfrecord形式数据集时，需要在代码中做到修改：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2][]

新的mnist\_generateds.py

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 5][]

前反馈：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 6][]

后反馈：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 8][]

测试文件中：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 10][]

输入文件输出测试结果：[https://mp.csdn.net/postedit/94660198][https_mp.csdn.net_postedit_94660198]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 12][]

然后可以按照《[TensorFlow 自定义生成 .record 文件][TensorFlow _ .record]》再做一个小练习巩固

[TFRecord]: https://blog.csdn.net/briblue/article/details/80789608
[Slim_TFrecord]: https://blog.csdn.net/MOU_IT/article/details/82773839
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20211214/deeb788be162413a823ea2ff2519fda4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1]: /images/20211214/12031237cebf4bb59ac8cf5ab74d7617.png
[https_blog.csdn.net_fu6543210_article_details_80265612]: https://blog.csdn.net/fu6543210/article/details/80265612
[https_www.cnblogs.com_Charles-Wan_p_6197019.html]: https://www.cnblogs.com/Charles-Wan/p/6197019.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 2]: /images/20211214/f55d32b8b673414c9a159e55d4beddfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 3]: /images/20211214/5b580bdecc1542b5b757c4f5085323b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 4]: /images/20211214/4cc0c9f93be6489bb1197251aac0fca2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 5]: /images/20211214/528cabc04bb04b10b435736ab4430c6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 6]: /images/20211214/ffd58e1184fa4a8b983e7afecf22cd6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 7]: /images/20211214/0fbbf677c37341c4a0d935f64c97765f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 8]: /images/20211214/6024ed94580e4e0c8285dce5999336c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 9]: /images/20211214/3ff5a0f451034712bf0b7243f44be7bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 10]: /images/20211214/5f8aea71a92342338126f062e5420cde.png
[https_mp.csdn.net_postedit_94660198]: https://mp.csdn.net/postedit/94660198
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 11]: /images/20211214/ae012aff64e044329115b106ba2740e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 12]: /images/20211214/f08e809cef61402bbe954960d6b37f4c.png
[TensorFlow _ .record]: https://www.jianshu.com/p/ad5c7cdfeff2