tensorflow之应用tensorboard.plugins.projector实现tensorboard高维向量可视化

谁践踏了优雅 2021-10-18 10:34 402阅读 0赞

1.首先导入响应的包

import tensorflow as tf
    from tensorflow.examples.tutorials.mnist import input_data
    #PROJECTOR用于将高维向量进行可视化，通过PCA，T-SNE等方法将高维向量投影到三维坐标系
    from tensorflow.contrib.tensorboard.plugins import projector

2.变量定义

#载入数据集
    #运行后会自动下载数据集，保存到指定路径的文件夹里，比如下面是保存到当前目录的MNIST_data文件夹下
    mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#独热编码
    
    #运行次数
    max_steps=1001
    
    #图片数量
    image_num=3000
    
    #文件路径
    DIR="E:/TensorFlow/"
    
    #定义会话
    sess=tf.Session()

3.载入图片

#载入图片
    #stack向量合并成矩阵，
    #tf.stack合并矩阵 https://www.jianshu.com/p/25706575f8d4 默认axis=0
    embedding=tf.Variable(tf.stack(mnist.test.images[:image_num]),trainable=False,name='embedding')

4.记录一些过程参数

#参数概要
    #官网封装了一个函数，可以调用来记录很多跟某个Tensor相关的数据：
    def variable_summaries(var):
        #histogram_summary用于生成分布图，也可以用scalar_summary记录存数值
        with tf.name_scope('summaries'):
            mean=tf.reduce_mean(var)
            tf.summary.scalar('mean',mean)#平均值
            with tf.name_scope('stddev'):
                stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean)))
            tf.summary.scalar('stddev',stddev)#标准差
            tf.summary.scalar('max',tf.reduce_max(var))#最大值
            tf.summary.scalar('min',tf.reduce_min(var))#最小值
            tf.summary.histogram('histogram',var)#直方图
    
    
    #命名空间
    with tf.name_scope('input'):
        #定义两个placeholder
        x=tf.placeholder(tf.float32,[None,784],name='x_input')
        y=tf.placeholder(tf.float32,[None,10],name='y_input')
    
    #显示图片
    with tf.name_scope('input_reshape'):
        image_shaped_input=tf.reshape(x,[-1,28,28,1])#[-1,28,28,1]  nhwc格式，n数量，h高度，w宽度，c通道，如果是彩色则c是3
        tf.summary.image('input',image_shaped_input,10)#10是放10张图片

5.创建一个简单的神经网络进行训练

with tf.name_scope('layer'):
        #创建一个简单的神经网络
        #tf.zeros([784,10])得到一个784行10列的值为0的numpy中的array类型的数据
        #初始化为0，也可以以正态分布形式初始化
        with tf.name_scope('weights'):
            w=tf.Variable(tf.zeros([784,10]),name='w')
            #variable_summaries函数会自动计算w的相应值(平均值、标准差……)
            variable_summaries(w)#记录你想追踪的Tensor，name_scope可以不写，但是当你需要在Graph中体现tensor之间的包含关系时，就要写了
        with tf.name_scope('biases'):
            #variable_summaries函数会自动计算b的相应值(平均值、标准差……)
            b=tf.Variable(tf.zeros([10]),name='b')
            variable_summaries(b)#记录你想追踪的Tensor，name_scope可以不写，但是当你需要在Graph中体现tensor之间的包含关系时，就要写了
        with tf.name_scope('wx_plus_b'):
            wx_plus_b=tf.matmul(x,w)+b
        with tf.name_scope('softmax'):
            prediction=wx_plus_b#得到的是100行10列的矩阵+1行10列的b
    
    #交叉熵代价函数，适用于s型激活函数，比如tf.nn.softmax,这样的话上一行prediction=tf.matmul(x,w)+b就不用写成prediction=tf.nn.softmax(tf.matmul(x,w)+b)了，因为softmax_cross_entropy_with_logits会自动调用一次softmax
    with tf.name_scope('loss'):
        loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
        tf.summary.scalar('loss',loss)
    #使用梯度下降法
    with tf.name_scope('train'):
        train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)
    
    #初始化变量
    init=tf.global_variables_initializer()
    
    sess.run(init)
    
    #argmax是求最大的标签在那个位置，0是按列取，1是按行取，所以这个是取y标签矩阵的每行的最大值的位置,所以他返回一个一维数组
    #equal是看两者是不是一样，一样返回true，否则false
    with tf.name_scope('accuracy'):
        with tf.name_scope('correct_predict'):
            correct_predict=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))
    
        #求准确率
        #tf.case把true和false转化为0、1，然后reduce_mean求平均值
        with tf.name_scope('accuracy'):
            accuracy=tf.reduce_mean(tf.cast(correct_predict,tf.float32))
            tf.summary.scalar('accuracy',accuracy)

6.产生metadata文件，供projector使用

#产生metadata文件
    # if tf.gfile.Exists(DIR+'projector/projector/metadata.tsv'):
    #     tf.gfile.DeleteRecursively(DIR+'projector/projector/metadata.tsv')
    with open(DIR+'projector/projector/metadata.tsv','w') as f:
        labels=sess.run(tf.argmax(mnist.test.labels[:],1))#返回标签n行1列
        for i in range(image_num):
            f.write(str(labels[i])+'\n')

7.projector实现可视化

#合并所有的summary,Graph的最后要写一句这个，给session回调
    merged=tf.summary.merge_all()
    
    projector_writer=tf.summary.FileWriter(DIR+'projector/projector',sess.graph)#sess.graph声明是图的结构
    sever=tf.train.Saver()
    ##ProjectorConfig帮助生成日志文件
    config=projector.ProjectorConfig()
    #添加需要可视化的embedding
    embed=config.embeddings.add()
    embed.tensor_name=embedding.name
    #指定embedding每个点对应的标签信息，
    #这个是可选的，没有指定就没有标签信息
    embed.metadata_path=DIR+'projector/projector/metadata.tsv'
    #指定embedding每个点对应的图像，
    #这个文件也是可选的，没有指定就显示一个圆点
    embed.sprite.image_path=DIR+'projector/data/mnist_10k_sprite.png'
    ##指定sprite图中单张图片的大小
    embed.sprite.single_image_dim.extend([28,28])#按照28*28的像素进行切割
    ##将projector的内容写入日志文件
    projector.visualize_embeddings(projector_writer,config)

其中mnist\_10k\_sprite.png包含10000个数字

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1][]

8. 训练并输出结果

for i in range(max_steps):#100张图片训练max_steps+1次
        #每个批次100个样本
        batch_xs,batch_ys=mnist.train.next_batch(100)
        ##配置运行时需要记录的信息的protocolmessage
        run_options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
        # 运行时记录运行信息的protocolmessage
        run_metadata=tf.RunMetadata()
        summary,_=sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys},options=run_options,run_metadata=run_metadata)
        # 将节点运行时的信息写入日志文件
        projector_writer.add_run_metadata(run_metadata,'step%03d'%i)
        projector_writer.add_summary(summary,i)
        if i%100==0:
            acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
            print("Iter "+str(i)+", Testing Accuracy= "+str(acc))
    
    sever.save(sess,DIR+'projector/projector/a_model.ckpt',global_step=max_steps)#global_step表示当前是第几步
    projector_writer.close()
    sess.close()

9.效果展示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2][]

十张图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3][]

其他scalars

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190811151922640.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20211018/bb783be35f634ca49a98b5c2bedc88fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20211018/ab39adf71fb74c52857f196adab2b33f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]: /images/20211018/c6026215a07143bc8f32a7ff43617726.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4]: /images/20211018/e617ad1f5517493999ba3afc4cc7b598.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 5]: /images/20211018/290f897acd714b65ba841945a04eac44.png