tensorflow(5) Tensorboard可视化

深碍√TFBOYSˉ_ 2022-06-07 11:48 313阅读 0赞

标签（空格分隔）： tensorflow

--------------------

### 1.summary data ###

summary data 是从graph里面收集而来的，找到你想收集summary data的节点，在这个节点上添加tf.summary.scalar op，加上一个tag。

tensorflowboard API 有四种summary

tf.scalar_summary(tags, values, collections=None, name=None)
    
    tf.image_summary(tag, tensor, max_images=3, collections=None, name=None)
    
     tf.audio_summary(tag, tensor, sample_rate, max_outputs=3, collections=None, name=None)
    
    tf.histogram_summary(tag, values, collections=None, name=None)

上述这组API分别对标量，图片，音频以及柱状图进行汇总统计，以Protocol Buffer结构进行表示。  
比如你想直到mnist训练过程中学习率和目标函数的变化情况，就可以给learning rate 和loss function的输出节点各加上一个tf.summary.scalar的operation，然后给他们打上learning rate 和loss function的tag。如果想看激励的分布，或者梯度、权重的分布，添加tf.summary.histogram

[加了summary的mnist][summary_mnist]

#### 定义 ####

tf.summary.scalar('cross_entropy', cross_entropy)

#### 合并，写入文件 ####

merged = tf.summary.merge_all()
      train_writer = tf.summary.FileWriter(FLAGS.log_dir + '/train', sess.graph)
      test_writer = tf.summary.FileWriter(FLAGS.log_dir + '/test')

我们创建的summary op，要先把他们结合成一个总的op，然后run。

*  `tf.summary.merge_all`: 结合所有的summary nodes
 *  `tf.summary.FileWriter`: 写入指定文件,可以每步都写入，也可以n步写入一次
 *  run: 会在给定的step,生成所有summary Data的object protobuf

#### 运行 ####

for i in range(FLAGS.max_steps):
        if i % 10 == 0:  # Record summaries and test-set accuracy
          summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
          test_writer.add_summary(summary, i)
          print('Accuracy at step %s: %s' % (i, acc))
        else:  # Record train set summaries, and train
          if i % 100 == 99:  # Record execution stats
            run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
            run_metadata = tf.RunMetadata()
            summary, _ = sess.run([merged, train_step],
                                  feed_dict=feed_dict(True),
                                  options=run_options,
                                  run_metadata=run_metadata)
            train_writer.add_run_metadata(run_metadata, 'step%03d' % i)
            train_writer.add_summary(summary, i)
            print('Adding run metadata for', i)
          else:  # Record a summary
            summary, _ = sess.run([merged, train_step], feed_dict=feed_dict(True))
            train_writer.add_summary(summary, i)
      train_writer.close()
      test_writer.close()

### 2.启动tensorboard ###

如果是源码安装的，按照如下方式启动

python path/to/tensorboard.py --logdir=path/to/log/dir

我的tensorboard安装在  
/home/lgy/anaconda2/envs/pycharm\_tf/lib/python2.7/site-packages/tensorflow/tensorboard  
我创建一个软链接

sudo ln -s /home/lgy/anaconda2/envs/pycharm_tf/lib/python2.7/site-packages/tensorflow/tensorboard/tensorboard.py /usr/local/bin/tensorboard

以后就可以直接用

tensorboard --logdir=path/to/log-directory

一旦 TensorBoard 开始运行，你可以通过在浏览器中输入 localhost:6006 来查看 TensorBoard。  
若果由pip安装到了系统目录，按照如下方式启动

### 3. tensorboard graph visualize ###

默认显示第一层namescope，里面包含了很多节点，要不然成千上万个节点，没法显示。

graph中有两种连接，一种是数据依赖 ，用实线连接，一种是控制依赖，用虚线连接

有些节点和其他节点有很多连接，比如初始化。如果都画上线，就会显得很乱。为了减少连线，使图像更加直观，可以用辅助节点来表示。  
还有一个简化试图的方法是折叠，适用于结构相同，但是命名末尾数字不相同的节点。

Color有两种，Structure是结构视图，相同结构有相同的颜色，灰色节点的结构是唯一的  
Device是设备视图，紫色代表GPU，绿色代表CPU

一些图标的意义如下图：

### 4. tensorboard histogram ###

主要是讲怎么是用tf.summary.histogram  
比如说正太分布，如下图  
the histogram at timestep 176 has a bin centered at 2.25 with 177 elements in that bin.  
直方图的bin是指数分布的，这样就能应对很大的数了，并且重新采样数据使它变成均匀分布的bins

### 参考 ###

[tensorflow/README.md at r1.2 · tensorflow/tensorflow][tensorflow_README.md at r1.2 _ tensorflow_tensorflow]  
[Module: tf.summary | TensorFlow][Module_ tf.summary _ TensorFlow]  
[TensorBoard: Visualizing Learning | TensorFlow][TensorBoard_ Visualizing Learning _ TensorFlow]  
[TensorBoard: Graph Visualization | TensorFlow][TensorBoard_ Graph Visualization _ TensorFlow]  
[TensorBoard实践介绍（2017年TensorFlow开发大会） - YouTube][TensorBoard_2017_TensorFlow_ - YouTube]

[summary_mnist]: https://github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py
[tensorflow_README.md at r1.2 _ tensorflow_tensorflow]: https://github.com/tensorflow/tensorflow/blob/r1.2/tensorflow/tensorboard/README.md
[Module_ tf.summary _ TensorFlow]: https://www.tensorflow.org/api_docs/python/tf/summary
[TensorBoard_ Visualizing Learning _ TensorFlow]: https://www.tensorflow.org/get_started/summaries_and_tensorboard
[TensorBoard_ Graph Visualization _ TensorFlow]: https://www.tensorflow.org/get_started/graph_viz
[TensorBoard_2017_TensorFlow_ - YouTube]: https://www.youtube.com/watch?v=eBbEDRsCmv4