TensorBoard（2）训练指标

╰+哭是因爲堅強的太久メ 2022-10-07 00:57 196阅读 0赞

## 前言 ##

机器学习涉及评估模型的指标，例如损失（loss）、准确度等，以及它们如何随着训练的进行而变化。

例如，这些指标可以帮助我们了解模型是否过拟合，或者是否不必要地训练太长时间。我们可以比较不同训练中的这些指标，以帮助调试和改善模型。

**目录**

一、TensorBoard的Scalars

1. 1 实现流程

1.2 启动TensorBoard

1.3 完整代码

二、自定义Scalars

--------------------

## 一、TensorBoard的Scalars ##

在TensorBoard的Scalars中，能使用简单的API来可视化这些指标。帮助我们在开发Keras模型时学习如何在TensorBoard中使用这些API。

在训练模型中，通过日志记录关键指标的信息；model.fit()有回调函数的接口，我们先创建一个TensorBoard回调函数，然后传递给model.fit()就可以了。

### **1. 1 实现流程** ###

1.  创建Keras的TensorBoard回调函数
2.  回调函数中指定日志目录
3.  将TensorBoard回调函数 传递给 Keras Model.fit()

# 日志目录
    logdir = "logs/scalars/" + datetime.now().strftime("%Y%m%d-%H%M%S")
    
    # 创建TensorBoard 回调传递，并指定日志路径
    tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)
    
    model = keras.models.Sequential([
        keras.layers.Dense(16, input_dim=1),
        keras.layers.Dense(1),
    ])
    
    model.compile(
        loss='mse', # keras.losses.mean_squared_error
        optimizer=keras.optimizers.SGD(lr=0.2),
    )
    
    print("Training ... With default parameters, this takes less than 10 seconds.")
    training_history = model.fit(
        x_train, # input
        y_train, # output
        batch_size=train_size,
        verbose=0, # Suppress chatty output; use Tensorboard instead
        epochs=100,
        validation_data=(x_test, y_test),
        callbacks=[tensorboard_callback],  # 将TensorBoard回调传递给Model.fit().
    )
    
    print("Average test loss: ", np.average(training_history.history['loss']))

TensorBoard从日志目录层次结构中读取日志数据。在上面代码中，日志目录是logs/scalars，后缀有时间戳的子目录。

带时间戳的子目录使我们可以在使用TensorBoard，并在模型进行迭代是轻松识别训练过程。

### **1.2 启动TensorBoard** ###

执行如下命令：

%tensorboard --logdir logs/scalars

等一会，能看到如下界面：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70][]

在观看训练进度是，需要注意训练金额验证损失如何迅速减少，然后保持稳定。

实际上，可能在25个epochs后就停止了训练，因为在此之后训练并没有太大改善。

可以点击图像左下角的 \[ \] 会放大图像的；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1][]

然后，将鼠标悬停在图像上可以查看特定的数据点。我们也可尝试使用鼠标放大，或选择其中的一部分一查看更多详细信息。

### 1.3 完整代码 ###

首先加载tensorboard

# Load the TensorBoard notebook extension.
    %load_ext tensorboard

清楚之前的日志（可选）

# Clear any logs from previous runs
    rm -rf ./logs/

再执行如下代码：

# 回归模型，使用 Keras 计算回归，即找到对应数据集的最佳拟合。
    
    from __future__ import absolute_import
    from __future__ import division
    from __future__ import print_function
    
    from datetime import datetime
    from packaging import version
    
    import tensorflow as tf
    from tensorflow import keras
    
    import numpy as np
    
    print("TensorFlow version: ", tf.__version__)
    assert version.parse(tf.__version__).release[0] >= 2, \
        "This notebook requires TensorFlow 2.0 or above."
    
    
    # 使用 TensorBoard 观察训练和测试*损失 (loss) *在各个时期之间如何变化。 通常会看到训练集和测试集损失随着时间的流逝而减少，然后保持稳定。
    
    data_size = 1000
    # 80% 的数据用来训练
    train_pct = 0.8
    
    train_size = int(data_size * train_pct)
    
    # 创建在(-1,1)范围内的随机数作为输入
    x = np.linspace(-1, 1, data_size)
    np.random.shuffle(x)
    
    # 生成输出数据
    # y = 0.5x + 2 + noise
    y = 0.5 * x + 2 + np.random.normal(0, 0.05, (data_size, ))
    
    # 将数据分成训练和测试集
    x_train, y_train = x[:train_size], y[:train_size]
    x_test, y_test = x[train_size:], y[train_size:]
    
    # 日志目录
    logdir = "logs/scalars/" + datetime.now().strftime("%Y%m%d-%H%M%S")
    
    # 创建TensorBoard 回调传递，并指定日志路径
    tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)
    
    model = keras.models.Sequential([
        keras.layers.Dense(16, input_dim=1),
        keras.layers.Dense(1),
    ])
    
    model.compile(
        loss='mse', # keras.losses.mean_squared_error
        optimizer=keras.optimizers.SGD(lr=0.2),
    )
    
    print("Training ... With default parameters, this takes less than 10 seconds.")
    training_history = model.fit(
        x_train, # input
        y_train, # output
        batch_size=train_size,
        verbose=0, # Suppress chatty output; use Tensorboard instead
        epochs=100,
        validation_data=(x_test, y_test),
        callbacks=[tensorboard_callback],  # 将TensorBoard回调传递给Model.fit().
    )
    
    print("Average test loss: ", np.average(training_history.history['loss']))

然后打开tensorboard即可。

**在notebook中**，使用%tensorboard 命令：

%tensorboard --logdir logs/fit

**在命令行中**，运行是不带"%"的，命令基本一样：

tensorboard --logdir logs/fit

参考：[https://www.tensorflow.org/tensorboard/scalars\_and\_keras?hl=zh\_cn][https_www.tensorflow.org_tensorboard_scalars_and_keras_hl_zh_cn]

## 二、自定义Scalars ##

如果要记录自定义值，例如动态学习率，如何实现呢？

需要使用TensorBoard Summary API ，来训练模型并记录自定义学习率。

**实现流程**

1.  使用 tf.summary.create\_file\_writer( ) 创建文件编辑器。
2.  编写自定义学习率函数；在函数内部使用 tf.summary.scalar( ) 记录自定义学习率。
3.  然后把学习率函数，传递给 Keras LearningRateScheduler 回调中。
4.  将 LearningRateScheduler回调 传递给Model.fit( )

下面结合代码一步 一步实现：

1、使用 tf.summary.create\_file\_writer( ) 创建文件编辑器。

logdir = "logs/scalars/" + datetime.now().strftime("%Y%m%d-%H%M%S")
    file_writer = tf.summary.create_file_writer(logdir + "/metrics")
    file_writer.set_as_default()

2、编写自定义学习率函数；在函数内部使用 tf.summary.scalar( ) 记录自定义学习率。

def lr_schedule(epoch):
      """
      Returns a custom learning rate that decreases as epochs progress.
      """
      learning_rate = 0.2
      if epoch > 10:
        learning_rate = 0.02
      if epoch > 20:
        learning_rate = 0.01
      if epoch > 50:
        learning_rate = 0.005
    
      tf.summary.scalar('learning rate', data=learning_rate, step=epoch)
      return learning_rate

3、然后把学习率函数，传递给 Keras LearningRateScheduler 回调中。

lr_callback = keras.callbacks.LearningRateScheduler(lr_schedule)

4、将 LearningRateScheduler回调 传递给Model.fit( )

training_history = model.fit(
        x_train, # input
        y_train, # output
        batch_size=train_size,
        verbose=0, # Suppress chatty output; use Tensorboard instead
        epochs=100,
        validation_data=(x_test, y_test),
        callbacks=[tensorboard_callback, lr_callback],
    )

整合上面的代码：

logdir = "logs/scalars/" + datetime.now().strftime("%Y%m%d-%H%M%S")
    file_writer = tf.summary.create_file_writer(logdir + "/metrics")
    file_writer.set_as_default()
    
    def lr_schedule(epoch):
      """
      Returns a custom learning rate that decreases as epochs progress.
      """
      learning_rate = 0.2
      if epoch > 10:
        learning_rate = 0.02
      if epoch > 20:
        learning_rate = 0.01
      if epoch > 50:
        learning_rate = 0.005
    
      tf.summary.scalar('learning rate', data=learning_rate, step=epoch)
      return learning_rate
    
    lr_callback = keras.callbacks.LearningRateScheduler(lr_schedule)
    tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)
    
    model = keras.models.Sequential([
        keras.layers.Dense(16, input_dim=1),
        keras.layers.Dense(1),
    ])
    
    model.compile(
        loss='mse', # keras.losses.mean_squared_error
        optimizer=keras.optimizers.SGD(),
    )
    
    training_history = model.fit(
        x_train, # input
        y_train, # output
        batch_size=train_size,
        verbose=0, # Suppress chatty output; use Tensorboard instead
        epochs=100,
        validation_data=(x_test, y_test),
        callbacks=[tensorboard_callback, lr_callback],
    )

**启动TensorBoard**

执行如下命令：

%tensorboard --logdir logs/scalars

然后如下界面：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2][]

还能看到动态学习率的图像：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3][]

后面的文章进一步介绍~~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70]: /images/20221005/580982ef43aa4979a4bc6dd099625704.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1]: /images/20221005/e436918bcd1e40a28971b26e2ddb65b3.png
[https_www.tensorflow.org_tensorboard_scalars_and_keras_hl_zh_cn]: https://www.tensorflow.org/tensorboard/scalars_and_keras?hl=zh_cn
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2]: /images/20221005/c23756c1e8484903ba5a966e9f587d91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3]: /images/20221005/3e9d1769bb364d58b7bc5f6a69da6c89.png