【tensorflow】tensorflow相关基础概念

迷南。 2022-02-13 23:59 472阅读 0赞

参考极客时间 彭靖田老师：TensorFlow快速入门与实战

[课程链接][Link 1]

# 0 数据流图 #

TensorFlow 是一个编程系统, 使用图来表示计算任务。图中每个节点称作operation。  
通过一个可执行队列，借助拓扑排序的方式，把所有入度为0的节点放入执行队列中，每执行一个节点，就会更新它的入度和所连接的节点，然后执行下一层次入度为0的执行队列，可以进行并行运算。

## 0.1 有向边：数据流向 ##

*  张量（Tensor）：使用高维数组表示数据。
 *  稀疏张量（SparseTensor）：有意义的数值存下来索引和值。然后存下来矩阵形状，不用把所有的值都存下来。

## 0.2 节点： ##

*  计算节点（Operation）：计算操作，逻辑操作等
 *  存储节点（Variable）：变量，训练对象等，存储迭代更新的数据
 *  数据节点（Placeholder）：描述额外输入的数据

# 1 基本结构 #

## 1.1 张量（Tensor） ##

就是标量，向量，数组，多维数组的通用表示说法。

张量的描述有两个重要属性：

*  数据类型(内部数据类型要一样)
 *  数组形状

Tensor("Const:0", shape=(1,), dtype=float32)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70]  
常见的张量操作：

*  tf.constant() 常量，不可变
 *  tf.Variable() 变量，运行中一直在内存中
 *  tf.placeholder() 先占位，高维数据壳

animal = tf.Variable("dog", tf.string)
    num = tf.Variable(451, tf.int32)

类型：tf.float,tf.string,tf.int,tf.complex,tf.bool

声明张量的时候要给定数据和类型。也可以指定在tensorflow里的名字name=’’，不是变量名

### 张量的阶和维度 ###

注意看 shape=（）里面的部分，里面有几个数就是几阶，然后看数的内容判断数据维度和每维的结构。

### 0阶和1阶 ###

# 0 阶 数学标量 shape为空
    pai = tf.Variable(3.14159265359, tf.float64)
    <tf.Variable 'Variable_1:0' shape=() dtype=float32_ref>
    
    # 1阶 数学向量，shape里一个数，数5表示5个元素
    first_primes = tf.Variable([2, 3, 5, 7, 11],tf.int32)
    <tf.Variable 'Variable_2:0' shape=(5,) dtype=int32_ref>

### 2 阶和 3 阶 ###

# 2 阶数组，shape里两个数，表示第1维2个元素，下一维每维1个数
    m = tf.Variable([[6],[12]], tf.int32)
    <tf.Variable 'Variable_3:0' shape=(2, 1) dtype=int32_ref>
    
    # 3 阶，shape里3个数，3维，数表示每个维度对应的元素个数
    aaa = tf.Variable([[[1,2],[3,4]],[[1,2],[3,4]]],tf.int32,name='aaa')
    <tf.Variable 'aaa_6:0' shape=(2, 2, 2) dtype=int32_ref>

## 1.2 变量（Variable） ##

普通的张量（Tensor）在计算结束后内存就会被释放，变量会被保存在内存之中，每一步训练的时候进行迭代更新。

*  创建
    
        w = tf.Variable（value，type，name）
        
        W = tf.Variable(tf.random_normal(shape=(1, 4), mean=100, stddev=0.5), name="W")
        b = tf.Variable(tf.zeros([4]), name="b")
        
        [<tf.Variable 'W_4:0' shape=(1, 4) dtype=float32_ref>,
         <tf.Variable 'b_4:0' shape=(4,) dtype=float32_ref>]
 *  重新赋值
    
        w.assign（1.0）
        w.assign_add(2.4)

变量的使用图:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 1]

### 变量保存与使用（Saver）： ###

*  创建
    
        saver = tf.train.Saver({'W': W, 'b': b})
        saver = tf.train.Saver([v1, v2])
        saver = tf.train.Saver({v.op.name: v for v in [v1, v2]})
 *  保存变量
    
        saver.save(sess, 'MODEL_SAVE_PATH', global_step=global_step)
 *  复用变量
    
        saver.restore(sess, ckpt.model_checkpoint_path)

变量创建后启动sess会话后必须经过初始化（init\_op）：

init_op = tf.initialize_all_variables()

恢复数据流图的图结构：tf.train.import\_meta\_graph，还有索引index等恢复方法。

## 1.3 操作（operation） ##

数据流图中的节点对应一个具体的操作，是模型训练运行的实际载体。包含存储、计算和数据节点。

*  存储:放模型参数，存储有状态的变量
 *  数据：占位描述输入数据属性，之后喂数据
 *  计算：运算控制操作，负责逻辑表达流程控制

在数据流图里，操作的输入和输出都是张量，所以在图内需要使用TF的指定函数来查看某一个变量的值。数据流图输入的训练和测试数据需要用占位操作符提前声明。

name = tf.placeholder(dtype, shape, name)
    x = tf.placeholder(tf.int32, shape=(), name="x")

在内部用字典的形式填充数据（Feed）后需要run执行才能更新值：

with tf.Session() as sess:
        print(sess.run(add, feed_dict={x: 10, y: 5}))

常用的操作：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 2]

## 1.4 会话（Operation） ##

就是一个运行环境，分配资源去真正执行运算操作，之前只是声明了规则和值，并没有真的把值赋给变量。

*  创建会话：
    
        sess = tf.Session()
        with tf.Session() as sess:
 *  初始化全局变量
    
        init = tf.initialize_all_variables()
        sess.run(init)
        #或 sess.run(tf.global_variables_initializer())
 *  更新运算
    
        for step in stepsepoch：
        	sess.run(train_op计算式、节点、变量)
 *  关闭会话
    
        sess.close()

先更新值，更新了之后要sess.run()才能取出来值。

sess.run(tf.assign_add(b, [1, 1, 1, 1]))
    sess.run(b)
    array([1., 1., 1., 1.], dtype=float32)

如果之前数据是使用占位符placeholder定义的变量，在会话里run的时候要真正喂入feed\_dict数据。

feed_dict = {
        images_placeholder: images_feed,
        labels_placeholder: labels_feed,
    }  #占位的字典，用来作为每轮batch喂入的数据

with tf.Session() as sess:
        print(sess.run(mul, feed_dict={x: 2, y: 3}))

也可以使用估算张量Tensor.eval()和Operation.run()的形式执行，他们最终都是调用的底层：Sess.run()

tf.global_variables_initializer().run() # Operation.run
    fetch = y.eval(feed_dict={x: 3.0})      # Tensor.eval
    print(fetch)                            # fetch = w * x + b

可以指定某个执行模块是用GPU\\CPU哪个执行的：

#存储用CPU
    with tf.device("/cpu:0"):
    	v=tf.Variable(...)
    
    # 大规模运算用GPU
    with tf.device("/gpu:0"):
    	z=tf.matmul(x,y)

## 1.5 优化器（Optimizer） ##

模型的优化目标：降低损失函数loss。

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits,
                                                     onehot_labels,name='xentropy')
    #比较前向推理计算输出和one-hot化标签的距离
    
    loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

一般使用迭代求解，设定一个初始解，然后基于特定函数模型计算可行解，直到找到最优解或者达到预设收敛条件。

不同优化算法的迭代策略不同：常见牛顿法、梯度下降法、Adam等。

optimizer = tf.train.GradientDescentOptimizer(FLAGS.learning_rate)
    global_step = tf.Variable(0, name='global_step', trainable=False)
    # 保存全局训练步数
    train_op = optimizer.minimize(loss, global_step=global_step)

优化器的使用步骤：计算梯度》处理梯度（）》应用梯度。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 3]

常用优化器：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 4]

## 1.6 评估函数 ##

传入的logits和标签参数要与loss函数的一致。

eval_correct = mnist.evaluation(logits, labels_placeholder)

在K个最有可能的预测中可以发现真的标签，那么这个操作就会将模型输出标记为正确。

eval_correct = tf.nn.in_top_k(logits, labels, 1)

准确率：

true_count += sess.run(eval_correct, feed_dict=feed_dict)
    precision = float(true_count) / float(num_examples)

# 2 TensorBoard 可视化工具 #

数据处理过程中可视化工具，帮助理解算法提升工作效率。

*  查看数据集分布
 *  数据流图是否正确实现
 *  模型参数和超参数变化趋势
 *  查看评估指标

## 使用 ##

使用时需要从会话（session）中加载，然后使用FileWriter实例写入事件文件，最后加载到Tensorboard获取实例文件中的序列化数据进行展示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 5]

## 2.1 典型应用形式： ##

### 1）首先创建数据流图： ###

可以使用tf.name\_scope()抽象层节点。  
展示的时候可以将一些节点进行抽象，使输出TF图像看起来层次关系更明确，之后可以再将抽象层的细节展开显示。

#只需要定义的时候将参数变量声明放置在指定的抽象节点之下。
    With tf.name_scope('name'):
    	定义变量。。。。。
        w = tf。。。。。。。。。

### 2）然后创建FileWriter实例 ###

创建filewriter实例，加载到当前数据流图（graph）：

tf.reset_default_graph()
    writer = tf.summary.FileWriter（savepath，sess.graph）

在数据流图会话（sess）中加载的实例写入到eventfile之中，写完需要关闭FileWriter的输出流：

writer.close（）

### 3）启动tensorboard ###

将eventfile所在的目录传给tensorboard，能够获取相关的参数可视化展示。需要制定文件位置和打开的host。

tensorboard --logdir ./ --host localhost

默认本地位置，打开浏览器复制进去地址就可以。

### 可能出现的问题 ###

windows10 打开tensorboard 遇到的问题，在浏览器打开提示没有图（不能用360，用Chrome）。`No scalar data was found.`

找到文件保存的位置：

writer = tf.summary.FileWriter(r'D:\project\UCIPre\summary\lr2', sess.graph)

进入cmd，cd到最后一级文件夹上一级，转到文件夹下后直接用logdir=最后name名。

cd D:\project\UCIPre\summary\
    summary>tensorboard --logdir=lr2

刚开始用的anaconda prompt 一直提示打不开，用cmd就可以了。  
奇葩的是时好时坏。

## 2.2 官方文档推荐形式 ##

### 1）创建事件文件 ###

所有的即时数据都要在图表构建阶段合并至一个操作（op）中。

summary_op = tf.merge_all_summaries()

### 2） 实例化FileWriter ###

在创建好会话（session）之后，可以实例化一个tf.train.SummaryWriter，用于写入包含了图表本身和即时数据具体值的事件文件。

summary_writer = tf.train.SummaryWriter(FLAGS.train_dir,
                                            graph_def=sess.graph_def)

### 3）写入最新的数据 ###

每次运行summary\_op时，都会往事件文件中写入最新的即时数据，函数的输出会传入事件文件读写器（writer）的add\_summary()函数。

summary_str = sess.run(summary_op, feed_dict=feed_dict)
    summary_writer.add_summary(summary_str, step)

参考：[中文手册][Link 2]

动手实现一个简单的全连接神经网：  
只看 [Fullnet.py][] 部分即可。 [girhub文件][girhub]

简单的TF网络测试mnist：[github链接][github]

[Link 1]: https://time.geekbang.org/course/intro/153?code=i5hfHulMqcLANKaG6HL9zil08GheHutduCy-e2L7Hrs=
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70]: /images/20220214/42d9b5a5de9b4658ad0b0ebd3ae62c1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 1]: /images/20220214/f67633be1ead4fadb0929c28cc81d333.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 2]: /images/20220214/9d75dc6a94f64343ba211ff33faf2be2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 3]: /images/20220214/e5f1bf8bb109420988ea69a405016bc1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 4]: /images/20220214/018303c0b4eb40a6830a3f06224f4f83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R6Z19jaGF0_size_16_color_FFFFFF_t_70 5]: /images/20220214/02f7d059bf634f18aecbcc19ab4040f2.png
[Link 2]: http://www.tensorfly.cn/tfdoc/tutorials/mnist_tf.html
[Fullnet.py]: http://Fullnet.py
[girhub]: https://github.com/dzglearning/UCIpowerPre
[github]: https://github.com/dzglearning/MnistExercise/tree/master/tensorflow