Python TensorFlow，队列管理器 QueueRunner，子线程，线程协调器 Coordinator

不念不忘少年蓝@ 2022-03-12 04:55 159阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

只要有任何一个线程调用了Coordinator的**`request_stop()`**方法，所有的线程都可以通过**`should_stop()`**方法感知并停止当前线程。将QueueRunner和Coordinator一起使用，实际上就是封装了这个判断（判断**`should_stop()`**）操作，从而使任何一个线程出现异常时，能够正常结束整个程序(所有线程)，同时主线程也可以直接调用**`request_stop()`**方法来停止所有子线程的执行。

--------------------

**demo.py（队列管理器 QueueRunner，子线程，线程协调器 Coordinator）：**

import tensorflow as tf
    import os
    os.environ['TF_CPP_MIN_LOG_LEVEL']='2'  # 设置警告级别
    
    
    # 模拟异步，子线程读取样本到队列，主线程从队列中取样本并训练
    
    # 1、定义一个队列
    Q = tf.FIFOQueue(1000, tf.float32)  # 队列大小1000
    
    # 2、模拟样本的预处理。 加1、入队
    var = tf.Variable(0.0)
    # 实现一个自增(加1)  tf.assign_add
    data = tf.assign_add(var, tf.constant(1.0))  # assign_add自增(var的值会改变)， var+1会返回一个新张量(var的值并未变)
    # 入队
    en_q = Q.enqueue(data)
    
    # 3、定义队列管理器op。指定多少个子线程，子线程该干什么事情(队列操作)
    qr = tf.train.QueueRunner(Q, enqueue_ops=[en_q] * 2)  # 指定两个子线程，子线程负责en_q(入队)操作。(op依赖性，入队前自动运行前面的加1操作)
    
    # 初始化变量的OP
    init_op = tf.global_variables_initializer()
    
    # 会话
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)
    
        # 创建线程协调器
        coord = tf.train.Coordinator()
    
        # 真正开启子线程 (创建子线程并开启)
        threads = qr.create_threads(sess, coord=coord, start=True)  # start=True表示立即开启。
    
        # 主线程，不断取数据进行训练。 (与入队是一个异步的过程)
        for i in range(300):
            print(sess.run(Q.dequeue()))  # 出队
            # 训练逻辑。。。
    
        # 结束所有子线程
        coord.request_stop()
    
        coord.join(threads)  # 等待子线程完成(结束)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220312/d35fc2e7cb1240dcb384cefb0d3d4f67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220312/577f08ccbcfb468e9fda359e17cc855c.png