[work] tensorflow的name_scope, variable_scope

野性酷女 2022-04-16 06:53 189阅读 0赞

最近笔者想要把网络层写成类，而不是函数，所以需要在各个位置都使用相同的name\_scope。然后遇到如果仅仅使用with tf.name\_scope会在不同位置上生成不同的name\_scope。稍微搜索了一下找到tensorflow中name\_scope使用的一些细节，记录在此。主要是转载https://stackoverflow.com/questions/45670224/why-the-tf-name-scope-with-same-name-is-different 和　https://github.com/tensorflow/tensorflow/issues/6007中的内容。

例如如下代码：

with tf.name\_scope('hha'):  
a = tf.zeros(1,name='a')  
with tf.name\_scope('hha'):  
b = tf.zeros(1,name='b')  
print(a.name)  
print(b.name)  
  
返回值为

hha/a:0  
hha\_1/b:0  
  
因为tensorflow无法判断是有意在不同位置使用相同的name\_scope，而不是两个协作者恰好使用了相同的名字命名不同的name\_scope。那tensorflow的做法是对于任意一次调用with tf.name\_scope，都自动生成一个独一无二的name\_scope以及其名字。所以上诉代码中的a和b所在的name\_scope并不相同。  
那如何强制使得同一个name\_scope在不同位置得以应用，上诉网页中给出了方法：在name\_scope后面加上’/’，就会使得tensorflow严格使用给定的name\_scope作为名字命名当前片段。例如执行如下代码：

with tf.name\_scope('hha'):  
a = tf.zeros(1,name='a')  
with tf.name\_scope('hha/'):  
b = tf.zeros(1,name='b')  
print(a.name)  
print(b.name)  
  
返回值为

hha/a:0  
hha/b:0  
  
主要内容都在上诉部分，下面写一下笔者应用上诉方法的场景与结果。  
比如说要写一个Dense层，就是一层前向网络，作为一个类，我在初始化的时候声明相应的WW和bb，而运算操作写在\_\_call\_\_函数里面，这就需要在两个位置使用相同的name\_scope了。  
进一步，因为Dense层可能会在不同位置上被使用，笔者又希望保留即使不命名，不同位置的Dense层自动使用不同的name\_scope这一性质。比如若不对Dense层命名，其自动使用Dense默认值，对于第一层是Dense，而第二层会自动使用Dense\_1，第三层会自动使用Dense\_2。  
为了保留上诉两个性质，笔者使用了tf.name\_scope里面\_\_enter\_\_函数的返回值。即使用如下代码的时候：with tf.name\_scope(string) as scope:，scope实际上是\_\_enter\_\_函数的返回值，为tensorflow根据string生成的name\_scope的最终命名值。例如：

with tf.name\_scope('hha') as s1:  
a = tf.zeros(1,name='a')  
with tf.name\_scope('hha') as s2:  
b = tf.zeros(1,name='b')  
print(s1)  
print(s2)  
  
返回值为

hha/  
hha\_1/  
  
具体地，在初始化函数\_\_init\_\_中使用with tf.name\_scope(name\_scope) as self.name\_scope:新建一个整个类的name\_scope。在其他位置上使用with tf.name\_scope(self.name\_scope):，即可同时保留上诉两种性能。  
\---------------------  
作者：silent56\_th  
来源：CSDN  
原文：https://blog.csdn.net/silent56\_th/article/details/78231424  
版权声明：本文为博主原创文章，转载请附上博文链接！

作者：Cyril  
链接：https://www.zhihu.com/question/54513728/answer/181819324  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

哇终于有我会的问题了，上面的答案里大神们已经讲的很清楚了，我就放一些例子好了。

TensorFlow里创建变量的两种方式有 tf.get\_variable() 和 tf.Variable() ，区别

@lqfarmer

的答案已经说的很清楚了。

在 tf.name\_scope下时，tf.get\_variable()创建的变量名不受 name\_scope 的影响，而且在未指定共享变量时，如果重名会报错，tf.Variable()会自动检测有没有变量重名，如果有则会自行处理。

import tensorflow as tf
    
    with tf.name_scope('name_scope_x'):
        var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32)
        var3 = tf.Variable(name='var2', initial_value=[2], dtype=tf.float32)
        var4 = tf.Variable(name='var2', initial_value=[2], dtype=tf.float32)
    
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print(var1.name, sess.run(var1))
        print(var3.name, sess.run(var3))
        print(var4.name, sess.run(var4))
    # 输出结果：
    # var1:0 [-0.30036557]   可以看到前面不含有指定的'name_scope_x'
    # name_scope_x/var2:0 [ 2.]
    # name_scope_x/var2_1:0 [ 2.]  可以看到变量名自行变成了'var2_1'，避免了和'var2'冲突

如果使用tf.get\_variable()创建变量，且没有设置共享变量，重名时会报错

import tensorflow as tf
    
    with tf.name_scope('name_scope_1'):
        var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32)
        var2 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32)
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print(var1.name, sess.run(var1))
        print(var2.name, sess.run(var2))
    
    # ValueError: Variable var1 already exists, disallowed. Did you mean 
    # to set reuse=True in VarScope? Originally defined at:
    # var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32)

所以要共享变量，需要使用tf.variable\_scope()

import tensorflow as tf
    
    with tf.variable_scope('variable_scope_y') as scope:
        var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32)
        scope.reuse_variables()  # 设置共享变量
        var1_reuse = tf.get_variable(name='var1')
        var2 = tf.Variable(initial_value=[2.], name='var2', dtype=tf.float32)
        var2_reuse = tf.Variable(initial_value=[2.], name='var2', dtype=tf.float32)
    
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print(var1.name, sess.run(var1))
        print(var1_reuse.name, sess.run(var1_reuse))
        print(var2.name, sess.run(var2))
        print(var2_reuse.name, sess.run(var2_reuse))
    # 输出结果：
    # variable_scope_y/var1:0 [-1.59682846]
    # variable_scope_y/var1:0 [-1.59682846]   可以看到变量var1_reuse重复使用了var1
    # variable_scope_y/var2:0 [ 2.]
    # variable_scope_y/var2_1:0 [ 2.]

也可以这样

with tf.variable_scope('foo') as foo_scope:
        v = tf.get_variable('v', [1])
    with tf.variable_scope('foo', reuse=True):
        v1 = tf.get_variable('v')
    assert v1 == v

或者这样：

with tf.variable_scope('foo') as foo_scope:
        v = tf.get_variable('v', [1])
    with tf.variable_scope(foo_scope, reuse=True):
        v1 = tf.get_variable('v')
    assert v1 == v