tensorflow tf.nn.embedding_lookup partition strategy tf.gather tf.nn.top_k

野性酷女 2021-06-11 15:12 314阅读 0赞

**tf.nn.embedding\_lookup：**

定义
    tf.nn.embedding_lookup(
        params,
        ids,
        partition_strategy='mod',
        name=None,
        validate_indices=True,
        max_norm=None
    )

当params为一个tensor时，很容易理解，ids里的每个数字代表选取在params中0轴所在的对应index。是tf.gather的泛化版。

params = tf.constant([10,20,30,40])
    ids = tf.constant([0,1,3])
    print tf.nn.embedding_lookup(params,ids).eval()
    return [10 20 40]

如上，根据\[0,1,3\]中的数字，选取\[10,20,30,40\]的0轴中对应index的\[10 20 40\]。  
但当params是个list的tensor时，ids中的数字就要根据partition\_strategy来进行划分。

params1 = tf.constant([1,2])
    params2 = tf.constant([10,20])
    ids = tf.constant([2,0,2,1,2,3])
    result = tf.nn.embedding_lookup([params1, params2], ids)
    return [ 2  1  2 10  2 20]

默认划分规则是mod，mod划分规则是这样：  
数字0表示params1中的第一个元素  
数字1表示params2中的第一个元素  
数字2表示params1中的第二个元素  
数字3表示params2中的第二个元素  
以此类推。。。  
这样在上代码中，ids中的2代表的params1中的第二个元素，也就是2；ids中的1代表的params2中的第一个元素，也就是10。

另一种划分规则是div，其规则是：  
数字0表示params1中的第一个元素  
数字1表示params1中的第二个元素  
数字2表示params2中的第一个元素  
数字3表示params2中的第二个元素

# tf.nn.embedding_lookup通常用来根据id提取embedding
    embeddings = tf.nn.embedding_lookup(self.weights['feature_embeddings'], self.feat_ids)
    # self.feat_ids可形如：shape[batch_size,ids_size]
    #[[0,1,2],
      [2,3,4]]

**tf.gather：**

定义：
    tf.gather(
        params,
        indices,
        validate_indices=None,
        name=None,
        axis=0
    )

沿着axis，根据indices提取params的一个切片。indices 可以是任何shape的整数张量，更高级点的api有tf.batch\_gather、tf.gather\_nd（二维id）.  
![在这里插入图片描述][70]

emb_trans = tf.transpose(embeddings, [1, 0, 2])
    emb_left = tf.gather(emb_trans, self.left_index)

**tf.gather\_nd：**

# 根据索引提取数据，可用于topk的索引生成
    import tensorflow as tf
    index = tf.constant([[1],[1]])
    values = tf.constant([[0.2, 0.8],[0.4, 0.6]])
    
    index = tf.stack([tf.range(index.shape[0])[:, None], index], axis=2)
    result = tf.gather_nd(values, index)
    
    index.eval(session=tf.Session())
    array([[[0, 1]],
           [[1, 1]]], dtype=int32)
    result.eval(session=tf.Session())
    array([[0.8],
           [0.6]], dtype=float32)

**top\_k索引**

import tensorflow as tf
    
    # Input data
    a = tf.placeholder(tf.float32, [None, None])
    num_top = tf.placeholder(tf.int32, [])
    # Find top elements
    a_top, a_top_idx = tf.nn.top_k(a, num_top, sorted=False)
    # Apply softmax
    a_top_sm = tf.nn.softmax(a_top)
    # Reconstruct into original shape
    a_shape = tf.shape(a)
    a_row_idx = tf.tile(tf.range(a_shape[0])[:, tf.newaxis], (1, num_top))
    scatter_idx = tf.stack([a_row_idx, a_top_idx], axis=-1)
    result = tf.scatter_nd(scatter_idx, a_top_sm, a_shape)
    # Test
    with tf.Session() as sess:
        result_val = sess.run(result, feed_dict={a: [[2, 5, 4, 7], [7, 5, 6, 8]], num_top: 2})
        print(result_val)
    
    [[0.         0.11920291 0.         0.880797  ]
     [0.26894143 0.         0.         0.7310586 ]]

[70]: /images/20210520/a7a1c8c1b6944c6d8c5fefc5cdc45720.png

发表评论取消回复

表情：

评论列表（有 0 条评论，314人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka分区分配策略(Partition Assignment Strategy)

问题用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去

阳光穿透心脏的1/2处/ 2023年01月19日 09:56/ 0 赞/ 28 阅读

相关 java strategy模式,Java Strategy 模式简介

GOF《设计模式》一书对Strategy模式是这样描述的:定义一系列的算法，把他们一个个封装起来，并且使它们可相互替换。Strategy模式使算法可独立于使用它的客户而变化。别

叁歲伎倆/ 2023年01月15日 08:28/ 0 赞/ 147 阅读

相关 kafka的分区策略(partition assignment strategy)

概述 kafka的分区策略指的是producer端的　各个partition中的数据如何安排给consumer消费。 Range(按范围) ange策略是对

心已赠人/ 2023年01月10日 15:59/ 0 赞/ 148 阅读

相关 partition

出处：http://blog.csdn.net/justme0/article/details/24496767 STL 中的划分[算法][Link 1] p

悠悠/ 2022年07月16日 08:52/ 0 赞/ 183 阅读

相关 STL之partition和stable_partition

出处：http://blog.csdn.net/kwsy2008/article/details/44343371 \[cpp\] [ view pl

阳光穿透心脏的1/2处/ 2022年07月16日 08:40/ 0 赞/ 164 阅读

相关策略模式（Strategy）

前面的博文中分别介绍了Java设计模式中的创建型模式和结构型模式。从本文开始，将分别介绍设计模式中的第三大类，行为型模式。首先我们了解下分为此三大类的依据。创建型模式：主要

系统管理员/ 2022年07月14日 09:59/ 0 赞/ 166 阅读

相关 Partitioning

In the [ Issue \1][Issue _1] of [ this series][this series], we set up the “learning pla

你的名字/ 2022年03月11日 08:28/ 0 赞/ 208 阅读

相关 PP：Planning Strategy

PP：Planning Strategy (2012-03-28 23:30:35) ![aHR0cDovL3NpbWcuc2luYWpzLmNuL2Jsb2c3c3

淩亂°似流年/ 2021年11月23日 07:54/ 0 赞/ 265 阅读

相关策略模式(Strategy)

策略模式(Strategy) 定义一系列的算法,把它们一个个封装起来, 并且使它们可相互替换。本模式使得算法可独立于使用它的客户而变化。类图： ![这里写图

分手后的思念是犯贱/ 2021年10月06日 13:58/ 0 赞/ 386 阅读

相关 tensorflow tf.nn.embedding_lookup partition strategy tf.gather tf.nn.top_k

tf.nn.embedding\_lookup：定义 tf.nn.embedding_lookup( params, ids

野性酷女/ 2021年06月11日 15:12/ 0 赞/ 315 阅读