深度学习之Embedding

￡神魔★判官ぃ 2023-05-28 15:45 4阅读 0赞

在深度学习模型中，Embedding层在代码层面上的意义是：一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对应的词嵌入。

当输入是一个batch时，则这个输入矩阵是一个N维矩阵(\[batch\_size,Seq\_len\]),输出矩阵(\[batch\_size,Seq\_len,embed\_size\])

PyTorch:

import torch
    from torch import nn
    from torch.autograd import Variable
    
    embeds = nn.Embedding(20,5)
    word_to_ix = {}
    for i in range(20):
        word_to_ix[i] = i+1
    
    hello_idx = torch.LongTensor([[3,6],[8,9]])
    hello_idx = Variable(hello_idx)
    
    embeds(hello_idx)
    
    tensor([[[-0.7695,  0.1445, -0.7704, -0.6968,  0.1774],
             [-0.5415,  0.2232, -0.3729,  1.5091,  1.5055]],
    
            [[ 0.2723,  0.5890,  0.3809,  2.1650,  1.0792],
             [ 0.6174,  0.3788,  1.3872,  0.4625,  0.4803]]],
           grad_fn=<EmbeddingBackward>)
    
    
    hello_idx = torch.LongTensor([[2,4]])
    hello_idx = Variable(hello_idx)
    
    embeds(hello_idx)
    
    tensor([[[-0.7695,  0.1445, -0.7704, -0.6968,  0.1774],
             [-0.5415,  0.2232, -0.3729,  1.5091,  1.5055]]],
           grad_fn=<EmbeddingBackward>)

TensorFlow:

tf.nn.embedding\_lookup()就是根据input\_ids中的id，寻找embeddings中的第id行。比如input\_ids=\[1,3,5\]，则找出embeddings中第1，3，5行，组成一个tensor返回。

embedded_words = tf.nn.embedding_lookup(embedding_w, self.inputs)

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关【深度学习】embedding的简单理解

文章目录一、简单理解二、其他通俗理解一、简单理解特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例

分手后的思念是犯贱/ 2023年09月27日 15:22/ 0 赞/ 133 阅读

相关深度CTR之Graph Embedding：阿里电商推荐中亿级商品的Graph Embedding

介绍阿里巴巴团队发表于KDD 2018，文章题目-《Attentional Factorization Machines：Learning the Weight of

叁歲伎倆/ 2023年07月10日 05:07/ 0 赞/ 3 阅读

相关深度学习之Embedding

在深度学习模型中，Embedding层在代码层面上的意义是：一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对

￡神魔★判官ぃ/ 2023年05月28日 15:45/ 0 赞/ 5 阅读

相关深度学习：词嵌入Embedding

http://[blog.csdn.net/pipisorry/article/details/76095118][blog.csdn.net_pipisorry_articl

曾经终败给现在/ 2022年06月10日 23:45/ 0 赞/ 246 阅读

相关深度学习之路

深度学习需要掌握的基本知识 <table style="margin:0px;padding:0px;border-spacing:0px;border:1px solid

雨点打透心脏的1/2处/ 2022年05月30日 02:56/ 0 赞/ 213 阅读

相关深度学习之CNN

转载自[https://www.cnblogs.com/xiaotongtt/p/6196057.html][https_www.cnblogs.com_xiaotongtt_

落日映苍穹つ/ 2022年05月18日 00:08/ 0 赞/ 383 阅读

相关深度学习：bert embedding用法详解

环境配置下载bert已训练好的模型如[`BERT-Base, Chinese`][BERT-Base_ Chinese]: Chinese Simplif

﹏ヽ暗。殇╰゛Y/ 2022年04月08日 11:40/ 0 赞/ 1230 阅读

相关深度学习中Embedding层有什么用？

![word embeddings][] 这篇博客翻译自国外的深度学习系列文章的第四篇，想查看其他文章请点击下面的链接，人工翻译也是劳动，如果你觉得有用请打赏，转载请打赏:

青旅半醒/ 2022年04月02日 11:14/ 0 赞/ 230 阅读

相关深度学习之迁移学习

1. 什么是迁移学习迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁

野性酷女/ 2021年09月04日 03:55/ 0 赞/ 750 阅读

相关深度学习之基本概论

深度学习概念深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初

怼烎@/ 2021年07月26日 16:25/ 0 赞/ 516 阅读