NLP学习笔记

小灰灰 2022-04-18 04:35 170阅读 0赞

# NLPL学习笔记 #

--------------------

# gensim-word2vec #

## 训练 ##

from gensim.models import Word2Vec
    from gensim.models.word2vec import LineSentence
    import multiprocessing
    def create_wordVectors(sentences, embedding_size = 128, window = 5, min_count = 5, word2vec_path = None):
        w2vModel = Word2Vec(sentences, size=embedding_size, window=window, min_count=min_count,workers=multiprocessing.cpu_count())
        w2vModel.save(word2vec_path)

## 载入 ##

def load_wordVectors(word2vec_path):
        w2vModel = Word2Vec.load(word2vec_path)
        return w2vModel

## 映射 ##

def embedding_lookup(w2vModel, sentences):
        all_vectors = []
        embeddingDim = w2vModel.vector_size
        embeddingUnknown = [0 for i in range(embeddingDim)]
        for sentence in sentences:
            this_vector = []
            for word in sentence:
                if word in w2vModel.wv.vocab:
                    v=w2vModel[word]
                    this_vector.append(v)
                else:
                    this_vector.append(embeddingUnknown)
            all_vectors.append(this_vector)
        return all_vectors

## 获得单词下标和词向量 ##

w2vModel = Word2Vec.load(word2vec_path)
        word = '你'
        index = w2vModel.wv.vocab[word].index  # 获得单词word的下标
        word2= w2vModel.wv.index2word[index]   # 根据index,获得对应的word
        
        vector1 = w2vModel.wv.vectors[index]   # 由下标获得词向量
        vector2 = w2vModel[word]               # 由word直接获得词向量

发表评论取消回复

表情：

评论列表（有 0 条评论，170人围观）

还没有评论，来说两句吧...

相关阅读

相关深入理解NLP笔记

目前数据结构有哪些？结构化数据，如：关系型数据半结构化数据，如：XML数据非结构化数据，如：Word、PDF、文本、日志能胜任这样挑战的技术除了大

分手后的思念是犯贱/ 2022年10月13日 12:50/ 0 赞/ 138 阅读

相关『NLP学习笔记』Transformer技术详细介绍！

<table> <tbody> <tr> <td><font>Transformer技术详细介绍！ </font></td> </tr> </tbo

太过爱你忘了你带给我的痛/ 2022年09月16日 12:29/ 0 赞/ 321 阅读

相关『NLP学习笔记』BERT技术详细介绍！

<table> <tbody> <tr> <td><font>BERT技术详细介绍！ </font></td> </tr> </tbody> </

小灰灰/ 2022年09月13日 04:12/ 0 赞/ 793 阅读

相关『NLP学习笔记』Few-shot Learning技术介绍！

<table> <tbody> <tr> <td><font>Few-shot Learning技术介绍！ </font></td> </tr> <

不念不忘少年蓝@/ 2022年08月28日 04:42/ 0 赞/ 283 阅读

相关 NLP学习资料

NLP学习资料 http://www.hankcs.com/ GitHub ： https://github.com/hankcs/ h

超、凢脫俗/ 2022年06月10日 04:44/ 0 赞/ 104 阅读

相关 NLP&Python笔记——语料库

什么是语料库？文本语料库是一个大型结构化文本的集合。 NLTK包含了许多语料库：（1）古滕堡语料库（2）网络和聊天文本（3）布朗语料库（4）路透社语料

水深无声/ 2022年05月19日 03:42/ 0 赞/ 167 阅读

相关 NLP&Python笔记——WordNet

WordNet是一种面向语义的英语词典，由Princeton大学的心理学家、语言学家和计算机工程师联合设计。它不是光把单词以字母顺序排列，而且按照单词的意义组成一个“单词的网络

ゝ一纸荒年。/ 2022年05月19日 03:39/ 0 赞/ 192 阅读

相关【深度学习NLP论文笔记】《Towards Crafting Text Adversarial Samples》

![70][] Abstract 文本fool的方法：修改原始样本：删除或替换一些重要的单词，或引入新的单词。我们的算法最适用于在每个类的例子中有子类别的数据集。基于情

短命女/ 2022年05月16日 12:11/ 0 赞/ 332 阅读

相关【深度学习NLP论文笔记】《Visualizing and Understanding Neural Models in NLP》

![70][] 1 Introduction 神经网络对于NLP任务的可解释性很差。深度学习模型主要是基于word embedding词嵌入（比如low-dimensi

末蓝、/ 2022年05月16日 09:07/ 0 赞/ 252 阅读

相关 NLP学习笔记

NLPL学习笔记 -------------------- gensim-word2vec 训练 from gensim.models import

小灰灰/ 2022年04月18日 04:35/ 0 赞/ 171 阅读