GloVe词向量自定义函数实现词向量降维

比眉伴天荒 2023-09-30 23:34 3阅读 0赞

![在这里插入图片描述][5dac3bfacaf14e418626685a6e241cbe.png]

TEXT.build_vocab(train_data, max_size=10000, vectors='glove.6B.100d')
    LABEL.build_vocab(train_data)
    pretrained_embedding = TEXT.vocab.vectors

> 上面代码加载了glove.6B.100d词向量，假设我需要设计一个函数，将词向量长为100映射到长为50，这个映射方法就是取每个向量的前50个元素，现在用torch代码实现这个功能，并将50维的向量加载到bi-lstm神经网络模型中

以下是将100维的GloVe词向量映射到50维的PyTorch代码：

import torch.nn as nn
    import torch.nn.functional as F
    
    # 假设词向量已经加载到pretrained_embedding变量中
    
    # 取前50个元素作为新的词向量
    new_embeddings = pretrained_embedding[:, :50]
    
    # 构建Bi-LSTM模型
    class BiLSTM(nn.Module):
        def __init__(self, input_dim, hidden_dim, output_dim, embeddings):
            super(BiLSTM, self).__init__()
    
            # 将新的50维词向量加载到Embedding层中
            self.embedding = nn.Embedding.from_pretrained(embeddings, freeze=True)
    
            # Bi-LSTM网络
            self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers=2, batch_first=True, bidirectional=True)
            self.fc = nn.Linear(hidden_dim*2, output_dim)
    
        def forward(self, text):
            embedded = self.embedding(text)
            output, (hidden, cell) = self.lstm(embedded)
            hidden_concat = torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1)
            output = self.fc(hidden_concat)
            return output
    
    # 初始化模型
    input_dim = 50  # 50维的词向量
    hidden_dim = 256
    output_dim = 2
    model = BiLSTM(input_dim, hidden_dim, output_dim, new_embeddings)

其中，`nn.Embedding.from_pretrained()`函数用于将预训练的词向量加载到`Embedding`层中，参数`freeze=True`表示冻结词向量，不参与模型的训练过程。在`BiLSTM`类中，`self.embedding`表示`Embedding`层，`self.lstm`表示`Bi-LSTM`层，`self.fc`表示全连接层。`torch.cat()`函数用于将前向和后向`LSTM`的最后一层输出进行拼接。

> 续上要求， `TEXT.build_vocab(train_data, max_size=10000, vectors='glove.6B.100d')`中的词向量是`100`维的，假设我要逐一的将每一个词的向量用映射函数`A`降维到`50`维，再将各个降维的结果拼凑到`TEXT.build_vocab`里面，`pretrained_embedding = TEXT.vocab.vectors`后，每次调用的词向量都是`50`维的词向量

以下是将100维的GloVe词向量逐一映射到50维并拼凑到TEXT.vocab.vectors中的代码：

import torch.nn.functional as F
    
    # 假设词向量已经加载到TEXT.vocab.vectors变量中
    
    # 逐一将每个词的向量用映射函数A降维到50维
    new_vectors = []
    for i, word in enumerate(TEXT.vocab.itos):
        old_vector = TEXT.vocab.vectors[i]
        new_vector = F.linear(old_vector, torch.eye(100, 50))
        new_vectors.append(new_vector)
    
    # 将降维后的词向量拼凑成张量
    new_embeddings = torch.stack(new_vectors, dim=0)
    
    # 构建Bi-LSTM模型
    class BiLSTM(nn.Module):
        def __init__(self, input_dim, hidden_dim, output_dim, embeddings):
            super(BiLSTM, self).__init__()
    
            # 将新的50维词向量加载到Embedding层中
            self.embedding = nn.Embedding.from_pretrained(embeddings, freeze=True)
    
            # Bi-LSTM网络
            self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers=2, batch_first=True, bidirectional=True)
            self.fc = nn.Linear(hidden_dim*2, output_dim)
    
        def forward(self, text):
            embedded = self.embedding(text)
            output, (hidden, cell) = self.lstm(embedded)
            hidden_concat = torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1)
            output = self.fc(hidden_concat)
            return output
    
    # 初始化模型
    input_dim = 50  # 50维的词向量
    hidden_dim = 256
    output_dim = 2
    model = BiLSTM(input_dim, hidden_dim, output_dim, new_embeddings)

其中，`torch.eye(100, 50)`用于生成`100x50`的单位矩阵，作为映射函数`A`。在循环中，对于每个词向量，都通过`F.linear()`函数与单位矩阵进行映射，将`100`维的词向量降维到`50`维，并将结果保存到`new_vectors`列表中。最后，通过`torch.stack()`函数将所有降维后的词向量拼凑成张量，并将其加载到`Embedding`层中，构建`Bi-LSTM`模型。

[5dac3bfacaf14e418626685a6e241cbe.png]: https://img-blog.csdnimg.cn/5dac3bfacaf14e418626685a6e241cbe.png