【机器学习】文本数据简单向量化

àì夳堔傛蜴生んèń 2022-07-12 15:18 263阅读 0赞

一个文本数据指的是一篇文章，或者一段话，或者一句话。这个文本数据通常称为document，或者text。我们平常的文本都是以人的表达方式展现的，是一个流数据，时间序列数据。我们如果要用计算机对文本数据进行处理，就必须将文本数据表示为计算机能理解的方式。这篇博客就讲解给定一个已经分词、去除停用词后的文本数据集，如何将其向量化的方法。

# one-hot表示法 #

one-hot表示法先将文本数据集中不重复的单词提取出来，得到一个大小为V的词汇表。然后用一个V维的向量来表示一个文章，向量中的第d个维度上的1表示词汇表中的第d个单词出现在这篇文章中。比如给定一个数据集  
![这里写图片描述][SouthEast]

首先提取出其中的不重复单词（不考虑单词在文本中出现的先后顺序），得到一个含有7个单词的词汇表：  
![这里写图片描述][SouthEast 1]

那么文本数据集就转化为one-hot矩阵：  
![这里写图片描述][SouthEast 2]

vocab = sorted(set(words), key=words.index)
    
    def doc2onehot_matrix(vocab, docs):
        ''' 
          transform a document to onehot vector
        '''
        M = len(docs)
        V = len(vocab)
        onehot = np.zeros((M, V))
        for d, doc in enumerate(docs):
            for word in doc:
                if word in vocab:
                    pos = vocab.index(word)
                    onehot[d][pos] = 1
        return onehot

如果文本数据集太大，那么得到的词汇表中可能存在几千个单词，这样会文本的维度太大，不仅会导致计算时间增加，而且带来了稀疏问题（one-hot矩阵中大多数元素都是0）。因此，我们通常在计算词汇表的时候，会排除那些出现次数太少的单词，从而降低文本维度。

## tf 表示法 ##

不同于one-hot表示法只关心单词是否出现，tf (term-frequency)表示法还关心单词出现的次数，因此tf矩阵中每个元素表示其对应的单词在文章中出现的次数/文章中的总次数，即单词在文章中的频率。

tfi,j=ni,j∑knik,j

对于上述的文本数据集，如果用tf矩阵表示就是：  
![这里写图片描述][SouthEast 3]

## tf-idf 表示法 ##

tf-idf (term frequency–inverse document frequency)，不仅考虑了单词在文章中的出现次数，还考虑了其在整个文本数据集中的出现次数。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力。idf就是用来衡量一个单词在所有文本中的出现频率，其计算公式为：

idfi=log|D||\{ j:ti∈dj\}|

期中，  |D| 表示总文章数，分母表示包含词i的文章数。通常，为了防止分母为0会在分母加1，即

idfi=log|D|1\+|\{ j:ti∈dj\}|

在idf的计算公式中使用了log，是因为如果某个词在这个文本中的出现次数太少，就会使得|D|除以这个次数得到的值非常大，直接乘以tf会使得idf对计算结果的影响非常大，因此取对数来抑制idf的影响。那么对数应该以什么为底呢？其实任何正数都是可以的，底的取值跟文本数据集没有关系的，因为底的取之不同，并不会改变每个单词的相对重要性。不过一般的取值是10。

def doc2onehot_tf_matrix(vocab, docs):
        ''' 
          transform document to onehot vector
        '''
        M = len(docs)
        V = len(vocab)
        onehot = np.zeros((M, V))
        tf = np.zeros((M, V))
        for d, doc in enumerate(docs):
            for word in doc:
                if word in vocab:
                    pos = vocab.index(word)
                    onehot[d][pos] = 1
                    tf[d][pos] += 1
        # normalize to get term frequency
        row_sum = tf.sum(axis=1)
        tf = tf / row_sum[:, np.newaxis]
        return onehot, tf
    
    
    def doc2tfidf_matrix(onehot, tf):
        '''
          transform document to tf-idf
        '''
        M = onehot.shape[0]
        ndw = onehot.sum(axis=0) # number of documents contain word 
        idf = list(map(lambda x: log10(M) / (x+1), ndw))
        tfidf = tf * np.array(idf)
        return tfidf

## 其他方法 ##

上述方法都以一定的合理性将文本转化为了向量，但是却存在“语义鸿沟”问题。比如one-hot表示法，假设一个文本中只存在一个词麦克，另外一个文本中只存在一个词话筒，那么可以将这两个文章分别表示为\[0,0,0,0,1,0,0,0\]，\[1,0,0,0,0,0,0,0\]，这样虽然两个文本中的单词相似，但是得到的距离却很远。因此一些深度学习方法将文本将单词表示为n维的实值向量，类似\[0.792, −0.177, −0.107, 0.109, −0.542, …\]形式。那么每个文本可以基于这些词向量，通过某种方式提取为m维的实值向量。通过这种方法表示的文本，再通过欧氏距离或者余弦距离方法计算得到的距离，就能使得语义相似的词得到的距离相近。

[SouthEast]: /images/20220709/df2c4ca48cf24827910087707fdf9836.png
[SouthEast 1]: /images/20220709/1c90e0012e4143bbb5afb52dae76c061.png
[SouthEast 2]: /images/20220709/b7bd9b9c5fd84bad82ac56d69d74e471.png
[SouthEast 3]: /images/20220709/3d08218ee7dc4954bbf39b9d03d6c4c4.png