python进行文本分类，基于word2vec,sklearn-svm对微博垃圾评论分类

骑猪看日落 2022-05-19 01:58 268阅读 0赞

差不多一年前的第一个分类任务，记录一下  
语料库是关于微博的垃圾用户评论，分为两类，分别在normal,和spam文件夹下。里面是很多个txt文件，一个txt是一条用户评论。

![70][]

一、进行分词

利用Jieba分词和去除停用词（这里我用的是全模式分词），每一篇文档为一行 用换行拼接，得到result.txt。其中用到的停用词是在网上随便下载的。

# 对句子进行分词
    def seg_sentence(sentence):
        sentence_seged = jieba.cut(sentence.strip())
        stopwords = stopwordslist('stopword.txt')  # 这里加载停用词的路径
        outstr = ''
        for word in sentence_seged:
            if word not in stopwords:
                if word != '\t':
                    outstr += word
                    outstr += " "
        return outstr

去停用词后的结果如图

![70 1][]

二.用gensim.word2vec得到词向量模型

这里要用到word2vec来训练词向量，python要安装对应的库。

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
        sentences = word2vec.Text8Corpus(u"./data111")  # 加载语料
        if os.path.exists("./model"):
            model = gensim.models.Word2Vec.load('./model')
        else:
            model = word2vec.Word2Vec(sentences, min_count=1, size=50)  # 训练skip-gram模型
            model.save("./model")

三.每个文档的句子向量求平均求得文档向量

这里主要是要求得能代表文档的向量，这里就简单的将文档中的句子相加求平均，得到一个50维的文档向量。

def get_word_vector(path):
        ip = open(path, 'r', encoding='utf-8')
        content = ip.readlines()
        vecs = []
    
        for words in content:
            # vec = np.zeros(2).reshape((1, 2))
            vec = np.zeros(50).reshape((1, 50))
            count = 0
            words = remove_some(words)
            for word in words[1:]:
                try:
                    count += 1
                    # vec += model[word].reshape((1, 2))
                    vec += model[word].reshape((1, 50))
                    # print(vec)
                except KeyError:
                    continue
            vec /= count
            vecs.append(vec)
        return vecs

四.sklearn-svm进行分类

这里人工创建两个分别对应垃圾评论和非垃圾评论的标签，分别用0，1来表示两类。然后把对应的标签和语料随机划分成训练集和测试集，放到分类器中训练和测试。

这里的标签是建立了两个列表：

normal_tag = np.ones((len(normal)))
        spam_tag = np.zeros((len(spam)))

用3：7的比例划分测试和训练集

X_train, X_test, y_train, y_test = train_test_split(np.array(train, dtype='float64'),
                                                            np.array(train_tag, dtype='float64'), test_size=0.30,
                                                            random_state=0)  # 随机选择30%作为测试集，剩余作为训练集

训练并得到测试结果

clf = svm.SVC()  # 使用RBF核
    clf_res = clf.fit(X_train, y_train)
        #  train_pred = clf_res.predict(X_train)
        test_pred = clf_res.predict(X_test)
    print(classification_report(y_test, test_pred))

其中rbf核的结果比较好，如下所示

![70 2][]

[70]: /images/20220519/06bf46ba774548179e9b60f088bdd5e2.png
[70 1]: /images/20220519/83db1177fe1a45cab04aa669aacaa1f2.png
[70 2]: /images/20220519/05c1511c7d6e46aa9390f81116d6f748.png