采用jieba库的posseg函数对剩余有效文本数据进行词性分析

旧城等待， 2024-04-07 15:47 52阅读 0赞

目录  
一、实验流程说明 1

1.  读取原始数据文件 1
2.  数据清洗 2  
    （1） 去停用词 2  
    （2） 去除特殊符号 2  
    （3） 去除异常文本 2
3.  保存处理后数据并生成tfidf矩阵 2
4.  聚类 2
5.  层次聚类 2  
    （1）采用主成分分析方法PCA对tfidf矩阵进行降维； 2  
    （2）调用AgglomerativeClustering库函数实现对数据的层次聚类； 2  
    （3）给聚类结果的簇贴标签以描述每个簇对应文本的中心话题； 2  
    （4）输出聚类结果的二维图像及运行时间。 2
6.  K-均值聚类 3  
    （1） 使用PCA方法降维； 3  
    （2）调用KMeans库函数对降维后数据进行K-均值聚类； 3  
    （3）给聚类结果的簇贴标签以描述每个簇对应文本的中心话题； 3  
    （4）调用matplotlib绘制聚类结果二维图像，并确定各类中心点。 3  
    一、 所用模型与方法 3
7.  层次聚类 3  
    （1）方法介绍 3  
    （2）算法流程\[2\] 5  
    （3）函数详解 5
8.  K-均值聚类 6  
    （1） 模型介绍 6  
    （2） 算法流程\[3\] 7  
    (1) 从样本中随机选取k个样本点作为初始的均值向量\{μ1,μ2,⋯,μk\} 7  
    (2) 循环以下几步直到达到停止条件： 7  
    （3） 函数详解\[4\] 7  
    三、实验结果分析 8  
    一、实验流程说明  
    1.读取原始数据文件  
    采用pandas库可以直接读取.csv数据文件，并查看数据各方面信息。  
    2.数据清洗  
    （1）去停用词  
    根据网上常用的停用词库，本文转载自http://www.biyezuopin.vip/onews.asp?id=16731使用jieba库中lcut函数分割文本，逐词判断并删除文本中停用词，同时采用jieba库的posseg函数对剩余有效文本数据进行词性分析，进一步筛选文本。  
    （2）去除特殊符号  
    调用pandas库函数去掉问题中’？’、标点符号、特殊符号等。  
    （3）去除异常文本  
    使用pandas库清理文本中空行、重复数据、仅含字母和数字的文本以及问题中小于三个字的行。  
    3.保存处理后数据并生成tfidf矩阵  
    将处理后的文本数据按照初始顺序保存为.txt文件并输出所有统计词语的字典形式；调用sklearn库的TfidfVectorizer函数生成文本数据对应的tfidf矩阵。  
    4.聚类  
    本次实验采用两种不同聚类方式，包括层次聚类与K-均值聚类，均可实现文本聚类目标。  
    1.层次聚类  
    （1）采用主成分分析方法PCA对tfidf矩阵进行降维；  
    （2）调用AgglomerativeClustering库函数实现对数据的层次聚类；  
    （3）给聚类结果的簇贴标签以描述每个簇对应文本的中心话题；  
    （4）输出聚类结果的二维图像及运行时间。  
    2.K-均值聚类  
    （1）使用PCA方法降维；  
    （2）调用KMeans库函数对降维后数据进行K-均值聚类；  
    （3）给聚类结果的簇贴标签以描述每个簇对应文本的中心话题；  
    （4）调用matplotlib绘制聚类结果二维图像，并确定各类中心点。

#!/usr/bin/env python
    # coding: utf-8
    
    # In[64]:
    
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    import jieba
    import jieba.posseg as pseg
    import glob
    import random
    import re
    import string
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.feature_extraction.text import CountVectorizer
    from sklearn.feature_extraction.text import TfidfTransformer
    from collections import Counter
    #from keras import models
    #from keras import layers
    #from keras.preprocessing.text import Tokenizer
    # In[2]:
    def stopwordslist():#加载停用词表
        stopwords = [line.strip() for line in open('stopwords.txt',encoding='utf-8').readlines()]
        return stopwords
    
    
    # In[3]:
    
    
    def deleteStop(sentence):    #去停用词
        stopwords = stopwordslist()
        outstr=""
        for word in sentence:
            if word not in stopwords and word!="\n":
                outstr+=word
        return outstr
    
    
    # In[4]:
    
    
    def wordcut(Review):
        Mat=[]
        for rec in Review:
            seten=[]
            rec=re.sub('[%s]'%re.escape(string.punctuation),'',rec)
            fenci=jieba.lcut(rec)   #精准模式分词
            stc=deleteStop(fenci)    #去停用词
            seg_list=pseg.cut(stc)   #标注词性
            for word,flag in seg_list:
                if flag not in ["nr","ns","nt","m","f","ul","l","r","t"]:
                    seten.append(word)
            Mat.append(seten)
        return Mat
    
    
    # In[5]:
    
    
    df=pd.read_csv('data.csv')
    df.head()
    
    
    # In[6]:
    
    
    #查看数据形状
    df.shape
    
    
    # In[7]:
    
    
    #快速了解数据的结构
    df.info()
    
    
    # In[8]:
    
    
    #查看每一列的标题
    df.columns
    
    
    # In[9]:
    
    
    df.productId
    
    
    # In[10]:
    
    
    #查看有没有两行完全一样的数据
    df.duplicated()
    
    
    # In[11]:
    
    
    #把两行完全一样的数据显示出来
    df[df.duplicated()]
    
    
    # In[12]:
    
    
    #查看有没有questionId完全一样的两行
    df.duplicated(subset=['questionId'])
    
    
    # In[13]:
    
    
    #把questionId完全一样的两行显示出来
    df[df.duplicated(subset=['questionId'])]
    
    
    # In[14]:
    
    
    #查看所有带数字的信息
    df.describe().T
    
    
    #查看数据形状
    df.shape
    
    
    # In[19]:
    
    
    #把空的信息找出来
    df.isnull().sum()
    
    
    # In[20]:
    
    
    #找出questions空信息所在的行
    df[df.questions.isnull()].index
    
    
    # In[21]:
    
    
    #把questions空的行删除
    df.drop(df[df.questions.isnull()].index,inplace=True)
    
    
    # In[22]:
    
    
    #查看数据形状
    df.shape
    
    
    # In[23]:
    
    
    col=df.questions.values
    
    
    # In[24]:
    
    
    #删除questions列的所有空格
    df.questions=[x.strip() for x in col]
    df.questions
    
    
    # In[25]:
    
    
    #查看数据结构
    df.info()
    
    
    # In[26]:
    
    
    #查看带有？符号的问题
    df[df['questions'].str.contains("\?")]
    
    
    # In[27]:
    
    
    #去除问题中的问号
    df['questions'].replace('\?','',regex=True,inplace=True)
    
    
    # In[28]:
    
    
    #查看是否已经去除干净
    df[df['questions'].str.contains("\?")]
    
    
    # In[29]:
    
    
    #找出含有♀符号的问题
    df[df['questions'].str.contains("♀")]
    
    
    # In[30]:
    
    
    #删除问题中所有♀符号
    df['questions'].replace('♀','',regex=True,inplace=True)
    
    
    # In[31]:
    
    
    #删除问题中各种特殊符号
    df['questions'].replace('!','',regex=True,inplace=True)
    df['questions'].replace('@','',regex=True,inplace=True)
    df['questions'].replace('Q_Q','',regex=True,inplace=True)
    df['questions'].replace('_','',regex=True,inplace=True)
    df['questions'].replace('^','',regex=True,inplace=True)
    df['questions'].replace('你好','',regex=True,inplace=True)
    df['questions'].replace('在吗','',regex=True,inplace=True)
    df['questions'].replace('\n','',regex=True,inplace=True)
    df['questions'].replace('(`н′)','',regex=True,inplace=True)
    df['questions'].replace('╭(╯3╰)╮','',regex=True,inplace=True)
    
    
    # In[32]:
    
    
    #df[df['questions'].str.len()<4].index
    #找出问题中全是数字的索引
    df[df['questions'].str.isdecimal()].index
    
    
    # In[33]:
    
    
    #删除问题中全是数字的行
    df.drop(df[df['questions'].str.isdecimal()].index,inplace=True)
    
    
    # In[34]:
    
    
    #删除问题中小于三个字的行
    df.drop(df[df['questions'].str.len()<3].index,inplace=True)
    
    
    # In[35]:
    
    
    #df[df['questions'].str.encode('UTF-8').isalpha()]
    #查看数据结构
    df.shape
    
    
    # In[36]:
    
    
    #去除问题中只有英文字母的行
    eeee=df['questions'].apply(lambda x:None if str(x).encode('UTF-8').isalpha()==True else x)
    
    
    # In[37]:
    
    
    df['questions']=eeee
    
    
    # In[38]:
    
    
    df.dropna(inplace=True)
    
    
    # In[39]:
    
    
    #查看数据结构
    df.shape
    
    
    # In[40]:
    
    
    #保存文件
    df.to_csv(r'C:\Users\D\Desktop\新data.csv',index=None)
    
    
    # In[ ]:
    
    
    
    
    
    # In[41]:
    
    
    #这里出来是questions的集合
    def getquestions(data):
        listquestions=[]
        for questions in data['questions']:
            listquestions.append(questions)
        return listquestions
    
    
    # In[42]:
    
    
    #调用函数
    questions=getquestions(df)
    
    
    # In[43]:
    
    
    #分词和去停用词
    questionscut=wordcut(questions)
    
    
    # In[44]:
    
    
    print(questionscut)
    
    
    # In[45]:
    
    
    #写入文件
    file=open('questionscut.txt','w',encoding='UTF-8')
    for i in questionscut:
        file.write(" ".join(i))
        file.write('\n')
    file.close()
    
    
    # In[46]:
    
    
    #把列表合并成一个
    abc=[]
    for i in questionscut:
        abc+=i
    print(abc)
    
    
    # In[47]:
    
    
    transformer = TfidfVectorizer()
    X_train = transformer.fit_transform(abc)
    
    
    # In[62]:
    
    
    word_list = transformer.get_feature_names()#所有统计的词
    print(transformer.fit(abc).vocabulary_)#统计词字典形式
    
    
    # In[48]:
    
    
    #TFIDF权重
    weight_train = X_train.toarray()
    tfidf_matrix = transformer.fit_transform(abc)
    print(tfidf_matrix.toarray())
    
    
    # In[49]:
    
    
    #生成TFIDF矩阵
    vectorizer=CountVectorizer()
    X=vectorizer.fit_transform(abc)
    transform=TfidfTransformer()
    tfidf=transform.fit_transform(X)
    weight=tfidf.toarray()
    
    
    # In[50]:
    
    
    transformer = TfidfVectorizer()
    X_train = transformer.fit_transform(abc)
    print(X_train)
    
    
    # In[51]:
    
    
    corpus=[]
    lines=open('questionscut.txt',encoding='UTF-8').readlines()
    for line in lines:
        corpus.append(line.strip())
    
    
    # In[52]:
    
    
    #输出TFIDF权重
    vectorizer=CountVectorizer()
    aaaa=vectorizer.fit_transform(corpus)
    transform=TfidfTransformer()
    tfidf=transform.fit_transform(aaaa)
    weight=tfidf.toarray()
    print(tfidf)
    
    
    # In[53]:
    
    
    transformer = TfidfVectorizer()
    X_train = transformer.fit_transform(corpus)
    space=vectorizer.vocabulary_
    print(space)
    
    
    # In[54]:
    
    
    file=open('分词.txt','w',encoding='UTF-8')
    for i in space:
        file.write(" ".join(i))
        file.write('\n')
    file.close()
    
    
    # In[78]:
    
    
    mmm=pd.DataFrame(weight)
    mmm.to_csv('a.txt')
    
    
    # In[82]:
    
    
    #TFIDT矩阵降维
    def PCA(weight,dimension):
        from sklearn.decomposition import PCA
        pca=PCA(n_components=dimension)
        x=pca.fit_transform(weight)
        print(x)
        return x
    
    
    # In[85]:
    
    
    xyz=PCA(weight,20)
    
    
    # In[86]:
    
    
    #保存矩阵
    mmm=pd.DataFrame(xyz)
    mmm.to_csv('tfidf.txt')
    
    
    # In[63]:
    
    
    #词频统计
    abcd=pd.DataFrame(abc,columns=['word'])
    abcd['cnt']=1
    g=abcd.groupby(['word']).agg({
        'cnt':'count'}).sort_values('cnt',ascending=False)
    g.head(100)
    
    
    # In[62]:
    
    
    file=open('分词.txt','w',encoding='UTF-8')
    for i in g:
        file.write(" ".join(i))
        file.write('\n')
    file.close()
    
    
    # In[66]:
    
    
    #词频统计
    counter = Counter(abc)
    print(counter)

![在这里插入图片描述][62cd7815d9564bebafcc4a27943b3bed.png_pic_center]  
![在这里插入图片描述][3a23b8408728424a94379155d0db0d37.png_pic_center]  
![在这里插入图片描述][3b7bab5f4aac42229cf1e8fb0d332fe5.png_pic_center]  
![在这里插入图片描述][21f79680c83e4d04bec588ee3b3060c2.png_pic_center]  
![在这里插入图片描述][32f9be9bc805490281c622e9982f2f20.png_pic_center]  
![在这里插入图片描述][386007cd6abc423aba96f3d7d680e604.png_pic_center]  
![在这里插入图片描述][b35a07ae8b784cd2a234c19a96e43fa2.png_pic_center]  
![在这里插入图片描述][30ac94ff71c0435aa2a09c452d202974.png_pic_center]  
![在这里插入图片描述][225146e6c5da42f9a63a61642848c4e3.png_pic_center]  
![在这里插入图片描述][20804e27e72c46e2b0ad9774c05d99e7.png_pic_center]  
![在这里插入图片描述][5929d7c273184d3d935b27faf2ed4d28.png_pic_center]  
![在这里插入图片描述][b29803fba1fb47dfbd5f3da3c618633c.png_pic_center]  
![在这里插入图片描述][085c0ceeebe4466490bc7f95cb998721.png_pic_center]  
![在这里插入图片描述][bd8920d4b0d04eac97cbef7014274543.png_pic_center]  
![在这里插入图片描述][cde04dd6fde845ddb5947c899bd49423.png_pic_center]  
![在这里插入图片描述][719ef6c77ab0475988b7a16269074c94.png_pic_center]

[62cd7815d9564bebafcc4a27943b3bed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/321390753a75487199e9e57119702bff.png
[3a23b8408728424a94379155d0db0d37.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d6bac364cca54cd3a7be28b5dd7d692b.png
[3b7bab5f4aac42229cf1e8fb0d332fe5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7024aa8aab7940eeb0c6decf212d6c50.png
[21f79680c83e4d04bec588ee3b3060c2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/feddb66cf18a4726924d5be0c9eb0875.png
[32f9be9bc805490281c622e9982f2f20.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/803b3d3e31a84f6e9b608a07bdbc5eba.png
[386007cd6abc423aba96f3d7d680e604.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7a7311b200214d81adf04095a117539d.png
[b35a07ae8b784cd2a234c19a96e43fa2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/17fe4ea8797b4c06a9792c8b2ccea224.png
[30ac94ff71c0435aa2a09c452d202974.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/3538c54ac6624971ac9852f67302971e.png
[225146e6c5da42f9a63a61642848c4e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d49704b84cfd4ecfa1f2755d12fcaa5c.png
[20804e27e72c46e2b0ad9774c05d99e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d78f036a7662446e830352687d6d9275.png
[5929d7c273184d3d935b27faf2ed4d28.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/83e388a902974a20a9123720872060b4.png
[b29803fba1fb47dfbd5f3da3c618633c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/fcba2f97782644d280895c5b74943440.png
[085c0ceeebe4466490bc7f95cb998721.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/37613e7b61994cd99bb2ec1c64c20672.png
[bd8920d4b0d04eac97cbef7014274543.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/332db96c4bd443a6b1a8cf24bf2f617c.png
[cde04dd6fde845ddb5947c899bd49423.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9bf4e85df7204da1a92414859de2c792.png
[719ef6c77ab0475988b7a16269074c94.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/79631d086e9746499ca22394c9c0ae4e.png