【NLP-新闻文本分类】1 数据分析和探索

亦凉 2022-10-30 11:19 228阅读 0赞

### 目录 ###

*  赛题介绍
 *  1 导入工具包
 *  2 读取数据
 *  3 数据集样例查看
 *  4 查看数据类型和数据大小
 *  5 查看缺失值
 *  6 观察数据分布
 *   *  6.1 查看Label分布
     *  6.2 查看句子长度分布
     *  6.3 句子中字符数量分布
 *  7 总结分析

# 赛题介绍 #

[零基础入门NLP - 新闻文本分类][NLP -]  
赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。  
赛题数据由以下几个部分构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。为了预防选手人工标注测试集的情况，我们将比赛数据的文本按照字符级别进行了匿名处理。处理后的赛题训练数据如下：

<table> 
 <thead> 
  <tr> 
   <th>label</th> 
   <th>text</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>6</td> 
   <td>57 44 66 56 2 3 3 37 5 41 9 57 44 47 45 33 13 63 58 31 17 47 0 1 1 69 26 60 62 15 21 12 49 18 38 20 50 23 57 44 45 33 25 28 47 22 52 35 30 14 24 69 54 7 48 19 11 51 16 43 26 34 53 27 64 8 4 42 36 46 65 69 29 39 15 37 57 44 45 33 69 54 7 25 40 35 30 66 56 47 55 69 61 10 60 42 36 46 65 37 5 41 32 67 6 59 47 0 1 1 68</td> 
  </tr> 
 </tbody> 
</table>

在数据集中标签的对应的关系如下：

> \{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13\}

# 1 导入工具包 #

import pandas as pd
    import matplotlib.pyplot as plt
    import numpy as np
    import seaborn as sns
    from scipy import stats
    
    import warnings
    warnings.filterwarnings("ignore")

# 2 读取数据 #

test_data = pd.read_csv('./test_a.csv',sep='\t', encoding='UTF-8')
    train_data = pd.read_csv('./train_set.csv',sep='\t', encoding='UTF-8')

# 3 数据集样例查看 #

查看数据集的前几行数据，了解数据集、测试集的字段信息

print(train_data.head(3))

> label text  
> 0 2 2967 6758 339 2021 1854 3731 4109 3792 4149 15…  
> 1 11 4464 486 6352 5619 2465 4802 1452 3137 5778 54…  
> 2 3 7346 4068 5074 3747 5681 6093 1777 2226 7354 6…

注意：第一行数据是序号，第二行的才是label,第三行是text

print(test_data.head(3))

> text  
> 0 5399 3117 1070 4321 4568 2621 5466 3772 4516 2…  
> 1 2491 4109 1757 7539 648 3695 3038 4490 23 7019…  
> 2 2673 5076 6835 2835 5948 5677 3247 4124 2465 5…

注意：测试集是没有label的，第一行的0-2是序号

# 4 查看数据类型和数据大小 #

（1）查看测试集信息数据

print(test_data.info())

> <class ‘pandas.core.frame.DataFrame’>  
> RangeIndex: 50000 entries, 0 to 49999  
> Data columns (total 1 columns):  
> Column Non-Null Count Dtype  
> 0 text 50000 non-null object  
> dtypes: object(1)  
> memory usage: 390.8+ KB  
> None

可以看到有50000条数据，其中text类型是object类型。数据大小是390.8KB  
（2）查看 数据集信息数据

print(train_data.info())

> <class ‘pandas.core.frame.DataFrame’>  
> RangeIndex: 200000 entries, 0 to 199999  
> Data columns (total 2 columns):  
> Column Non-Null Count Dtype  
> 0 label 200000 non-null int64  
> 1 text 200000 non-null object  
> dtypes: int64(1), object(1)  
> memory usage: 3.1+ MB  
> None

可以看到有200000条数据，其中label类型是int64，text类型是object类型。数据大小是3.1MB

# 5 查看缺失值 #

（1）计算数据集中label列的缺失率和缺失了label值的行数

# 计算label这一列的缺失率
    print((train_data.shape[0]-train_data['label'].count())/train_data.shape[0])
    # 计算缺失label值的行数
    print(train_data[train_data['label'].isna()].count())

> 0.0  
> label 0  
> text 0  
> dtype: int64

注意：label是有值=0的，所以不能像以下的text去==0 去判断该行是否为空  
可以看到label缺失率为0，也没有缺失的行数

（2）计算数据集中text列的缺失率和缺失了text值的行数

# 计算text这一列的缺失率
    print((train_data.shape[0]-train_data['text'].count())/train_data.shape[0])
    # 计算缺失text值的行数
    print(train_data[train_data['text'].isna() | (train_data['text']==0)].count())

> 0.0  
> label 0  
> text 0  
> dtype: int64

可以看到text缺失率为0，也没有缺失的行数

# 6 观察数据分布 #

## 6.1 查看Label分布 ##

（1）方法一：jupyter notebook下

import numpy as np
    import matplotlib
    from matplotlib import pylab, mlab, pyplot
    plt = pyplot
    import pandas as pd
    
    train_data = pd.read_csv('./train_set.csv',sep='\t', encoding='UTF-8')
    train_data['label'].value_counts().plot(kind='bar')
    plt.title('News class count')
    plt.xlabel("category")
    Text(0.5, 0, 'category')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]

（2）方法二：VScode下使用pandas.core.series.Series 的方法

import pandas as pd
    import matplotlib.pyplot as plt
    
    train_data['label'].value_counts().plot(kind='bar')
    plt.title('News class count')
    plt.xlabel("category")
    plt.text(0.5, 0, 'category')
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]  
（3）方法三：VScode下手写计数统计

import pandas as pd
    import matplotlib.pyplot as plt
    import numpy as np
    import seaborn as sns
    from scipy import stats
    
    import warnings
    warnings.filterwarnings("ignore")
    # 读取文件
    test_data = pd.read_csv('./test_a.csv',sep='\t', encoding='UTF-8')
    train_data = pd.read_csv('./train_set.csv',sep='\t', encoding='UTF-8')
    
    # 统计label的各种类别数量
    distribute_label = { 0:0,1:0,2:0,3:0,4:0,5:0,6:0,7:0,8:0,9:0,10:0,11:0,12:0,13:0}
    for i, v in train_data['label'].items():
        if distribute_label.get(v)==None:
            distribute_label[v] = 1
        else:
            distribute_label[v] =distribute_label.get(v)+1
    
    label_list = distribute_label.keys()
    num_list1 = distribute_label.values()      # 纵坐标值1
    x = range(len(num_list1))
    """ 绘制条形图 left:长条形中点横坐标 height:长条形高度 width:长条形宽度，默认值0.8 label:为后面设置legend准备 """
    rects1 = plt.bar(x,height=num_list1, width=0.4, alpha=0.8, color='red', label="labelnumber")
    plt.ylim(0, 50000)     # y轴取值范围
    plt.ylabel("number")
    """ 设置x轴刻度显示值 """
    plt.xticks([index + 0.2 for index in x], label_list)
    plt.xlabel("label")
    plt.title("label-distribution")
    plt.legend()     # 设置题注
    # 编辑文本
    for rect in rects1:
        height = rect.get_height()
        plt.text(rect.get_x() + rect.get_width() / 2, height+1, str(height), ha="center", va="bottom")
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]

从图中可以看到数据的label分布很不均匀，这对模型准确率的是有非常大的影响。后面的数据预处理必须要通过相应的方法处理的。

## 6.2 查看句子长度分布 ##

train_data['text_len'] = train_data['text'].apply(lambda x: len(x.split(' ')))
    print(train_data['text_len'].describe())
    plt.hist(train_data['text_len'], bins=200) #使用了%pylab，可以直接使用'plt'
    plt.xlabel('sentence-length')
    plt.ylabel('category-number')
    # plt.text(0.5, 1.0, '')
    plt.show()

> count 200000.000000  
> mean 907.207110  
> std 996.029036  
> min 2.000000  
> 25% 374.000000  
> 50% 676.000000  
> 75% 1131.000000  
> max 57921.000000

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 3]  
从输出的数据可以看到句子的平均长度907，最短的只有2。从图中可以看出，句子长度大多数分布在2000以下

## 6.3 句子中字符数量分布 ##

from collections import Counter
    all_lines = ' '.join(list(train_data['text']))
    word_count = Counter(all_lines.split(" "))
    word_count = sorted(word_count.items(), key=lambda d:d[1], reverse = True)
    
    print(len(word_count))
    print(word_count[0])
    print(word_count[-1])

> 6869  
> (‘3750’, 7482224)  
> (‘3133’, 1)

从统计结果中可以看出，在训练集中总共包括6869个不同字，其中编号3750的字出现的次数最多，编号3133的字出现的次数最少。

这里还可以根据字在每个句子的出现情况，反推出标点符号。下面代码统计了不同字符在句子中出现的次数，其中字符3750，字符900和字符648在20w新闻的覆盖率接近99%，很有可能是标点符号。

思考：如果是标点符号，这对模型的准确率是有影响的，是否应该去除去提高模型的准确率

# 7 总结分析 #

（１）总结

*  数据集中每个新闻包含的字符个数平均为1000个，还有一些新闻字符较长；
 *  数据集中新闻类别分布不均匀，科技类新闻样本量接近4w，星座类新闻样本量不到1k；
 *  数据集中总共包括7000-8000个字符；
 *  数据集中存在高频的字符，有可能是标点符号

（２）分析

*  每个新闻平均字符个数较多，可能需要截断
 *  由于类别不均衡，会严重影响模型的精度，需要对数据集预处理，使得类别尽量均衡
 *  存在高频的字符，是标点符号，可能需要剔除

[NLP -]: https://tianchi.aliyun.com/competition/entrance/531810/introduction
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/a2d8b4ea995a4dd5a2d59f5e3e75bc49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/f509f43737db46e592da4372214116fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/3211093b4b514802be683a5f021c77a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221024/8ec6e44829bb411591701de6806e8b34.png