Python 基于机器学习的微博情感分析与研究

偏执的太偏执、 2023-09-29 18:59 10阅读 0赞

**[源码下载地址][Link 1]**

## 中文微博情感分类语料库 ##

*  "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的
 *  带情感标注的微博语料数量: 10000(train.txt)+500(test.txt)
 *  另一个项目对这个语料库进行了预处理, 用SVM/XGBoost/LSTM/Attention等各种机器学习和深度学习的方法训练了模型  
    地址

#### 数据格式 ####

*  文档的每一行代表一条语料
 *  每条语料的第一个数据为微博对应的`mid`,是每条微博的唯一标签,可以通过"https://m.weibo.cn/status/" + mid 访问到该条微博的网页(部分微博可能已被博主删除)
 *  第二个数据为情感标签, `0表示负面`, `1表示正面`
 *  其余后面部分都是微博文本
 *  微博表情都被转义成`[xx]`的格式, 如:
 *  微博话题/地理定位/视频、文本超链接等都转义成了`{%xxxx%}`的格式，使用正则可以很方便地将其清洗

#### 文件说明 ####

`train.txt`:

*  10000条语料, 根据情感倾向二分类标注, 作为训练集
 *  对负面语料轻微过采样, 正: 负 = 5497:4503  
    [![avatar][]][avatar 1]

`test.txt`:

*  500条语料, 依据情感倾向二分类标注
 *  随机采样, 正: 负 = 7:3
 *  作为测试集  
    ![在这里插入图片描述][ce27f9b2bae34ff6b7592bb9704314d9.png]

`topics/XXX.txt`:

*  100条不同主题的语料, 未进行情感分类标注(文件里全部标注为1), 可用于舆情分析测试
 *  当时还不会分布式爬虫, 所以爬的比较少, 不要嫌弃QAQ

#### 数据分析 ####

<table> 
 <thead> 
  <tr> 
   <th>训练集属性</th> 
   <th>平均数</th> 
   <th>0.95分位数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>语料长度(含符号)</td> 
   <td>80.9091</td> 
   <td>161</td> 
  </tr> 
  <tr> 
   <td>语料有效词数(含停用词)</td> 
   <td>38.74</td> 
   <td>87</td> 
  </tr> 
  <tr> 
   <td>语料句数</td> 
   <td>4.1653</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>PS: 语料长度的0.95分位数为161, 表示95%的语料长度都小于161</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

训练集/测试集词频统计, 已去停用词, 不同的分词方法得到的结果会略有差异  
![在这里插入图片描述][5c85d34cb34f4aa68bfa17d6bcb43b4e.png]  
![在这里插入图片描述][50f69195a83b411681b7df0d9e8716a8.png]

*  训练SVM后查看支持向量, 得到了正面/负面情感最强烈的一些词汇

![在这里插入图片描述][e0e625d00d7e4fe2a510ddffa3b25f21.png]  
![在这里插入图片描述][2e1429a5d3ef46ad968fe686c115834b.png]

## 源码下载地址 ##

**[源码下载地址][Link 1]**

[Link 1]: https://download.csdn.net/download/gdutxiaoxu/87419181
[avatar]: https://img-blog.csdnimg.cn/img_convert/ad5e1db556474a857177e1b972bf641f.jpeg
[avatar 1]: https://github.com/dengxiuqi/weibo2018/blob/master/images/train_portion.jpg
[ce27f9b2bae34ff6b7592bb9704314d9.png]: https://img-blog.csdnimg.cn/ce27f9b2bae34ff6b7592bb9704314d9.png
[5c85d34cb34f4aa68bfa17d6bcb43b4e.png]: https://img-blog.csdnimg.cn/5c85d34cb34f4aa68bfa17d6bcb43b4e.png
[50f69195a83b411681b7df0d9e8716a8.png]: https://img-blog.csdnimg.cn/50f69195a83b411681b7df0d9e8716a8.png
[e0e625d00d7e4fe2a510ddffa3b25f21.png]: https://img-blog.csdnimg.cn/e0e625d00d7e4fe2a510ddffa3b25f21.png
[2e1429a5d3ef46ad968fe686c115834b.png]: https://img-blog.csdnimg.cn/2e1429a5d3ef46ad968fe686c115834b.png