【中文情感分析】SO-PMI算法（HarvestText库的修正以及解析）

Dear 丶 2022-01-11 07:19 434阅读 0赞

## 简述 ##

在最近的RA过程中，需要使用一个库，同时对其的原理需要理解。然后就研究了一些，发现了几个有趣的，其中一个HarvestText中文情感分析。

*  我研究了他的源码后，再结合理论知识发现了这个库在情感分析上的一个很重要的问题。并提交了代码，完成了合并。**下面是我的fork后的库**
 *  https://github.com/Sean16SYSU/HarvestText

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70]

### 文章目录 ###

*   *  简述
     *  SO-PMI算法
     *   *  PMI
         *  SO-PMI计算

## SO-PMI算法 ##

*  输入：文章集合。pos词汇集和neg词汇集（不需要给分数）
 *  输出：未知词汇的分数

### PMI ###

*  PMI，Pointwise Mutual Information， 即点互信息，  log ⁡ 2 P ( A , B ) P ( A ) P ( B ) \\log\_2\\frac\{P(A, B)\}\{P(A)P(B)\} log2P(A)P(B)P(A,B)
 *  P(A)，词汇A出现的文章的概率
 *  P(B)，词汇B出现的文章的概率
 *  P(A, B) ， 词汇AB一起出现在文章中的概率
 *  因为基数都是一样的（文章数量），所以做一定的数学变换即可。

### SO-PMI计算 ###

*  对于词汇A，计算其情感：  
     ∑ p w ∈ P O S ( P M I ( A , p w ) ) − ∑ n w ∈ N E G ( P M I ( A , n w ) ) \\sum\_\{pw \\in POS\}( PMI(A, pw)) - \\sum\_\{nw \\in NEG\}( PMI(A, nw)) pw∈POS∑(PMI(A,pw))−nw∈NEG∑(PMI(A,nw))
    
     *  pw：positive word (积极词汇)
     *  nw：negative word (消极词汇)
 *  根据这个公式，我们可以发现计算出来的分数值是可能大于1或者小于-1的。
 *  没有准确的上下界，会使得整个实现没那么友好。

而我的其中一个贡献也就是在提出这个**不存在上下限**的问题上。  
文章的解决方案也是很简单的，就是pos词汇的分数被被除以pos词汇中分数的最大值（正数）。同理，neg词汇的分数会被除以neg词汇中分数的最小值（负数）。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70]: /images/20220111/5a201ee7916a43c2828e0856a245594f.png