NLP系列 5. 朴素贝叶斯、SVM、LDA主题模型

迈不过友情╰ 2022-01-30 08:21 238阅读 0赞

# 朴素贝叶斯 #

## 贝叶斯公式 ##

概率统计中学过了贝叶斯定理的数学表示 P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P ( B ) P(A|B)=\\frac\{P(A)P(B|A)\}\{P(B)\} P(A∣B)=P(B)P(A)P(B∣A)  
用一个例子来说明朴素贝叶斯里面的概念：  
假设现在有一个劣质酒精测试仪，会有5%的概率把没有喝酒的司机认定为醉酒，但会100%识别出醉酒的司机。  
比如说1000个司机里面有1个人是醉驾，但是会有5%\*999+1个人被判断为醉驾，而所有被判断为醉酒的司机里面是真正醉酒的概率为1/(5%\*999+1)=1.96%  
这里面设事件A为真正醉酒的概率，事件B为被判定为醉酒的概率。  
则 P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P ( B ) P(A|B)=\\frac\{P(A)P(B|A)\}\{P(B)\} P(A∣B)=P(B)P(A)P(B∣A)中P(A|B)为被判断为醉酒的司机里面是真正醉酒的概率，P(A)为先验概率，即司机真正醉酒的概率，为0.1%，P(B|A)为司机真正醉驾被判定为醉驾的概率，为100%。  
故，代入贝叶斯公式可得：P(A|B)=0.1%\*100%/\[0.1%\*100%+(1-0.1%)\*5%\]=1.96%，与之前的计算结果相同。

## 朴素贝叶斯分类 ##

根据联合概率分布公式 p ( C k ) p ( x ∣ C k ) = p ( C k , x ) p(C\_\{k\})p(x|C\_\{k\} )=p(C\_\{k\} ,x) p(Ck)p(x∣Ck)=p(Ck,x), 要针对样本x预测所属标签y的值， c k c\_\{k\} ck即y所属类别。  
所谓朴素贝叶斯就是利用了条件独立假设所以被称作”naive“，即假设事件互相独立。所以有 p ( x i ∣ x i + 1 , . . . , x n , C k ) = p ( x i , C k ) p(x\_\{i\}|x\_\{i+1\},...,x\_\{n\},C\_\{k\})=p(x\_\{i\},C\_\{k\}) p(xi∣xi\+1,...,xn,Ck)=p(xi,Ck)  
上面的公式就可以化简为 p ( x i ∣ x i + 1 , . . . , x n , C k ) = p ( x 1 , C k ) p ( x 2 , C k ) . . . p ( x n , C k ) p(x\_\{i\}|x\_\{i+1\},...,x\_\{n\},C\_\{k\})=p(x\_\{1\},C\_\{k\})p(x\_\{2\},C\_\{k\})...p(x\_\{n\},C\_\{k\}) p(xi∣xi\+1,...,xn,Ck)=p(x1,Ck)p(x2,Ck)...p(xn,Ck)  
最终结果为 p ( C k ∣ x ) ∝ p ( C k ∏ i = 1 n p ( x i ∣ C k ) ) p(C\_\{k\}|x)\\propto p(C\_\{k\}\\prod\_\{i=1\}^n p(x\_\{i\}|C\_\{k\})) p(Ck∣x)∝p(Ck∏i=1np(xi∣Ck))

## 文本分类应用 ##

利用sklearn.naive\_bayes的这个包就可以实现朴素贝叶斯算法。  
其中GaussianNB实现了高斯分布的朴素贝叶斯，MultinomialNB实现了多项式分布的朴素贝叶斯，BernoulliNB实现了伯努利分布的朴素贝叶斯算法。  
朴素贝叶斯算法在NLP领域由广泛应用，计划MultinomialNB实现一个文本分类的任务，这两天实在有点忙，待补充吧。。。

# SVM #

公式太难敲，这部分先把在大二上学期手推的SVM放上来，以后有时间的话再整理一下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 5]  
这些推导本意是给一个同学讲解SVM，而我当时也只是刚刚接触机器学习，所以在语言上不是很准确也很可能存在错误。  
暂且先发出来，有时间了在整理出来。

# LDA主题模型 #

## PLSA和共轭先验分布 ##

### pLSA ###

Bag-of-Words 模型是NLP和IR领域中的一个基本假设，BOW将词与词之间视为无序组合，这样会导致矩阵稀疏、多义词和同义词难以处理的问题。所以引入主题帮助解决这些问题。  
LSA是将document从稀疏的高维Vocabulary空间映射到一个低维的向量空间，我们称之为隐含语义空间。  
类似于LSA的思想，在pLSA中也引入了一个Latent class，但这次要用概率模型的方式来表达LSA的问题，如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 6]  
具体可以参考 [https://blog.csdn.net/bgfuufb/article/details/83956989][https_blog.csdn.net_bgfuufb_article_details_83956989]

### 共轭先验分布 ###

共轭先验分布：在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。  
[https://zh.wikipedia.org/zh-hans/共轭先验][https_zh.wikipedia.org_zh-hans]

## LDA定义 ##

LDA是一种文档生成模型，是一种三层贝叶斯概率模型，包含词、主题、文档三层结构，是一种非监督学习的技术，可以用来识别大规模文档集或语料库中的主题信息，采用了词袋的方法，将每一篇文档视为一个词频向量，每一篇文档代表一些主题构成的概率分布，而每一种主题又代表了很多单词所构成的一个概率分布。  
LDA要做的就是根据给定的一篇文档，反推其主题分布

## LDA生成过程 ##

LDA定义了如下生成过程：

*  对每一篇文档，从主题分布中抽取主题
 *  从被抽到的主题所对应的单词分布中抽取单词
 *  重复上述过程直至遍历文档中的每一个单词

## LDA使用 ##

from sklearn.decomposition import LatentDirichletAllocation,TruncatedSVD
    
    lda=LatentDirichletAllocation(n_components=15,random_state=42,max_iter=10)
    Z=lda.fit_transform(matrixTFIDF) 
    get_topics(lda.components_,tfidf_v.get_feature_names(),n=15)

# 后记 #

这两天真的是忙炸了，各种ddl，有时间了一定把这些补充好。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70]: /images/20220130/1ae0a741bf68434d91d2e4bb48d31197.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 1]: /images/20220130/2f8f439956d84702a70ffdf6e2de766f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 2]: /images/20220130/72977151b05a4604945185d817728993.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 3]: /images/20220130/8d00fed52401456f8b631158349a703f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 4]: /images/20220130/3cfb6f078fa545a69eb4eb0787079211.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 5]: /images/20220130/737854cc2f4e4228b9b761cc7ca1d797.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 6]: /images/20220130/cf323150a0324eac97a1cc00415d8a35.png
[https_blog.csdn.net_bgfuufb_article_details_83956989]: https://blog.csdn.net/bgfuufb/article/details/83956989
[https_zh.wikipedia.org_zh-hans]: https://zh.wikipedia.org/zh-hans/%E5%85%B1%E8%BD%AD%E5%85%88%E9%AA%8C