NLTK学习笔记(一):语言处理和Python

拼搏现实的明天。 2022-05-16 00:45 220阅读 0赞

*  [目录][Link 1]
    
     *  [nltk资料下载][nltk]
     *  [文本和词汇][Link 2]
        
         *  [搜索文本][Link 3]
         *  [计数词汇(去重、定位)][Link 4]
     *  [词链表][Link 5]
     *  [自然语言简单数学统计][Link 6]
        
         *  [频率分布][Link 7]
         *  [细粒度的选择词][Link 8]
         *  [双连词和词汇搭配][Link 9]
         *  [词长分布][Link 10]

# 目录 #

--------------------

## nltk资料下载 ##

import nltk
    nltk.download()

其中,`download()` 参数默认是all,可以在脚本里面加上`nltk.download(需要的资料库)` 来进行下载

--------------------

## 文本和词汇 ##

首先，通过`from nltk.book import *` 引入需要的内置9本书

### 搜索文本 ###

上下文：`Text.concordance('monstrous')` ，concordance是一致性的意思。即在Text对象中monstrous出现的上下文

相同上下文单词：`Text.similar('monstrous')` ,查找哪些词还有相同的上下文 。（比如 the\_\_size 空格上可以是big/small），这个函数会自动找出来并返回。

多个单词上下文: `Text.common_contexts(['very','monstrous'])` ,返回共用两个或两个以上词汇的上下文

多个单词频率绘图工具： `Text.dispersion_plot(['citizens','freedom'])` , 可以得到很好看的离差散点图

### 计数词汇(去重、定位) ###

不去重的计算用BIF里面的*len()* 就可以了:`len(text1)`  
  
**去重计算** 需要用到内置结构**set**: `len(set(text1))`  
  
可以使用nltk内置BIF：`Text.count(word)` 查找单词出现次数；使用`Text.index(word)`可以进行定位

--------------------

## 词链表 ##

> 主要是结合python内置list的特点，可以进行链接等一些链表操作，十分方便，对于一些基本的list操作，可以自行看文档

--------------------

## 自然语言简单数学统计 ##

### 频率分布 ###

用法：`FreqDist(WordList)` ，参数可以实List或者其子类，所以 Text（text1，text2...）也可以作为参数。函数返回字典形式，可以调用`dict.keys()` 查询所有单词和符号

from nltk import *
    fdist = FreqDist(text1)
    print(fdist['whale'])

可以通过 `fdist.plot(TopK,cumulative=True)` 画出来出现频率前K的词汇的光滑曲线，去掉第二个参数，是折线图。个人感觉曲线好看。。。  
  
对于只出现一次的词汇，通过`fdist.hapaxes()` 返回的list查看。

### 细粒度的选择词 ###

> 细粒度: 细粒度模型,通俗的讲就是将业务模型中的对象加以细分,从而得到更科学合理的对象模型,直观的说就是划分出很多对象。对于词汇，我们可能需要长度大于5的不重复词汇，这就是一个Model

v = set(text1)
    long_words = [w for w in v if len(w) > 5]

如果我们需要频率大于7，长度大于10的呢？

fdist = FreqDist(text1)
    long_words = [w for w in set(text1) if len(w)>10 and fdist[w] > 7]

### 双连词和词汇搭配 ###

> 双连词就是n-gram模型中n=2，组成的词链表

在nltk里面有BIF，`bigrams(wordlist)` ,生成词链表

>>> list(bigrams(['a','b','c']))
    [('a', 'b'), ('b', 'c')]

通过这个词链表，我们可以找到搭配（定义：不经常在一起出现的词序列）.`Text.collocations()` 可以查找出现频率比预期频率更频繁的双连词

>>> text4.collocations()
    United States; fellow citizens; four years; years ago; Federal
    Government; General Government; American people; Vice President; Old
    World; Almighty God; Fellow citizens; Chief Magistrate; Chief Justice;
    God bless; every citizen; Indian tribes; public debt; one another;
    foreign nations; political parties

### 词长分布 ###

代码实现：

fdist = FreqDist([len(w) for w in text1])
    print(fdist.items())
    print(fdist.freq(3))#查找频率

词长可以帮助我们理解作者、文本和语言之间的差异

[Link 1]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E7%9B%AE%E5%BD%95
[nltk]: https://www.cnblogs.com/AsuraDong/p/6957890.html#nltk%E8%B5%84%E6%96%99%E4%B8%8B%E8%BD%BD
[Link 2]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E6%96%87%E6%9C%AC%E5%92%8C%E8%AF%8D%E6%B1%87
[Link 3]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E6%90%9C%E7%B4%A2%E6%96%87%E6%9C%AC
[Link 4]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E8%AE%A1%E6%95%B0%E8%AF%8D%E6%B1%87%E5%8E%BB%E9%87%8D%E5%AE%9A%E4%BD%8D
[Link 5]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E8%AF%8D%E9%93%BE%E8%A1%A8
[Link 6]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%AE%80%E5%8D%95%E6%95%B0%E5%AD%A6%E7%BB%9F%E8%AE%A1
[Link 7]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E9%A2%91%E7%8E%87%E5%88%86%E5%B8%83
[Link 8]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E7%BB%86%E7%B2%92%E5%BA%A6%E7%9A%84%E9%80%89%E6%8B%A9%E8%AF%8D
[Link 9]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E5%8F%8C%E8%BF%9E%E8%AF%8D%E5%92%8C%E8%AF%8D%E6%B1%87%E6%90%AD%E9%85%8D
[Link 10]: https://www.cnblogs.com/AsuraDong/p/6957890.html#%E8%AF%8D%E9%95%BF%E5%88%86%E5%B8%83