Lemmatization VS Stemming

矫情吗；* 2022-11-06 06:58 97阅读 0赞

简单来说，两者都是对词的归一化，但 Stemming（中文一般译为词干提取，以下简称 stem）更为简单、快速一些，通常会使用一种启发式方法去掉一个词的结尾。 Lemmatization（中文一般译为词形还原，以下简称 lemma）更为「智能」一些，上下文相关，有一个 vocab，不在其中的词不会被处理：

> Returns the input word unchanged if it cannot be found in WordNet. —— [nltk.stem.wordnet — NLTK 3.5 documentation][nltk.stem.wordnet _ NLTK 3.5 documentation]

例如

*  对于 `better`，stem 的结果仍然是 `better`，但是 lemma 结果是 `good`。
 *  对于 `meeting`，在没有上下文的情况下，既可以指名词会议，也可以是动词 `meet` 的 ing 形式。在 `in our last meeting` 和 `We are meeting again tomorrow` 这两句话中，lemma 就更能选择一个正确的结果。

nltk 中，这两者都在 `nltk.stem` 中，常见的有这么几种：`PorterStemmer`、`SnowballStemmer` 和 `WordNetLemmatizer`。其中 `WordNetLemmatizer` 是通过 pos 来获取上下文信息的，pos 可以使用 `nltk.pos_tag(nltk.word_tokenize('YOUR SENTENCE'))` 来获得。

下面以几个例子了解下：

def test_stemmer(word: str, pos='n'):
        porter = nltk.stem.PorterStemmer()
        snowball = nltk.stem.SnowballStemmer('english')
        wordnet = nltk.stem.WordNetLemmatizer()
        
        print(f"Origin: {word}")
        print('----------------------')
        print(f"PorterStemmer: {porter.stem(word)}")
        print(f"SnowballStemmer: {snowball.stem(word)}")
        print(f"WordNetLemmatizer: {wordnet.lemmatize(word, pos=pos)}")  # pos 的默认值是 n，即名词
    
    
    test_stemmer('apples', pos='n')
    # Origin: apples
    # ----------------------
    # PorterStemmer: appl
    # SnowballStemmer: appl
    # WordNetLemmatizer: apple
    
    test_stemmer('better', pos='a')
    # Origin: better
    # ----------------------
    # PorterStemmer: better
    # SnowballStemmer: better
    # WordNetLemmatizer: good
    
    test_stemmer('meeting', pos='n')
    # Origin: meeting
    # ----------------------
    # PorterStemmer: meet
    # SnowballStemmer: meet
    # WordNetLemmatizer: meeting
    
    test_stemmer('meeting', pos='v')
    # Origin: meeting
    # ----------------------
    # PorterStemmer: meet
    # SnowballStemmer: meet
    # WordNetLemmatizer: meet

### Reference ###

*  [python - What is the difference between lemmatization vs stemming? - Stack Overflow][python - What is the difference between lemmatization vs stemming_ - Stack Overflow]
 *  [nlp - Stemmers vs Lemmatizers - Stack Overflow][]

## END ##

[nltk.stem.wordnet _ NLTK 3.5 documentation]: https://www.nltk.org/_modules/nltk/stem/wordnet.html
[python - What is the difference between lemmatization vs stemming_ - Stack Overflow]: https://stackoverflow.com/questions/1787110/what-is-the-difference-between-lemmatization-vs-stemming?noredirect=1&lq=1
[nlp - Stemmers vs Lemmatizers - Stack Overflow]: https://stackoverflow.com/questions/17317418/stemmers-vs-lemmatizers