jieba分词学习（一）

ゝ一纸荒年。 2023-07-19 05:52 5阅读 0赞

jieba分词是Python中分分词工具，其github地址为：[https://github.com/fxsjy/jieba][https_github.com_fxsjy_jieba]  
**全自动安装的方式：**  
`pip install jieba (window环境) pip3 install jieba (Linux环境)；`  
**使用的方式：**  
`import jieba`  
**涉及到的算法**

*  基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
 *  采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
 *  对于未登录词，采用了基于汉字成词能力的 HMM (隐马尔科夫)模型，使用了 Viterbi 算法

**主要功能**

*  分词  
    **jieba.cut 方法接受三个输入参数:**  
    需要分词的字符串；  
    `cut_all` 参数用来控制是否采用全模式；  
    HMM 参数用来控制是否使用 HMM 模型  
    **jieba.cut\_for\_search 方法接受两个参数：**  
    需要分词的字符串；  
    是否使用 HMM 模型。  
    该方法适合用于搜索引擎构建倒排索引的分词  
    待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。  
    注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8  
    `jieba.cut` 以及 `jieba.cut_for_search` 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用`jieba.lcut` 以及 `jieba.lcut_for_search` 直接返回 `list`  
    `jieba.Tokenizer(dictionary=DEFAULT_DICT)` 新建自定义分词器，可用于同时使用不同词典。`jieba.dt` 为默认分词器，所有全局分词相关函数都是该分词器的映射。  
    jieba库之所以能分词，是因为它带有一个词库，根据词库来分词  
    在jieba文件夹下的dict词库  
    可以使用`jieba.add_word(文本)`向词库增加词语

[https_github.com_fxsjy_jieba]: https://github.com/fxsjy/jieba