laravel+jieba(结巴)和VicWord中文分词关键字提取

傷城~ 2023-06-19 07:20 32阅读 0赞

### laravel+jieba和VicWord中文分词关键字提取 ###

*  jieba(结巴)中文分词拓展包安装
 *  分词使用
 *  VicWord中文分词拓展包安装
 *  VicWord中文分词拓展包使用

# jieba(结巴)中文分词拓展包安装 #

> composer require fukuball/jieba-php:dev-master

# 分词使用 #

*  应用依赖

use Fukuball\Jieba\Jieba;
    use Fukuball\Jieba\Finalseg;

ini_set('memory_limit', '1024M');
            Jieba::init();
            Finalseg::init();
            $seg_list = Jieba::cut("垃圾袋家用手提式加厚黑色宿舍用学生大号拉圾塑料袋抽绳自动收口");
    
            dd($seg_list);

> 注意：这里要写上`ini_set('memory_limit', '1024M')`内存设置，不设置可能出现内存不够无法运行

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70]

# VicWord中文分词拓展包安装 #

> composer require lizhichao/word

# VicWord中文分词拓展包使用 #

<?php
    
    namespace App\Http\Controllers;
    
    use App\Article;
    use Elasticsearch\Client;
    use Elasticsearch\ClientBuilder;
    use Fukuball\Jieba\Jieba;
    use Fukuball\Jieba\Finalseg;
    use Lizhichao\Word\VicWord;
    
    use Illuminate\Http\Request;
    class IndexController extends Controller
    { 
    
        public function index(){ 
            define('_VIC_WORD_DICT_PATH_',dirname(dirname(dirname(__DIR__))).'/vendor/lizhichao/word/Data/dict.json');
            
    
    
    
    
    //type: 词典格式
            $fc = new VicWord('json');
    
    //长度优先分词
    // $ar = $fc->getWord('垃圾袋家用手提式加厚黑色宿舍用学生大号拉圾塑料袋抽绳自动收口');
    
    
    //细切分
    // $ar = $fc->getShortWord('垃圾袋家用手提式加厚黑色宿舍用学生大号拉圾塑料袋抽绳自动收口');
    
    //自动 这种方法最耗时
            $ar = $fc->getAutoWord('垃圾袋家用手提式加厚黑色宿舍用学生大号拉圾塑料袋抽绳自动收口');
            return $ar;
    
    
    
        }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70 1]

> 注意 这里`_VIC_WORD_DICT_PATH_`要定义，不然找不到词库，没有安装igb格式的php拓展无法使用igb词库，可以指定json词库或text词库

*  词库加词，这里我是用json词库加词

$dic = new VicDict('json');
        $dic->add('宿舍用','n');
        $dic->save();

*  我们再次使用上面的的分词查看结果  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70 2]
 *  这里已经出现我们添加的新词；

对于两种分词的插件的总结吧：

*  结巴分词功能比较齐全，但是分词特别慢，加词感觉比较麻烦，需要自己去文件里面加‘’
 *  VicWord功能较少，分词速度快，支持igb格式，词库加载更快，加词提供接口，可以自己添加

综上VicWord对于分词来说是一个可优的选择

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019120510174618.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191205110429495.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191205111149451.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3NDExMw==,size_16,color_FFFFFF,t_70