Coreseek中文检索引擎

快来打我* 2022-06-17 13:08 244阅读 0赞

前面几篇文章介绍了Sphinx检索引擎，但是Sphinx只支持英文。

Coreseek 是一款中文全文检索/搜索软件，以GPLv2许可协议开源发布，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景

既然coreseek这么强大，而且支持中文，为什么前面还要介绍sphinx？因为：

> 由于Coreseek是基于Sphinx开发，Coreseek的使用方法和配置方法和Sphinx基本一致，只是安装过程略有些差别而已。

## Coreseek安装 ##

先下载源码

wget http://219.232.239.243/uploads/csft/3.2/coreseek-3.2.14.tar.gz

wget如果下载不了，可以使用迅雷等其他方式尝试，再上传到服务器

tar -zxvf coreseek-3.2.14.tar.gz
    cd coreseek-3.2.14

coreseek中有`csft-3.2.14` `mmseg-3.2.14` `README.txt` `testpack`四个文件或目录

***先安装mmseg***

mmseg是中文分词组件，有了它才能实现中文检索

cd mmseg-3.2.14/
    ./bootstrap   #此处如果报错，可能是缺少autoconf等，请自行解决
    ./configure --prefix=/usr/local/mmseg3
    make && make install
    cd ..

安装coreseek

cd csft-3.2.14/
    sh buildconf.sh
    ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
    make && make install

## 配置 ##

coreseek的配置和sphinx一样，只是略有差别。coreseek默认配置文件名为csft.conf

cd /usr/local/coreseek/etc
    cp sphinx-min.conf.dist csft.conf

配置文件如下：

#
    # Minimal Sphinx configuration sample (clean, simple, functional)
    #
    
    source article_src 
    {
        type                    = mysql
    
        sql_host                = localhost
        sql_user                = root 
        sql_pass                = zhoujun0330
        sql_db                  = sphinx 
        sql_port                = 3306  # optional, default is 3306
        sql_query_pre           = SET NAMES utf8
        sql_query               =SELECT id, content FROM article 
    }
    
    
    index article_index 
    {
        source                  = article_src 
        path                    = /usr/local/coreseek/var/data/article
        docinfo                 = extern
        #配置中文分词库
        charset_dictpath        = /usr/local/mmseg3/etc/
        #编码
        charset_type            = zh_cn.utf-8  
        min_word_len            = 1 
    }
    
    
    indexer
    {
        mem_limit               = 32M
    }
    
    
    searchd
    {
        port                    = 9312
        log                     = /usr/local/coreseek/var/log/searchd.log
        query_log               = /usr/local/coreseek/var/log/query.log
        read_timeout            = 5
        max_children            = 30
        pid_file                = /usr/local/coreseek/var/log/searchd.pid
        max_matches             = 1000
        seamless_rotate         = 1
        preopen_indexes         = 0
        unlink_old              = 1
    }

配置中最重要是两处：

1.  charset\_dictpath ：中文分词库路径
2.  charset\_type ：编码

## 测试中文检索 ##

先在数据库中插入几条测试数据：

<table> 
 <thead> 
  <tr> 
   <th>id</th> 
   <th>content</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>你好php</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>大家好，这里是周君个人博客</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>本博客专注php，跨平台app领路</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>楼主你好</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>hello php</td> 
  </tr> 
 </tbody> 
</table>

像sphinx一样启动searchd，然后使用search命令搜索

/usr/local/coreseek/bin/search 博客

结果如下：

displaying matches:
    1. document=2, weight=2
    2. document=3, weight=2
    
    words:
    1. '博': 2 documents, 2 hits
    2. '客': 2 documents, 2 hits

搜索是搜索到了，但是让人郁闷的是它将博客这个词分成了两个字来搜索，这显然不是我们想要的。后来经过一番测试，发现搜索“你好”等其他中文词是没问题的，搜索“你好php”

displaying matches:
    1. document=1, weight=2
    
    words:
    1. '你好': 2 documents, 2 hits
    2. 'php': 3 documents, 3 hits

经过一番研究，原来是mmseg中文词库中没有“博客”这个词，因此被当成了两个字来搜索。

那怎么办？修改mmseg中文词库，请参考[Coreseek自定义中文词库][Coreseek]

## 依赖环境 ##

上述安装过程中如果报错，可能是缺少依赖，coreseek依赖如下：

1.  m4
2.  autoconf
3.  automake
4.  libtool

[Coreseek]: http://115.28.70.19/?p=147