Sphinx 安装记录

柔光的暖阳◎ 2022-09-22 03:45 165阅读 0赞

## 前言 ##

如果你想支持中文全文检索的话，请参考 [ coreseek 安装记录][coreseek]。  
如果你已经安装 sphinx 或者 coreseek, 只是想查找怎么配置和使用 sphinx 和 coreseek 的话，请参考 [ coreeek 和 sphinx 的配置与使用][coreeek _ sphinx]

**下面的表纯属文章虚构，由于配置内容较多，部分省略，具体可以参考官方文档。**

想吐槽一句：编译安装真浪费时间， configure && make && make install 一个软件就需要几十分钟。我这安装四五个，几个小时就没了。

## 安装 ##

安装前需要先去官网下载[源码][Link 1].  
目前最新版本是 2.2.5-release, [ 点击下载][Link 2]即可。

当然，如果你想直接在命令行下载，直接下载我这个版本也行，就是不知道会不会版本太久。

tiankonguse:~ $ cd /usr/local/src
        tiankonguse:src $ su root -
        tiankonguse:src # wget http://sphinxsearch.com/files/sphinx-2.2.5-release.tar.gz

然后解压缩，命令就不用说了吧

tiankonguse:src # tar zxvf filename.tar.gz

后来听说 sphinx 有两种安装方式

1.  单独安装，查询时采用API调用。
2.  使用插件方式把sphinx编译成一个mysql插件并使用特定的sql语句进行检索。

这里我选择第一种方式，毕竟把 sphinx 和 mysql 耦合在一起的话， 将来将成为一个很大的坑。

> sphinx 查询出来的是 id, 然后会进行二次查询得到想要的数据。

下面的命令都是在 root 权限下操作的。

tiankonguse:sphinx-2.2.5-release # ./configure –prefix=/usr/local/sphinx
        
        tiankonguse:sphinx-2.2.5-release # make && make install

> –prefix 指向sphinx的安装路径  
> –with-mysql 指向mysql的安装路径  
> 不指定时按默认路径选择

安装完毕后查看一下 `/usr/local/sphinx` 下是否有 三个目录 bin etc var，如有，则安装无误！

tiankonguse:sphinx-2.2.5-release # cd /usr/local/sphinx/
        
        tiankonguse:sphinx # ls
        bin/ etc/ share/ var/

## 配置 ##

### mysql 数据源 ###

由于我使用的是 mysql, 所以需要为 sphinx 创建对应的db。

# server：127.0.0.1
        # database : d_sphinx_testdb
        # table: t_sphinx_article
        
        CREATE SCHEMA IF NOT EXISTS `d_sphinx_testdb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;
        
        USE `d_sphinx_testdb` ;
        
        CREATE TABLE `d_sphinx_testdb`.`t_sphinx_article` (
        `c_id` INT NOT NULL AUTO_INCREMENT,
        `c_title` VARCHAR(45) NOT NULL DEFAULT '',
        `c_content` VARCHAR(45) NOT NULL DEFAULT '',
        `c_comment_num` VARCHAR(45) NOT NULL DEFAULT 0,
        PRIMARY KEY (`c_id`))
        ENGINE = InnoDB
        DEFAULT CHARACTER SET = utf8;

## sphinx 配置文件 ##

首先需要找到需要配置的文件以及需要配置的内容。

我们需要配置的是 /usr/local/sphinx/sphinx.conf 文件里面的数据库的信息。

tiankonguse:sphinx # cd etc
        
        tiankonguse:etc # 
        
        tiankonguse:etc # ls
        example.sql sphinx-min.conf.dist sphinx.conf.dist
        
        tiankonguse:etc # cp sphinx.conf.dist sphinx.conf
        
        tiankonguse:etc # ls
        example.sql sphinx-min.conf.dist sphinx.conf sphinx.conf.dist
        
        tiankonguse:etc $ vi sphinx.conf

可以看到下面的内容设置数据源 source

#############################################################################
        ## data source definition
        #############################################################################
        
        source d_sphinx_testdb 
        { 
        # data source type. mandatory, no default value
        # known types are mysql, pgsql, mssql, xmlpipe, xmlpipe2, odbc
        type = mysql # 数据库类型
        
        # some straightforward parameters for SQL source types
        #数据库主机地址
        sql_host = 127.0.0.1 
        
        #数据库用户名
        sql_user = root 
        
        #数据库密码
        sql_pass = pwd 
        
        #数据库名称
        sql_db = d_sphinx_testdb 
        
        # 数据库采用的端口
        sql_port = 3306 
        
        # pre-query, executed before the main fetch query
        # multi-value, optional, default is empty list of queries
        #执行sql前要设置的字符集 
        sql_query_pre = SET NAMES UTF8 
        
        # main document fetch query mandatory, integer document ID field MUST be the first selected column
        # 全文检索要显示的内容，在这里尽可能不使用where或group by，将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高
        # select 出来的字段必须至少包括一个唯一主键(ARTICLESID)以及要全文检索的字段，你计划原本在where中要用到的字段也要select出来，这里不需要使用orderby
        sql_query = SELECT c_id,c_title,c_content,c_comment_num FROM t_sphinx_article
        
        #####以下是用来过滤或条件查询的属性############
        
        #sql_attr_ 开头的表示一些属性字段，你原计划要用在where,orderby,groupby中的字段要在这里定义
        
        # unsigned integer attribute declaration
        sql_attr_uint = c_comment_num # 无符号整数属性
        sql_attr_uint = c_id # 无符号整数属性
        
        # boolean attribute declaration
        # sql_attr_bool = is_deleted
        
        # bigint attribute declaration
        # sql_attr_bigint = my_bigint_id
        
        # UNIX timestamp attribute declaration
        # sql_attr_timestamp = posted_ts
        
        # floating point attribute declaration
        # sql_attr_float = lat_radians
        
        # string attribute declaration
        sql_field_string = c_title
        sql_field_string = c_content
        
        # JSON attribute declaration
        # sql_attr_json = properties
        
        # combined field plus attribute declaration (from a single column)
        # stores column as an attribute, but also indexes it as a full-text field
        #
        # sql_field_string = author
        
        }

然后设置数据源的索引

index d_sphinx_testdb_index
        { 
        #数据源名
        source = d_sphinx_testdb
        
        # 索引记录存放目录
        path = /usr/local/sphinx/var/data/d_sphinx_testdb_index
        
        # 文档信息存储方式
        docinfo = extern
        
        #缓存数据内存锁定
        mlock = 0
        
        # 形态学
        morphology = none
        
        # 索引的词最小长度
        min_word_len = 1
        
        #数据编码
        charset_type = utf-8
        
        #最小前缀
        min_prefix_len = 0
        
        #最小中缀
        min_infix_len = 1 
        }
        
        indexer 
        { 
        # 内存限制
        mem_limit = 32M 
        }
        
        searchd 
        { 
        # 监听端口
        listen = 9312 
        
        # 服务进程日志
        log = /usr/local/sphinx/log/searchd.log 
        
        # 客户端查询日志
        query_log = /usr/local/sphinx/log/query.log 
        
        # 请求超时
        read_timeout = 5 
        
        # 同时可执行的最大searchd 进程数
        max_children = 30 
        
        #进程ID文件
        pid_file = /usr/local/sphinx/log/searchd.pid 
        
        # 查询结果的最大返回数 
        max_matches = 1000 
        
        # 是否支持无缝切换，做增量索引时通常需要
        seamless_rotate = 1 
        }

## 创建索引 ##

进入 bin 目录，执行

./indexer 索引名
        
        Sphinx 2.2.5-id64-release (r4825)
        Copyright (c) 2001-2014, Andrew Aksyonoff
        Copyright (c) 2008-2014, Sphinx Technologies Inc (http://sphinxsearch.com)
        
        using config file '/usr/local/sphinx/etc/sphinx.conf'...
        indexing index 'd_sphinx_testdb_index'...
        collected 1000 docs, 0.4 MB
        sorted 0.0 Mhits, 100.0% done
        total 1000 docs, 408329 bytes
        total 0.041 sec, 9739278 bytes/sec, 23851.54 docs/sec
        total 1006 reads, 0.002 sec, 1.0 kb/call avg, 0.0 msec/call avg
        total 14 writes, 0.001 sec, 106.9 kb/call avg, 0.1 msec/call avg

## 启动停止 sphinx ##

# 启动
        /usr/local/sphinx/bin/searchd
        
        #停止
        /usr/local/sphinx/bin/searchd --stop

## 测试 ##

测试前需要安装测试环境，以前 sphinx 的 bin 目录里面有个自带 search 程序，新版本没有了，所以只好使用api方式调用了。

这里我采用 linux + apache + php + sphinx 的方式来完整测试吧。

### apache 源码安装 ###

Apache 的最新版本请参考 [ 官网下载页面][Link 3].  
我这里下载的是 [ httpd-2.4.10][httpd-2.4.10] 最新的 apache 源码版本。

wget http://apache.dataguru.cn//httpd/httpd-2.4.10.tar.gz
        tar zxvf httpd-2.4.10.tar.gz
        cd httpd-2.4.10/
        ./configure --prefix=/usr/local/apache --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-so
        make && make install
        lsof -i # 查看端口占用情况
        
        /usr/local/apache/bin/apachectl -k start

然后访问 127.0.0.1:8080 就可以看到 It works! 了。

### php 源码安装 ###

php 目前的最新版本 [ 5.6.2][5.6.2], 建议去[官网下载页][Link 4]下载最新版本

wget http://cn2.php.net/distributions/php-5.6.2.tar.gz
        tar zxvf php-5.6.2.tar.gz
        cd php-5.6.2
        ./configure --prefix=/usr/local/php --with-apxs2=/usr/local/apache/bin/apxs --with-mysql --enable-sockets --enable-shmop
        make && make install

### 配置 apache 支持 php ###

DirectoryIndex index.php index.html
        AddType application/x-httpd-php .php
        
        #调用 PHP 模块
        LoadModule php5_module modules/libphp5.so
        
        #特定的扩展名解析成 PHP
        <FilesMatch \.php$>
        SetHandler application/x-httpd-php
        </FilesMatch>

### php 测试 ###

<?php 
        include('api/sphinxapi.php'); 
        $sphinx = new SphinxClient(); 
        $sphinx->setServer('127.0.0.1', 9312); 
        $query =$_GET['query'];
        $res = $sphinx->query($query, 'd_sphinx_testdb_index');
        echo "<p> 
        query = $query
        </p>";
        echo "<PRE>"; 
        print_r($res); 
        echo "</pre> ";
        ?>

## 错误集 ##

### libmysqlclient.so.18 ###

但是我报下面的错误

./indexer: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

原因：这主要是因为你安装库后,没有配置相应的环境变量.可以通过连接修正这个问题

sudo ln /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

但是还是报错，原来添加一个动态库后需要重新加载动态库。

tiankonguse:bin # ldconfig

### Invalid cross-device link ###

但是我又报错了

ln: creating hard link `/usr/lib/libmysqlclient.so.18 ' => `/usr/local/mysql/lib/libmysqlclient.so.18': Invalid cross-device link

于是我只好创建软连接了。

sudo ln -s /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

### 查看检索是否启动 ###

tiankonguse:bin # ps -ef | grep search
        tiankonguse 9601 1 0 Oct28 ? 00:00:00 xs-searchd: master 
        tiankonguse 9602 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[1] 
        tiankonguse 9603 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[2] 
        tiankonguse 9604 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[3] 
        root 32637 18048 0 21:12 pts/0 00:00:00 grep search

### WARNING attribute not found ###

执行索引的时候，看到这个错误，搜索了一下，原来主键不能加入到属性中去。

WARNING: attribute 'c_id' not found - IGNORING

参考文档 [ 数据源配置：mysql数据源][_mysql] 和 [ WARNING: zero/NULL document\_id, skipping][WARNING_ zero_NULL document_id_ skipping] .

### ERROR index No fields in schema ###

ERROR: index 'd_sphinx_testdb_index': No fields in schema - will not index

还是在[这里][_mysql]找到了原因。

> 使用sql\_attr设置的字段，只能作为属性，使用SphinxClient::SetFilter()进行过滤；  
> 未被设置的字段，自动作为全文检索的字段，使用SphinxClient::Query(“搜索字符串”)进行全文搜索

而我把所有字段都设置为 sql\_attr 了，于是把需要全文索引的字段去掉。终于跑出一些接过来。

但是还有一些问题。

### WARNING sql\_query\_info removed from Sphinx ###

WARNING: key 'sql_query_info' was permanently removed from Sphinx configuration. Refer to documentation for details.
        WARNING: key 'charset_type' was permanently removed from Sphinx configuration. Refer to documentation for details.

好吧，我说怎么没有在配置文件中看到 sql\_query\_info 的说明呢，原来已经删除了，那就注释掉吧。

### word overrun buffer ###

还是搜[主键][Link 5]搜到的原因是我的主键不是一个整数，而 sphinx 要求必须是一个整数。  
但是添加整数主键后还是出现这个问题，于是继续查找，最后找到是 sphinx 的一个 bug.但是 google 搜索，又没有搜索出来，于是猜想可能哪里配置不对。

后来启动 ngram， 设置ngram\_chars后，这个警告就没有了。

WARNING: source : skipped 300 document(s) with zero/NULL ids
        WARNING: word overrun buffer, clipped!!!
        WARNING: 601 duplicate document id pairs found

### APR not found ###

在 config apache 的时候，提示下面的错误。

configure: error: APR not found. Please read the documentation.

在[官网的安装页面][Link 6] 可以看到有个 Requirements 类表。

apache 需要依赖于下面的一些东西。

*  APR and APR-Util
 *  Perl-Compatible Regular Expressions Library (PCRE)
 *  Disk Space
 *  ANSI-C Compiler and Build System
 *  Accurate time keeping
 *  Perl 5 \[OPTIONAL\]

然后我们可以 [ apr][apr] 的官网下载对应的东西即可。

其实就是在 [ apr下载页面][apr 1] 找到[下载链接][Link 7] .

当然我们还要下载 [ apr-util][apr-util] .

#### 安装apr ####

wget http://apache.fayea.com/apache-mirror//apr/apr-1.5.1.tar.gz
        tar zxvf apr-1.5.1.tar.gz
        cd apr-1.5.1
        ./configure --prefix=/usr/local/apr
        make && make install
        
        #提示
        Libraries have been installed in:
        /usr/local/apr/lib
        
        If you ever happen to want to link against installed libraries
        in a given directory, LIBDIR, you must either use libtool, and
        specify the full pathname of the library, or use the `-LLIBDIR'
        flag during linking and do at least one of the following:
        - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
        during execution
        - add LIBDIR to the `LD_RUN_PATH' environment variable
        during linking
        - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
        - have your system administrator add LIBDIR to `/etc/ld.so.conf'

\#\#\#\# 安装 apr-util

wget http://mirrors.cnnic.cn/apache//apr/apr-util-1.5.4.tar.gz
        tar zxvf apr-util-1.5.4.tar.gz
        cd apr-util-1.5.4
        ./configure --prefix=/usr/local/apr-util
        
        #提示不能找到 APR， 于是指定 APR 的位置
        configure: error: APR could not be located. Please use the --with-apr option.
        
        
        ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/
        make && make install
        
        # 运行完后得到下面的提示
        Libraries have been installed in:
        /usr/local/apr-util/lib
        
        If you ever happen to want to link against installed libraries
        in a given directory, LIBDIR, you must either use libtool, and
        specify the full pathname of the library, or use the `-LLIBDIR'
        flag during linking and do at least one of the following:
        - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
        during execution
        - add LIBDIR to the `LD_RUN_PATH' environment variable
        during linking
        - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
        - have your system administrator add LIBDIR to `/etc/ld.so.conf'
        
        See any operating system documentation about shared libraries for
        more information, such as the ld(1) and ld.so(8) manual pages.

### Address already in use ###

/usr/local/apache/bin/apachectl -k start
        
        AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1. Set the 'ServerName' directive globally to suppress this message
        (98)Address already in use: AH00072: make_sock: could not bind to address 0.0.0.0:80
        no listening sockets available, shutting down
        AH00015: Unable to open logs

不管那么多，直接修改 ServerName 和监听端口。

Listen 8080
        ServerName 127.0.0.1:8080

然后再启动就成功了。

### php页面自动下载 ###

php和 apache 都安装完之后，访问写的一个php页面，浏览器却要下载页面。

于是查看 php 的[官方文档][Link 8]，还真找到了。

简单的说就是编译 apache 的时候，需要添加启动so选项

./configure --enable-so

编译php的时候，指定加载为 apache 模块，并使用 mysql.

./configure --with-apxs2=/usr/local/apache2/bin/apxs --with-mysql

### sphinxclient No such file ###

编写了一个php测试 sphinx ,但是提示没有这个文件，那就需要去[网上][Link 9]找一个。

PHP Warning: include(sphinxclient.php): failed to open stream: No such file or directory in /usr/local/apache/htdocs/index.php on line 2

### unexpected T\_STRING ###

下载 sphinx api 文件后，提示下面的错误

PHP Parse error: syntax error, unexpected T_STRING in /usr/local/apache/htdocs/api/sphinxapi.php on line 28

在[这里][Link 10]找到解决方案的,原来下载的文件中由特殊字符，与我处理了一下特殊字符就ok了。

### unknown key name ‘U’ ###

在配置中文的时候，提示下面的错误，后来发现是由于粘贴的字符串中反斜杠有问题，反斜杠后面不能有空白。

ERROR: unknown key name 'U' in /usr/local/sphinx/etc/sphinx.conf line 515 col 6.
        FATAL: failed to parse config file '/usr/local/sphinx/etc/sphinx.conf'

## 参考资料 ##

*  [Sphinx 2.2.5-release reference manual][] 推荐
 *  [Sphinx中文入门指南][Sphinx] 最后修改：2010年1月23日
 *  [数据源配置：mysql数据源][_mysql]
 *  [sphinx系列之sphinx安装和运行测试(二)][sphinx_sphinx]
 *  [PHP+MySQL+SPHINX安装配置与测试][PHP_MySQL_SPHINX]
 *  [sphinx检索语法与匹配模式备忘][sphinx]
 *  [Linux下MySQL、Apache、PHP源码安装全程实录（CentOS 6.4）][Linux_MySQL_Apache_PHP_CentOS 6.4]
 *  [基于apache + mysql + php编译安装过程详解][apache _ mysql _ php]

### undefined function socket\_create ###

在[这里][Link 11]找到了答案，原来默认编译安装的 php不支持 socket,需要加上支持socket的参数 `--enable-sockets`。

Fatal error: Call to undefined function socket_create()

### undefined function shmop\_open ###

和上面的问题一样，编译php时没有开启shmop\_open，加上 \` –enable-shmop\`参数即可。参考[这里][Link 12]

Fatal error: Call to undefined function shmop_open() in

### expected searchd protocol version ###

得到下面的错误的原因是配错ip和host了。默认 sphinx的 post是9312，而我配成8080了.

expected searchd protocol version 1+, got version '0'

[coreseek]: http://github.tiankonguse.com/blog/2014/11/03/coreseek-install-log/
[coreeek _ sphinx]: http://github.tiankonguse.com/blog/2014/11/06/sphinx-config-and-use/
[Link 1]: http://sphinxsearch.com/downloads/release/
[Link 2]: http://sphinxsearch.com/files/sphinx-2.2.5-release.tar.gz
[Link 3]: http://httpd.apache.org/download.cgi#apache24
[httpd-2.4.10]: http://apache.dataguru.cn//httpd/httpd-2.4.10.tar.gz
[5.6.2]: http://cn2.php.net/distributions/php-5.6.2.tar.gz
[Link 4]: http://cn2.php.net/downloads.php
[_mysql]: http://www.coreseek.cn/products-install/mysql/
[WARNING_ zero_NULL document_id_ skipping]: http://www.coreseek.cn/forum/2_948_0.html
[Link 5]: http://www.coreseek.cn/forum/2_1016_0.html
[Link 6]: http://httpd.apache.org/docs/2.4/en/install.html
[apr]: http://apr.apache.org/
[apr 1]: http://apr.apache.org/download.cgi
[Link 7]: http://apache.fayea.com/apache-mirror//apr/apr-1.5.1.tar.gz
[apr-util]: http://mirrors.cnnic.cn/apache//apr/apr-util-1.5.4.tar.gz
[Link 8]: http://php.net/manual/zh/install.unix.apache2.php
[Link 9]: https://code.google.com/p/sphinxsearch/source/browse/trunk/api/sphinxapi.php
[Link 10]: http://bbs.phpcms.cn/thread-273392-1-1.html
[Sphinx 2.2.5-release reference manual]: http://sphinxsearch.com/docs/current.html
[Sphinx]: http://www.sphinxsearch.org/sphinx-tutorial
[sphinx_sphinx]: http://www.cnblogs.com/chenzehe/archive/2010/11/04/1869388.html
[PHP_MySQL_SPHINX]: http://blog.csdn.net/luochuan/article/details/7303829
[sphinx]: http://blog.csdn.net/luochuan/article/details/7313052
[Linux_MySQL_Apache_PHP_CentOS 6.4]: http://www.zjmainstay.cn/lamp-config
[apache _ mysql _ php]: http://luowenjing.blog.51cto.com/6627118/1178205
[Link 11]: http://board.phpbuilder.com/showthread.php?10274229-Fatal-error-Call-to-undefined-function-socket_create%28%29
[Link 12]: http://www.yebihai.com/php/562.html