Coreseek：中英文混合分词

秒速五厘米 2022-09-22 01:19 172阅读 0赞

1.  coreseek是针对中文搜索引擎在sphinx搜索引擎上添加了中文分词功能
2.  中文分词使用的是[Chih-Hao Tsai][]的MMSEG算法
3.  提供了分词字典，同义词及特殊词的扩展

该文主要针对分词字典的扩展，默认数据中只针对中文词语进行分词，但一些行业用词需要涉及到中英混词的分词效果，针对该特性则需要修改源码来实现

### 开启英文字符查找 ###

源码修改：针对mmseg-3.2.14版本

*Src/css/segmenter.cpp*，该为中文分词的核心文件  
查找`const u1* Segmenter::peekToken(u2& aLen, u2& aSymLen, u2 n)`

<table> 
 <tbody> 
  <tr> 
   <td><code>break</code><code>;</code></td> 
  </tr> 
 </tbody> 
</table>

针对断字符(w)、数字(m)、英文字母(e)不进行字典查询  
修改为：

<table> 
 <tbody> 
  <tr> 
   <td><code>break</code><code>;</code></td> 
  </tr> 
 </tbody> 
</table>

将英文字母移除判断即可

### 进行大小写转换 ###

在实际查询过程中，英文是会出现大小写，但大小写通常是无区别的，所以还需要将中文分词进行内部的大小写转换，保证字典的匹对

1.  生成的字典内部统一为小写字母，这点需要在外部实现，没有做内部处理
2.  将需要分词的内容进行小写转换

*Src/css/segmenter.cpp*  
查找`void Segmenter::setBuffer(u1* buf, u4 length)`  
头部添加：

<table> 
 <tbody> 
  <tr> 
   <td><code>int</code> <code> iCode = 0;</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>for</code> <code> ( </code><code>int</code> <code>i=0; i&lt;length; i+=len ){ </code><code>//to lower query</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>iCode = csrUTF8Decode(ptr,len);</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(iCode == 0) </code><code>break</code><code>;</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(iCode &gt;= </code><code>'A'</code> <code>&amp;&amp; iCode &lt;= </code><code>'Z'</code><code>){ </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>*ptr = m_lower-&gt;toLower(*ptr);</code></td> 
  </tr> 
 </tbody> 
</table>

取消以下语句的注释：

<table> 
 <tbody> 
  <tr> 
   <td><code>if</code><code>(!m_lower)</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>m_lower = ToLower::Get();</code></td> 
  </tr> 
 </tbody> 
</table>

*src/css/Segmenter.h*  
查找：`static ToLowerImpl* m_lower;`  
修改为：`ToLowerImpl* m_lower;`并取消注释  
以上语句完成英文字符的大小写转换，用的是分词内部的功能

### 处理可能产生的内存错误 ###

运行会产生分词的内存错误，估计是因为分词算法针对的是中文字符，而一个英文字符或者其他多余字符占用的字节长度与中文字符不一致而导致  
*Src/css/mmthunk.cpp*  
查找`int MMThunk::Tokenize()`

<table> 
 <tbody> 
  <tr> 
   <td><code>while</code><code>(base&lt;=m_max_length){ </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Chunk chunk;</code></td> 
  </tr> 
 </tbody> 
</table>

下面添加

<table> 
 <tbody> 
  <tr> 
   <td><code>if</code><code>(!m_charinfos[base]){ </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>continue</code><code>;</code></td> 
  </tr> 
 </tbody> 
</table>

在计算过程中会指向一个不存在的地址，所以需要判断下