搜索引擎--范例：中英文混杂分词算法的实现--正向最大匹配算法的原理和实现...

末蓝、 2023-06-04 05:56 10阅读 0赞

纯中文和中英文混杂的唯一区别是，分词的时候你如何辨别一个字符是英文字符还是孩子字符，

人眼很容易区分，但是对于计算机来说就没那么容易了，只要能辨别出中文字符和英文的字符，分词本身就不是一个难题

1：文本的编码问题：

utf8：windows下，以utf8格式保存的文本是一个3个字节（以16进制）的BOM的，并且你不知道一个汉字是否是用3位表示，但是英文适合ascii编码一样的

ascii：英文一位，中文两位，并且中文的第一个字节的值是大于128和，不会和英文混淆，推荐

unicode：中文基本是两个字节，适合网页纯中文分词

2：分析选择文本编码

线下的分词我选用的是ascii编码的文本，因为英文和中文的编码容易区分，所以最容易实现

线上的分词，由于传入的参数是unicode的，纯中文分词更加简单

3：中文分词原理（词库或者语义分词，后者需要大量的数据），这里采用的是词库分词

我用的中文词库：[点此下载][Link 1]本来30万的词库，去掉大于5个字词语后，只剩下25万多，基本够用，ps,我是用结巴分词词库自己提取出来的，可以自己去提取30万的词库^\_^

中文停用词库：[点此下载][Link 2]

分词素材，[点词下载][Link 3]10000条新浪微博的数据

如果点开下载不了，把链接拷贝到迅雷，旋风等下载软件上面下载即可

4：**正向最大匹配算法分词的原理**

定义一个匹配的最大长度max\_length

从左往右，依次遍历文档，

如果是汉字字符的话，ord>128

如果长度不足max\_length，继续，

如果长度==max\_length，

依次匹配max\_length到1长度的单词

若匹配到

判断是否为停用词，

若果不是

**记录**

如果是停用词

重新切词

若为非汉字字符，对当前遍历得到的中文词组进行处理

如果为空，继续

如果不为空，进行分词处理

5：python代码实现正向最大匹配中英文分词如下：weibo是分词的对象，result是分词后结果，可以print出来看看对不对

# -*- coding: cp936 -*-
    import string
    
    dist = {}
    df = file("bdist.txt","r")
    while True:
        line = df.readline()
        if len(line)==0:
            break
        term = line.strip()
        dist[term]=1
    
    stop = {}
    sf = file("stopword.txt","r")
    while True:
        line = sf.readline()
        if len(line)==0:
            break
        stopping = line.strip()
        stop[stopping]=1
    
    re = {}
    def record(t,i,w_id):
        #print(t)
        if re.get(t)==None:
            re[t]=str(w_id)+'['+str(i)+'.'
        else:
            re[t]=re[t]+str(i)+'.'
    
    wf = file("weibo.txt","r")
    while True:
        re = {}
        line = wf.readline()
        if len(line) ==0:
            break
        b = 0;
        #print(line[len(line)-2:len(line)-1])
        if line[len(line)-2:len(line)-1]!='1':
            continue
        w_id_end = line.find(r',',0)
        w_id = line[0:w_id_end]
        if not w_id.isdigit():
            continue
        w_id = string.atoi(line[0:w_id_end])
        #print(w_id)
        w_userid_end = line.find(r',',w_id_end+1)
        w_userid = line[w_id_end+1:w_userid_end]
        #print(w_userid)
        w_username_end = line.find(r',',w_userid_end+1)
        w_username = line[w_userid_end+1:w_username_end]
        #print(w_username)
        w_content_end = line.find(r',',w_username_end+1)
        w_content = line[w_username_end+1:w_content_end]
        #print(w_content)
    
        w_pt_end = line.find(r',',w_content_end+1)
        w_pt = line[w_content_end+1:w_pt_end]
        #print(line[w_pt_end+1:])
        w_count = string.atoi(line[w_pt_end+1:] )
        #print(w_count)
        
        weibo = w_content
        #s= type(weibo)
        #print(s)
        #print(weibo)
    
        #begin particle
        max_length = 10
        weibo_length = len(weibo)
        #print(weibo_length)
        t = 2
        index = 0
        temp = ''
        result = ''
        #print(weibo_length)
        while index<weibo_length:
            #print(index)
            #print(temp)
            s=weibo[index:index+1]
            if ord(s[0])>128:
                #print("ord")
                s = weibo[index:index+2]
                temp = temp+s
                index = index+2
                if len(temp)<max_length and index+1<weibo_length:
                    #print("@")
                    continue
                else:
                    t =temp
                    while True:
                        #print(temp)
                        if temp=='':
                            break
                        if dist.get(temp)==1:
                            result = result+temp+'/'
                            if stop.get(temp)==None:
                                record(temp,index-2,w_id)
                            temp = t[len(temp):len(t)]
                            #print(temp)
                            if temp!='' and index+1>weibo_length:
                                t =temp
                                while True:
                                    #print(temp)
                                    if temp=='':
                                        break
                                    if dist.get(temp)==1:
                                        result = result+temp+'/'
                                        if stop.get(temp)==None:
                                            record(temp,index-2,w_id)
                                        #print(result)
                                        temp = t[len(temp):len(t)]
                                        t = temp
                                        #print(temp)
                                    else:
                                        if len(temp)>0:
                                            temp=temp[0:len(temp)-2]
                            else:
                                break
                        else:
                            if len(temp)>0:
                                temp=temp[0:len(temp)-2]
            else:
                #print("ooo")
                index=index+1
                if temp=='':
                    #print("$")
                    result =result+s
                    continue
                else:
                    #print("&")
                    t =temp
                    while True:
                        #print(temp)
                        if temp=='':
                            break
                        if dist.get(temp)==1:
                            result = result+temp+'/'
                            if stop.get(temp)==None:
                                record(temp,index-2,w_id)
                            #print(result)
                            temp = t[len(temp):len(t)]
                            t = temp
                            #print(temp)
                        else:
                            if len(temp)>0:
                                temp=temp[0:len(temp)-2]
                    result =result+s
        print(result)
    sf.close()
    df.close()
    wf.close()

6：分词完成后，可以处理得到倒排索引，可以算TF-IDF，可以用向量模型等一系列的知识来做搜索引擎了

转载于:https://www.cnblogs.com/qwj-sysu/p/3821404.html

[Link 1]: http://irsearch-irsearch.stor.sinaapp.com/bdist.txt
[Link 2]: http://irsearch-irsearch.stor.sinaapp.com/stopword.txt
[Link 3]: http://irsearch-irsearch.stor.sinaapp.com/weibo.txt