自然语言处理（中文分句）——————中文逆向最大匹配，文章中含有验证源码

逃离我推掉我的手 2023-10-02 17:48 0阅读 0赞

**首先准备一个txt文件，这是一个库。  
按行循环读取txt(库)中的字符串存入数组  
输入一句话，逆向进行数据字典比对，从后往前数n个字，n为数组中单个最大字符串  
一样则保留，在比较其他的**

class IMM(object):
        def __init__(self,dic_path):
            #给个这样子的集合
            self.dictionary=set()
            #字典里面最大常数    for example :m=5
            self.maximum=0
            #读取字典
            with open(dic_path,"r",encoding="utf8") as f:
                for line in f:
                    #去除空格
                    line=line.strip()
                    if not line:
                        continue
                    self.dictionary.add(line)
                    if len(line)>self.maximum:
                        self.maximum=len(line)
        def cut(self,text):
            result=[]
            index=len(text)
            while index>0:
                word=None
                for size in range(self.maximum,0,-1):
                    if index-size<0:
                        continue
                    piece=text[(index-size):index]
                    if piece in self.dictionary:
                        word=piece
                        result.append(word)
                        index-=size
                        break
                if word is None:
                    index-=1
            return  result[::-1]
    
    
    
    if __name__=="__main__":
        text="南京市长江大桥"
        tokenizer=IMM("data/imm_dic.txt")
        print(tokenizer.cut(text))

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16]  
**imm\_dic.txt**

南京市
    南京市长
    长江大桥
    人民解放军
    大桥

**代码来源于B站，侵权请联系删除**

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/78836b1ee18a4c539765a0b3b7bf8081.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN6Imv5L2_,size_20,color_FFFFFF,t_70,g_se,x_16