“智能问诊”项目——数据处理（1）

柔光的暖阳◎ 2022-06-12 14:58 156阅读 0赞

经过之前一周的工作，我已经成功的把网站上的数据爬取下来并保存到了数据库中，接下来就要对爬取到的数据进行处理了。

首先，由于我们爬取到的数据都是自然语言，比如适应症的描述都是类似于“用于冠动脉粥样硬化心脏病的治疗”这样的，给我们进行搜索和查询带来了不少的困难，所以我们最先要做的就是分词，即将自然语言分解为一个个的词组，然后再经过筛选去除没用的词语，留下有用的作为关键词。

分词通常有三种方法，一是手动分词，优点是准确度高，缺点是效率低、时间成本高，二是手写字符串处理，根据自定义字典进行匹配，去除无用信息，缺点也是效率太低、时间成本高，第三种方法就是调用第三方的分词工具，虽然开源的分词工具准确率差强人意，对于一些专业词汇不能解决歧义，但这是最为简便的一种方法了。

第三方的分词工具有很多，这里我选用的是“jieba”，这是一款基于Python的中文分词工具

*  支持三种分词模式：
    
     *  精确模式，试图将句子最精确地切开，适合文本分析；
     *  全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
     *  搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
 *  支持繁体分词
 *  支持自定义词典

具体功能介绍以及环境配置方法见 [http://www.oschina.net/p/jieba/][http_www.oschina.net_p_jieba]

测试代码如下

#encoding=utf-8
    import jieba
    
    seg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=True)
    print ("Full Mode:", "/ ".join(seg_list)) #全模式
    
    seg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=False)
    print ("Default Mode:", "/ ".join(seg_list)) #精确模式
    
    seg_list = jieba.cut("用于冠动脉粥样硬化心脏病的治疗。") #默认是精确模式
    print (", ".join(seg_list))
    
    seg_list = jieba.cut_for_search("广谱抗真菌药，用于手癣、足癣、体癣、股癣等真菌感染引起的各种皮肤癣症的治疗。") #搜索引擎模式
    print (", ".join(seg_list))

使用效果如图

![Image 1][]

完成分词工具的配置后，接下来我们要做的就是将数据库中自然语言的描述转化为关键词，这就涉及到对数据库的操作了。

Python对数据库操作需要用到import pymssql，要提前进行配置，具体方法见[http://www.cnblogs.com/lrzy/p/4346781.html][http_www.cnblogs.com_lrzy_p_4346781.html]

需要注意的是，由于Mac默认预装了Python 2.7，而我又自己装了3.6.2，导致用pip install pymssql安装pymssql模块时会默认安装到Python 2.7的目录下，导致我用3.6.2运行时还是会找不到pymssql的包，这时就需要指定安装目标，即pip3 install pymssql

配置完成后正确设置数据库信息就可以对数据库进行操作了。

通过navicat for sql server的Queries可以用SQL语句对数据库进行修改，这种方法与命令行相似，但是想要一次性处理大量数据时就要结合Python了，方法是将SQL语句以字符串形式传入navicat for sql server，例如

InsertSQL="INSERT INTO keyword (name) VALUES ('%s')"%u'test'

需要注意的是，由于传入的是字符串，所以变量不能直接写在引号中传，例如

INSERT INTO keyword (name,num) VALUES ('n,number')

就应该写成

InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")"

这样差不多就没问题了， 但是实际运行中却出现了一些问题，就是程序会莫名其妙的崩溃，而且每次运行出错的位置都不一样，无法复现，我怀疑是网络不稳定所导致的，于是就强行阻止抛出异常，像这样

![Image 1][]

这样虽然解决了程序异常停止的问题，但是导致出现异常的词丢失，还可以进一步优化。

附源码

# -*- coding:utf-8 -*-
    
    import jieba
    import pymssql
    
    class MSSQL:
        def __init__(self,host,user,pwd,db):
            self.host = IP
            self.user = USER
            self.pwd = PASSWORD
            self.db = "Database"
    
        def __GetConnect(self):
            if not self.db:
                raise(NameError,"没有设置数据库信息")
            self.conn = pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8")
            cur = self.conn.cursor()
            if not cur:
                raise(NameError,"连接数据库失败")
            else:
                return cur
    
        def ExecQuery(self,sql):
            cur = self.__GetConnect()
            cur.execute(sql)
            resList = cur.fetchall()
    
            #查询完毕后必须关闭连接
            self.conn.close()
            return resList
    
        def ExecNonQuery(self,sql):
            cur = self.__GetConnect()
            cur.execute(sql)
            self.conn.commit()
            self.conn.close()
    
    ms = MSSQL(host=IP,user=USER,pwd=PASSWORD,db="Database")
    reslist = ms.ExecQuery("select 适应症 from data")
    number = 1
    for i in reslist:
        word = list(jieba.cut(str(i),cut_all=False))#精确模式
        for n in word:
            if n != '\'':
                InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")"
                print (InsertSQL)
                try:
                    ms.ExecNonQuery(InsertSQL.encode('utf-8'))
                except  Exception:
                    print('error')
                    continue
        number += 1

[http_www.oschina.net_p_jieba]: http://www.oschina.net/p/jieba/
[Image 1]: 
[http_www.cnblogs.com_lrzy_p_4346781.html]: http://www.cnblogs.com/lrzy/p/4346781.html