“智能问诊”项目——数据获取（1）

- 日理万妓 2022-06-12 08:26 144阅读 0赞

首先确定需求：从“用药参考”上获取药品的名称、适应症等信息保存到本地，为数据处理做准备

通过观察可以发现，不同药品的网址存在一定规律，即[http://drugs.medlive.cn/drugref/html/2.shtml][http_drugs.medlive.cn_drugref_html_2.shtml]，“.shtml”前面的数字代表不同药品（按拼音顺序排列？）

这里我们把药品的范围限定在西药，经过多次试验可以发现其范围区间为2到14578，也就是说这一万四千多种药即是我们要爬取的目标

如果之前没有用python写过爬虫的话，在正式开始写之前还需要做一些准备工作，也就是安装Scrapy

http://www.jianshu.com/p/a03aab073a35这里有详细的教程

但是我在用这个教程的过程中安装Command Line Tools时出了点小问题，于是就直接按照http://railsapps.github.io/xcode-command-line-tools.html的方法装的Command Line Tools

除此之外如果按照默认路径安装Scrapy会出现安装失败的情况。参照http://blog.csdn.net/tangch0516/article/details/51378664即可解决

接下来就可以着手写爬虫了

首先在chrome浏览器中打开开发者界面，先看一下内页的结构，然后使用左上角的页面元素选择器找到所需元素所在标签。

![Image 1][]

我们可以发现药品的通用名称均为该格式，参考之前安卓开发所用的爬虫，其正则表达式应为

<label class=\\"w110\\">【通用名称】</label>\\\\s\*\\\\s\*(.\*?)\\\\s\*\\\\s\*<

(.\*?)为要匹配的内容

具体写法参照下图

![69c995e57e29ab383d0717211e8f1c8e_b.png][]

源码如下：

import re
    import urllib.request
    import urllib
      
    #网址
    url1 = "http://drugs.medlive.cn/drugref/html/"
    url2 = ".shtml"
    for num in range(2,14579):
        url = url1 + str(num) + url2
        
        try:
            #抓取页面
            urlop = urllib.request.urlopen(url,timeout=100)
        except Exception:
            print("超时")
            continue
        #判断是否为html页面
        if 'html' not in urlop.getheader('Content-Type'):
            continue
    
        #避免程序异常中止, 用try..catch处理异常
        try:
            #转换为utf-8码
            data = urlop.read().decode('utf-8')
            #print(data)
        except:
            continue
    
        # 正则表达式提取页面中所有队列, 并判断是否已经访问过, 然后加入待爬队列
        linkre1 = re.compile("<label class=\"w110\">【通用名称】</label>\\s*\\s*(.*?)\\s*\\s*<")
        for x in linkre1.findall(data):##返回所有有匹配的列表
            print(x)
        linkre2 = re.compile("适应症：</a>\\s*</div>\\s*<div class=\"more-infomation\">\\s*<p>(.*?)</p>\\s*</div>")
        for x in linkre2.findall(data):##返回所有有匹配的列表
            print(x)
        print(url)

在爬取的过程中发现某些网页显示超时，这说明某些网页404了，可能是该药品有过改动导致url失效

[http_drugs.medlive.cn_drugref_html_2.shtml]: http://drugs.medlive.cn/drugref/html/2.shtml
[Image 1]: 
[69c995e57e29ab383d0717211e8f1c8e_b.png]: /images/20220612/a38ff9468e57477eb8ae05aafd1cde96.png