用python写一个简单的爬虫保存在json文件中

悠悠 2022-06-17 02:07 222阅读 0赞

学习python没多久，所以只能写一个很简单的爬虫啦~~

我使用annacada 自带的spyder来写爬虫的，这次我们要爬取得网站是http://www.drugbank.ca/drugs,

主要是爬取里面每种药物的信息到json文件中，包括有

DrugBank ID,  Name , Weight, Structure,   Categories,   TherapeuticIndication。

首先我们先要在命令提示符那里输入一个语句来创建项目：scrapy startproject drugs  //drugs是自己取得名字。

然后命令提示符上就会有关于创建的文件夹在哪个路径，我们对应去找就会找到的。找到之后我们会看到很多的文件，其中我们先用spyder去打开**items.py**这个文件，然后在里面编写代码：

import scrapy

class TutorialItem(scrapy.Item):

\#define the fields for your item here like:

\#name = scrapy.Field()

DrugBankId = scrapy.Field(); //这些名字（DrugBankId，Name......）都是我们想要爬取出来的信息。

Name = scrapy.Field();

Weight = scrapy.Field();

Structure = scrapy.Field();

Categories = scrapy.Field();

TherapeuticIndication = scrapy.Field();

Pass

然后我们在spider文件夹下自己创建一个.py结尾的文件来编写主要的代码。

我创建了drugbank.py的文件，然后在里面输入：

\#-\*- coding:utf-8 -\*-

import scrapy

import string

from drugs.items import TutorialItem

class drugbank(scrapy.Spider):

\# 定义爬虫的名称，主要main方法使用

name = 'drugbank'  //在命令提示符中用来调用的。

allowed\_domains=\["drugbank.ca"\]

start\_urls=\["http://www.drugbank.ca/drugs"\]

\# 解析数据

def parse(self, response):

items = \[\]

i="0"

for sel in response.xpath('//table/tbody/tr'):

item = TutorialItem()

a=string.atoi(i)+1

i=str(a)

item\['DrugBankId'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[1\]/a/text()').extract()

item\['Name'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[2\]/strong/a/text()').extract()

item\['Weight'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[3\]/text()\[1\]').extract()

item\['Structure'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[4\]/a/img/@src').extract()

item\['Categories'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[5\]/a/text()').extract()

item\['TherapeuticIndication'\]=sel.xpath('//table/tbody/tr\['+i+'\]/td\[6\]/text()').extract()

items.append(item)

yield item

\#翻页

next\_page =response.xpath('//ul/li\[@class="next\_page"\]/a/@href')

if next\_page:

url = response.urljoin(next\_page\[0\].extract())

\#爬每一页

yield scrapy.Request(url, self.parse)

我们在命令提示符中进入到drugs目录下，即输入cd drugs，然后回车再输入 scrapy crawl drugbank -o items.json -t json

其中drugbank是在drugbank文件中的name的属性，items.json是你想将数据存放到这个文件中，所以这个名字是自定义的。

执行完这个，我们就可以在drugs文件夹下找到items.json文件，里面就存放着从网页下爬取出来的药物的信息。

发表评论取消回复

表情：

评论列表（有 0 条评论，222人围观）

还没有评论，来说两句吧...

相关阅读

相关用python写一个爬虫

可以使用 Python 的第三方库 `requests` 和 `BeautifulSoup` 来编写一个爬虫。首先，需要安装这两个库，可以使用 `pip` 命令来安装：

女爷i/ 2024年03月27日 12:47/ 0 赞/ 96 阅读

相关用python写一个爬虫小程序

好的，我可以为你写一个 Python 爬虫小程序的示例。首先，我们需要安装一些库，包括 `requests` 和 `BeautifulSoup`。你可以使用以下命令进行安装

太过爱你忘了你带给我的痛/ 2024年03月25日 16:36/ 0 赞/ 122 阅读

相关用python写一个爬虫代码

好的，这是一个简单的 Python 爬虫代码示例： import requests from bs4 import BeautifulSoup

柔情只为你懂/ 2024年03月25日 14:57/ 0 赞/ 112 阅读

相关用JAVA写一个超级简单的爬虫例子

1. 用的是Jsoup，这个工具可以解析指定URL文档的内容。 2. 如果是普通的工程则需要导入相应jar包，如果是Maven工程则需要引入坐标，坐标如下： <!

谁借莪１个温暖的怀抱￠/ 2023年06月29日 15:58/ 0 赞/ 9 阅读

相关【Python爬虫】一个简单的网络爬虫

网页结构的相似性爬虫的目的，是从网站中自动化的批量提取数据。首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: [https://

本是古典何须时尚/ 2023年02月26日 09:23/ 0 赞/ 52 阅读

相关 Python——保存、读取json文件

python——保存、读取json文件 file = open('test.json','w',encoding='utf-8') data1 =

分手后的思念是犯贱/ 2022年06月17日 05:27/ 0 赞/ 240 阅读

相关用python写一个简单的爬虫保存在json文件中

学习python没多久，所以只能写一个很简单的爬虫啦~~ 我使用annacada 自带的spyder来写爬虫的，这次我们要爬取得网站是http://www.drugbank.

悠悠/ 2022年06月17日 02:07/ 0 赞/ 223 阅读

相关初学者用python写爬虫就这么简单

![20180417203832433][] 很多人害怕python复杂，还没入门就被吓倒了，今天我就要证明个大家看，python很简单。（高手们就别提底层了，留点入门

落日映苍穹つ/ 2022年05月27日 11:23/ 0 赞/ 211 阅读

相关用Python写一个简单的Web框架

![用Python写一个简单的Web框架][Python_Web] 一、概述二、从demo\_app开始三、WSGI中的application

绝地灬酷狼/ 2022年01月29日 04:49/ 0 赞/ 270 阅读

相关 java中序列化一个对象保存在文件中的简单过程

> 为什么要序列化？因为在保存一个对象或者大型数据类型时，因为平台的不同（比如操作系统不同），需要通过网络传递时，需要适应对方的环境或者网络的协议，要将对象的数据转化成一种

绝地灬酷狼/ 2021年09月15日 07:56/ 0 赞/ 260 阅读