Python 爬虫，scrapy，定义Item，封装提取的数据项

冷不防 2022-03-25 04:54 234阅读 0赞

**项目名/items.py（定义Item）：**

# -*- coding: utf-8 -*-
    import scrapy
    
    # 定义Item，继承scrapy.Item。 scrapy.Item 类似字典类型,可以通过[]获取和设置值,但不可以动态添加未定义的属性字段。
    class TencentItem(scrapy.Item):
        title = scrapy.Field()
        position = scrapy.Field()
        publish_date = scrapy.Field()

**项目名/spiders/爬虫名.py（爬虫，提取数据并封装到 Item 中）：**

# -*- coding: utf-8 -*-
    import scrapy
    from tencent.items import TencentItem  # 导入
    
    
    class HrSpider(scrapy.Spider):
        name = 'hr'  # 爬虫名
        allowed_domains = ['tencent.com']
        start_urls = ['http://hr.tencent.com/position.php']
    
        def parse(self, response):
            tr_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
            for tr in tr_list:
                # 实例化Item对象
                item = TencentItem()
                # 如果TencentItem中没有定义title属性字段，那么此处会报错。
                item["title"] = tr.xpath("./td[1]/a/text()").extract_first()
                item["position"] = tr.xpath("./td[2]/text()").extract_first()
                item["publish_date"] = tr.xpath("./td[5]/text()").extract_first()
                # dict(item)  # 可以转换成字典类型。
                yield item

发表评论取消回复

表情：

评论列表（有 0 条评论，234人围观）

还没有评论，来说两句吧...

相关阅读

相关 python scrapy 爬虫

码运行来了python scrapy框架，搭建一个完整爬虫工程架构，不只是一个py文件。建议在linux运行参考： [https://www.jianshu.co...

迷南。/ 2024年04月17日 06:23/ 0 赞/ 71 阅读

相关 python 爬虫 6 （scrapy item、scrapy pipelines）

scrapy item、scrapy pipelines 写在前面 1、scrapy item 1.1、开始写代码

今天药忘吃喽~/ 2023年10月08日 12:07/ 0 赞/ 48 阅读

相关 Python爬虫Scrapy入门

Scrapy组成 Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 ![在这里插入图片描述]

末蓝、/ 2023年07月03日 07:04/ 0 赞/ 8 阅读

相关【Python爬虫】Scrapy爬虫框架

Scrapy爬虫框架介绍 ![format_png][] ![format_png 1][] pip install scrapy scrapy -h

╰+哭是因爲堅強的太久メ/ 2023年02月27日 13:40/ 0 赞/ 46 阅读

相关 24-爬虫-scrapy-Item Pipeline

给IT入门加星标，提升编程技能当Item在Spider中被收集之后，它将会被传递到Item Pipeline 每个Item Pipeline组件接收到Item,定义一些操

待我称王封你为后i/ 2023年01月04日 13:18/ 0 赞/ 225 阅读

相关「Scrapy 爬虫框架」物品管道（Item Pipeline）详解

文章目录内容介绍 pipeline基础方法 pipeline简单举例 pipeline激活方法内容介绍开发环境为 Python3.6

朱雀/ 2022年10月25日 14:15/ 0 赞/ 315 阅读

相关「Scrapy 爬虫框架」物品（Items）详解

文章目录内容介绍 Items的定义 Items的使用内容介绍开发环境为 Python3.6，Scrapy 版本 2.4.x ，爬虫项目全部

系统管理员/ 2022年10月25日 14:08/ 0 赞/ 368 阅读

相关 Python 爬虫，scrapy，定义Item，封装提取的数据项

项目名/items.py（定义Item）： -- coding: utf-8 -- import scrapy 定义Item，继承

冷不防/ 2022年03月25日 04:54/ 0 赞/ 235 阅读

相关 Scrapy中的Item

爬虫的主要目标是从页面爬取非结构性的数据然后提取出结构性数据。Scrapy提供`Item`类可以实现这样的要求。`Item`对象是简单的容器，用于保存爬取到的数据。 1.`I

Dear 丶/ 2021年11月17日 14:30/ 0 赞/ 348 阅读

相关精通Scrapy网络爬虫【四】 Item

使用Item封装数据在items.py中实现BookItem，代码如下： import scrapy class BookItem(scra

桃扇骨/ 2021年09月08日 10:06/ 0 赞/ 480 阅读