scrapy item loader机制

柔光的暖阳◎ 2021-11-29 08:02 228阅读 0赞

在我们执行scrapy爬取字段中，会有大量的和下面的代码，当要爬取的网站多了，要维护起来很麻烦，为解决这类问题，我们可以根据scrapy提供的loader机制

![复制代码][Image 1]

def parse_detail(self, response):
            """
            获取文章详情页
            :param response:
            :return:
            """
            article_item = JoBoleArticleItem()
    
            #封面图,使用get方法有个好处，如果图片不存在。不会抛异常。
            front_image_url = response.meta.get("front_image_url","")
            ret_str = response.xpath('//*[@class="dht_dl_date_content"]')
            title = response.css("div.entry-header h1::text").extract_first()
            create_date = response.css("p.entry-meta-hide-on-mobile::text").extract_first().strip().replace("·", "").strip()
            content = response.xpath("//*[@id='post-112239']/div[3]/div[3]/p[1]")
            article_item["title"] = title

![复制代码][Image 1]

首先，导入 ItemLoader

from scrapy.loader import ItemLoader

可以查看源码，这里先关注的是item和response两入参

![947742-20171005164318411-1204702370.png][]

![复制代码][Image 1]

#通过item loader加载item
            item_loader = ItemLoader(item=JoBoleArticleItem(),response=response)
            #针对直接取值的情况
            item_loader.add_value('front_image_url','front_image_url')
            #针对css选择器
            item_loader.add_css('title','div.entry-header h1::text')
            item_loader.add_css('create_date','p.entry-meta-hide-on-mobile::text')
            item_loader.add_css('praise_num','#112547votetotal::text')
            #针对xpath的情况
            item_loader.add_xpath('content','//*[@id="post-112239"]/div[3]/div[3]/p[1]')
            #把结果返回给item对象
            article_item = item_loader.load_item()

![复制代码][Image 1]

debug调试，可以看到拿到的信息

![947742-20171005181022536-42722812.png][]

不过实际情况，可能1、我们只取返回结果的某个元素。2、拿到返回结果后还需要执行某些函数。 这个scrapy也提供了方法：

在items.py文件里操作，这里用到了MapCompose类

from scrapy.loader.processors import MapCompose

这个类我们可以传递任意多的函数进来处理

![947742-20171005224026552-1558966065.png][]

导入模块后，

在Field的入参里可以传入这个函数，方式如下，其中MapCompose里填的是函数名，而调用的这个alter\_title函数的入参，就是title的拿到的值，即input\_processor参数的效果是在传值给item前进行预处理

![复制代码][Image 1]

def alter_title(value):
        return value + "-白菜被猪拱了"

class JoBoleArticleItem(scrapy.Item):  
\#标题  
title = scrapy.Field(  
input\_processor = MapCompose(alter\_title)  
)

![复制代码][Image 1]

debug调试下，

![947742-20171005224640161-343580543.png][]

在loader机制中也有类似extract\_firest的方法：TakeFirst

from scrapy.loader.processors import MapCompose,TakeFirst

然后在下面的：

经测试 input\_processor和output\_processor同时存在时，会把input进行预处理拿到的返回值继续给output处理，返回最终结果给item

![复制代码][Image 1]

import datetime
    def date_convert(value):
        try :
            create_date = datetime.datetime.strftime(value,"%Y/%m/%d").date()
        except Exception as e:
            create_date = datetime.datetime.now().date()
     </span><span style="color: #0000ff;">return</span><span style="color: #000000;"> create_date

class JoBoleArticleItem(scrapy.Item):  
\#标题  
title = scrapy.Field(  
input\_processor = MapCompose(alter\_title)  
)  
\#创建日期  
create\_date = scrapy.Field(  
\# = MapCompose(date\_convert),  
input\_processor = MapCompose(date\_convert),  
output\_processor = TakeFirst()  
)

![复制代码][Image 1]

如果要每个字段都要单独调用这个TakeFirst方法，会有些麻烦，可以通过自定义ItemLoader，首先导入ItemLoader进行重载

from scrapy.loader import ItemLoader

点开ItemLoader源码，可以查看到有个default\_output\_processor

![947742-20171014145657293-556644053.png][]

然后我们给ItemLoader重载这个default\_output\_processor

class ArticleItemLoader(ItemLoader):
        #自定义ItemLoader
        default_output_processor = TakeFirst()

然后在创建itemloader对象时使用自定义的loader：ArticleItemLoader

![复制代码][Image 1]

item_loader = ArticleItemLoader(item=JoBoleArticleItem(),response=response)
            #针对直接取值的情况
            item_loader.add_value('front_image_url','front_image_url')
            item_loader.add_value('front_image_path','')
            item_loader.add_value('url',response.url)
            item_loader.add_value('url_object_id',get_md5(response.url))
            item_loader.add_value('content','')

![复制代码][Image 1]

debug调试，可以看到获取到的value由list变成str

![947742-20171014152334965-444057327.png][]

PS：这里只是把默认的output\_processor制定了一个方法，所以如果存在某些item 不想调用默认的output\_processor，可以继续在add\_value方法里单独传output方法。

问题：

1、调试时遇到下面这错误，一般是由于传递给items.py的数据里缺少了字段、传递的字段和数据表里的字段的类型不符等

![947742-20171008185209793-1793906186.png][]

![947742-20171008185644746-1069105637.png][]

3、使用itemloader爬取时，返回的数据类型是list，再存入item容器前，是支持对数据进行预处理的，即输入处理器和输出处理器，可以通过MapCompose这个类来依次对list的元素进行处理，

但如果lsit为【】则不会进行处理，这种情况需要重载MapCompose类的\_\_call\_\_方法，如下，我给vallue增加一个空的str“”

![复制代码][Image 1]

class MapComposeCustom(MapCompose):
        #自定义MapCompose，当value没元素是传入""
        def __call__(self, value, loader_context=None):
            if not value:
                value.append("")
            values = arg_to_iter(value)
            if loader_context:
                context = MergeDict(loader_context, self.default_loader_context)
            else:
                context = self.default_loader_context
            wrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]
            for func in wrapped_funcs:
                next_values = []
                for v in values:
                    next_values += arg_to_iter(func(v))
                values = next_values
            return values

![复制代码][Image 1]

[Image 1]: 
[947742-20171005164318411-1204702370.png]: /images/20211129/b5b4170c79064af0b268eed2271fb09e.png
[947742-20171005181022536-42722812.png]: /images/20211129/bdc4dce392c4439b81b86a4ea3c5f3a9.png
[947742-20171005224026552-1558966065.png]: /images/20211129/80c2420409934a838d0b459a1692c6bd.png
[947742-20171005224640161-343580543.png]: /images/20211129/84e9eada48684e9188b040f6f58804e5.png
[947742-20171014145657293-556644053.png]: /images/20211129/1ba2d7f2e9364a968fe7b9dfbd500152.png
[947742-20171014152334965-444057327.png]: /images/20211129/3f16a4f2ab414f57a2a5d87d621ecfe8.png
[947742-20171008185209793-1793906186.png]: /images/20211129/d73090f5f7cd48e78681f7e0dea5f456.png
[947742-20171008185644746-1069105637.png]: /images/20211129/10d30b672dd1496f884579ca6ebc7c4a.png