pyspider 爬取去哪儿旅游攻略

比眉伴天荒 2022-02-21 11:25 191阅读 0赞

创建就不说了，直接撸代码

**运行环境：**python 3.6.0

#!/usr/bin/env python
    # -*- encoding: utf-8 -*-
    # Created on 2019-04-01 22:30:10
    # Project: qunar
    
    from pyspider.libs.base_handler import *
    
    
    class Handler(BaseHandler):
        crawl_config = {
        }
    
        @every(minutes=24 * 60)
        def on_start(self):
            self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page)
    
        @config(age=10 * 24 * 60 * 60)
        def index_page(self, response):
            for each in response.doc('li > .tit > a').items():
                self.crawl(each.attr.href, callback=self.detail_page, fetch_type='js')
            next = response.doc('.next').attr.href
            self.crawl(next, callback=self.index_page)
    
        @config(priority=2)
        def detail_page(self, response):
            return {
                "url": response.url,
                "title": response.doc('#booktitle').text(),
                "data": response.doc('.when .data').text(),
                "day": response.doc('.howlong .data').text(),
                "who": response.doc('.who .data').text(),
                "text": response.doc('#b_panel_schedule').text(),
                "image": response.doc('.cover_img').attr.src,
            }

**运行结果：**

ok，运行，结果看截图

![20190410210334641.png][]

![20190410210150129.png][]

[20190410210334641.png]: /images/20220221/d7cc87b042b54ca0bccb11612f1e7b68.png
[20190410210150129.png]: /images/20220221/ccc57ec7030941c3b766ba0892d27387.png

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取去哪网旅游景点保存到csv文件

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

﹏ヽ暗。殇╰゛Y/ 2022年12月17日 02:26/ 0 赞/ 129 阅读

相关 pyspider 爬取结果 mysql_pyspider爬取王者荣耀数据（下）

pyspider爬取王者荣耀数据(下) 前言本篇来继续完成数据的爬取。离上周文章已经过了一星期了，忘记的可以回顾下：《pyspider爬取王者荣耀数据(上)》上篇文章

蔚落/ 2022年10月31日 13:43/ 0 赞/ 138 阅读

相关基于python的旅游系统_基于python的去哪儿网旅游数据分析

20011 基于python的去哪儿网旅游数据分析运行视频、代码等：链接：https://pan.baidu.com/s/1tw4Qvtcuwt7ys36M7HvLSg

末蓝、/ 2022年10月28日 10:28/ 0 赞/ 388 阅读

相关用Python采集【去哪了】旅游景点攻略，可视化分析旅游出行数据

知识点 requests 发送网络请求 parsel 解析数据 csv 保存数据第三方库 requests >>> pip instal

╰半夏微凉°/ 2022年09月13日 04:20/ 0 赞/ 178 阅读

相关长沙旅游攻略！31块的臭豆腐它香吗？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤为学应须毕生力，攀高贵在少年时。前

缺乏、安全感/ 2022年09月06日 00:04/ 0 赞/ 171 阅读

相关感冒药攻略

推荐[科学松鼠会][Link 1]中的一篇文章，预防感冒，身体健康 \----------------------------------------------------

￡神魔★判官ぃ/ 2022年08月09日 14:58/ 0 赞/ 204 阅读

相关【旅游攻略】:帽儿山旅游攻略

夏季去帽儿山旅游主要是爬山 + 漂流这里给大家分享一有下去帽儿山的旅游省钱的方法最省钱的方法之一：报团，不要问我为什么，这个真的是最省钱的方法来，还不会被坑，报个一

╰+哭是因爲堅強的太久メ/ 2022年07月21日 00:07/ 0 赞/ 730 阅读

相关 Scrapy爬虫（2）爬取新浪旅游图片

本次分享将展示如何利用Scrapy爬取网页中的图片。爬取的网页如下：　　![SouthEast][] 首先建立sina\_trip项目： scrap

浅浅的花香味﹌/ 2022年06月05日 12:20/ 0 赞/ 291 阅读

相关 pyspider 爬取去哪儿旅游攻略

创建就不说了，直接撸代码运行环境：python 3.6.0 !/usr/bin/env python -- encoding: utf-8 --

比眉伴天荒/ 2022年02月21日 11:25/ 0 赞/ 192 阅读

相关北京旅游攻略

[https://www.19lou.com/forum-32-thread-11241533370971030-1-1.html][https_www.19lou.com_f

傷城~/ 2021年12月11日 08:55/ 0 赞/ 350 阅读