python3 [爬虫入门实战]爬虫之scrapy爬取传智播客讲师初体验

电玩女神 2021-06-10 20:42 527阅读 0赞

### 心得： ###

> 学scrapy估计耽误又耽误了，之前是图文教程，看了两三遍，一部一部的踩过来，经过昨晚看了一晚上的黑马程序员的部分scrapy框架的学习，才慢慢懂得，如何用一个scrapy去进行爬取网上的数据，个人建议如果实在是不能体会的，还是稍微看下视频：能理解的好一些

### 先上爬取截图吧： ###

![爬取内容][SouthEast]

![爬取存储方式][SouthEast 1]

总的来说， 对于我这脑子学习scrapy过程还是蛮难的，尽管现在只是一个开头，后面的坑还很多。

> 爬取的内容：姓名，讲师类型，讲师描述  
> ![这里写图片描述][SouthEast 2]

根据我们所要爬取的目标，

> 第一步：在item.py 下写个类，继承scrapy.Item  
> 如下：

import scrapy
    
    class TeacherItem(scrapy.Item):
        # define the fields for your item here like:
        # 讲师名字
        teacherName = scrapy.Field()
        # 讲师类型（高级..）
        teacherType = scrapy.Field()
        # 讲师描述
        teacherDesc = scrapy.Field()
        # 讲师头像
        teacherImg = scrapy.Field()

> 第二部：写爬虫的类继承scrapy.Spider 主要逻辑都在这。  
> ![这里写图片描述][SouthEast 3]

上面的图都在那，可以看一下  
贴上代码：

#encoding=utf8
    import scrapy
    from myterminalproject.items import  TeacherItem
    
    class GuoKeSpider(scrapy.Spider):
        # 启动爬虫时需要的参数
        name = "myItcast"
        # 爬取域范围，
        allowed_domains = ["itcast.cn"] # 只在这个域名进行爬取
        # 爬虫第一个url地址
        start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
        # start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + [
        # 'http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]
    
        def parse(self, response):
            print(response.body)
            node_list = response.xpath("//div[@class='li_txt']")
    
            # 用来存储所有的item字段
            items = []
            for node in node_list:
                # 每个for创建一个item ,用来存储信息
                item = TeacherItem()
                # .extract() 讲xpath对象转换位 Unicode字符串
                name = node.xpath("./h3/text()").extract()
                title = node.xpath("./h4/text()").extract()
                info = node.xpath("./p/text()").extract()
                item['teacherName'] = name[0]
                item['teacherType'] = title[0]
                item['teacherDesc'] = info[0]
                items.append(item)
            return items # 这里返回给引擎了。

**这里暂时没有用到下载管道**

**settings里面的文件也没有进行改动**

> 通过以上，我们就可以进行爬取内容了。

可以试试以下的命令：  
![这里写图片描述][SouthEast 4]

切换到项目目录下，最后那条命令应该是**scrapy crawl myItcast -o icast.json(或者.xml,.cvs)**

最后就是可以查看的数据了。  
![这里写图片描述][SouthEast 5]

现在暂时不会上传到git上，需要源码的或者scrapy框架视频可以联系我。

[SouthEast]: /images/20210529/a45766eb1ec1494581a427dc9600e4a7.png
[SouthEast 1]: /images/20210529/2c8ee5a82a384bcb856fe83ce8288e9e.png
[SouthEast 2]: /images/20210529/3b5c3a80df914df6babf8c70546e86a7.png
[SouthEast 3]: /images/20210529/0f92a32a51b74123b603486d8ff23bb1.png
[SouthEast 4]: /images/20210529/6b05b0423a374737b35ee9aaa93f5a8b.png
[SouthEast 5]: /images/20210529/fdf72839d8a947a4987e892ba465a7f7.png