scrapy框架学习

川长思鸟来 2022-04-15 04:39 266阅读 0赞

## scapy安装 ##

pip install --upgrade pip
    pip install scrapy

Windows上安装可能会出现缺失依赖twisted，可以看一下[twisted安装][twisted]  
安装好后再执行一下命令即可

pip install scrapy

## scapy常用命令 ##

# 创建scrapy项目
    scrapy startproject mySpider
    # 先进入项目，使用以下命令，可以在spider目录下，创建父类为scrapy.Spider的的模板，文件名为onespider.py，类名为Onespider，爬虫名为onespider
    cd mySpider
    scrapy genspider onespider "域名"
    # 先进入项目，使用以下命令，可以在spider目录下，创建父类为CrawlSpider的的模板，文件名为xx.py，类名为Xx，爬虫名为xx
    scrapy genspider -t crawl xx  "域名"

## 简单入门 ##

### 新建项目 ###

scrapy startproject demo

项目目录如下

.
    ├── demo
    │   ├── __init__.py
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       └── __init__.py
    └── scrapy.cfg

下面来简单介绍一下各个主要文件的作用：  
scrapy.cfg ：项目的配置文件  
demo/ ：项目的Python模块，将会从这里引用代码  
demo/items.py ：项目的目标文件  
demo/pipelines.py ：项目的管道文件  
demo/settings.py ：项目的设置文件  
demo/spiders/ ：存储爬虫代码目录

[我的GitHub][GitHub]  
我想去流浪，我想去读书，若有机会，江湖再见

[twisted]: https://blog.csdn.net/a_hui_tai_lang/article/details/84206110
[GitHub]: https://github.com/LoyalWilliams

发表评论取消回复

表情：

评论列表（有 0 条评论，266人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy框架

Scrapy一个开源和协作的框架,其最初是为了页面抓取而设计的,使用它可以以快速,简单易扩展的方式从网站中提取所需的数据.但目前Scrapy的用途十分广泛,可用于如数据挖掘,检

我就是我/ 2022年10月03日 00:39/ 0 赞/ 250 阅读

相关学习笔记 scrapy 爬虫框架

scrapy 入门 1.创建一个scrapy项目 scrapy startproject myspider 2.生成一个爬虫 scrapy genspider

矫情吗；*/ 2022年09月16日 05:58/ 0 赞/ 346 阅读

相关 Scrapy框架学习（三）----基于Scrapy框架实现的简单爬虫案例

Scrapy框架学习（三）—-Scrapy框架实现简单的爬虫程序前面2章讲解了Scrapy的基本内容，如：创建项目，配置`settings.py`，items，spid

超、凢脫俗/ 2022年06月04日 00:41/ 0 赞/ 312 阅读

相关 Scrapy框架学习（二）----Item Pipeline(管道)和Scrapy Shell

Scrapy框架学习（二）—-Item Pipeline(管道)和Scrapy Shell Item Pipeline（管道）当Item在Spider中被收集之后

梦里梦外;/ 2022年06月04日 00:40/ 0 赞/ 294 阅读

相关 Scrapy框架学习（七）----Scrapy与scrapy-splash框架结合，快速加载js页面

Scrapy框架学习（七）—-Scrapy与scrapy-splash框架结合，快速加载js页面一、前言我们在使用爬虫程序爬取网页时，一般对于静态页面的爬取是比

水深无声/ 2022年05月30日 06:20/ 0 赞/ 409 阅读

相关 20180310scrapy框架学习笔记总结

Scrapy 分布式爬虫 elasticsearch django 环境配置和基础知识铺垫技术选型 scrapy reques

╰+攻爆jí腚メ/ 2022年05月29日 04:22/ 0 赞/ 236 阅读

相关 Scrapy框架学习（八）----Scrapy-redis分布式爬虫学习

Scrapy框架学习（八）—-Scrapy-redis分布式爬虫学习 `Scrapy-redis`分布式爬虫框架，是在`Scrapy`爬虫框架的基础上进行改进的，通过`R

忘是亡心i/ 2022年05月29日 02:39/ 0 赞/ 343 阅读

相关 scrapy框架学习

scapy安装 pip install --upgrade pip pip install scrapy Windows上安装可能会出现缺失依赖twis

川长思鸟来/ 2022年04月15日 04:39/ 0 赞/ 267 阅读

相关 Scrapy框架

Scrapy框架 \\\Scrapy\\\是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 使用了Twisted\['twɪstɪ

不念不忘少年蓝@/ 2021年09月17日 20:54/ 0 赞/ 480 阅读

相关 Scrapy 框架学习

> Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 ![a36060840f2957850854040280cfa2d

淡淡的烟草味﹌/ 2021年09月03日 08:24/ 0 赞/ 565 阅读