Gerapy学习笔记-爬虫管理框架 win linux端分布式部署Scrapy爬虫脚本

向右看齐 2022-10-15 04:59 207阅读 0赞

## 内容介绍 ##

本章带你学习基于 Python3 的 Gerapy 爬虫框架 项目部署使用教程。  
代码内容基于「Gerapy 爬虫管理框架」源码版本 0.9.3a2 ，更新内容会进行标记说明对应版本。

## Gerapy这个框架是干嘛的？ ##

将我们爬虫工程师通过Scrapy爬虫框架写好的项目整合到Django的Web环境进行统一管理的后台。简单理为一个Admin后台进行控制我们写好的爬虫脚本，进行有针对性的网络数据采集（比如固定时间、固定间隔、或者一次性采集）方便管理，并且对项目进行简单的项目管理，对于了解Django的Web开发的小伙伴来说后期如果需要报表功能可以基于这个框架自己增加Admin中的模块功能，比较容易。该框架对于初学者非常友好，并且使用简单、高效。

注意的坑！

1.  Gerapy的Django版本是1.x，如果使用的Django环境是2.x、3.x或者更高版本是不兼容的，有能力的童鞋自行修改对应源码即可，如果懒得修改的话直接弄2台机器吧。处理方案传送
2.  部署服务器的话需要开一个端口进行远程访问，切记不要开6800裸奔。
3.  远程服务器配置和scrapy配置版本要相同。

## 部署流程 ##

1.项目安装

# gerapy 安装 注意自己的版本
    pip install gerapy

2.scrapyd 安装

pip install scrapyd

3.gerapy 项目初始化

# 创建工作的文件目录，该目录下初始化项目（文件名随意）用命令行执行
    gerapy init

4.gerapy 数据库初始化

cd gerapy
    gerapy migrate

5.创建超级用户

# 记住用户名和密码
    gerapy initadmin

6.启动服务

# 然后就可以启动服务了，启动服务（可指定url和port）
    gerapy runserver 你的ip+端口（0.0.0.0:8000）
    scrapyd 或者 /usr/local/python3/bin/scrapyd

7.进入管理平台

http://127.0.0.1:8000

这个地方有点坑，网上很多教程没有用户名密码创建登陆过程，不创建用户无法使用。创建超级用户（用户名和密码都是admin），创建完毕之后进入管理平台进行密码修改即可。

gerapy initadmin

## 主机管理 ##

1.  创建主机名称（机器名称：能区分出来就行）
2.  创建主机IP（IP网段：略）
3.  创建主机端口（端口号：一般默认6800）
4.  认证：目前这个用户名对和错都能正常运行

## 项目管理 ##

1.  将我们写好的scrapy的工程project目录复制到gerapy中的project复制过来就行，然后会在页面中直接显示你的项目目录。
2.  部署之

## 任务管理 ##

创建任务 包括名称（自定义）、项目（需要和项目管理一致）、爬虫（单独spider文件） 执行任务：主机 + 调度方式 + 运行时间 + 时区，大陆选择Asia/Hong\_Kong

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】Scrapy爬虫框架

Scrapy爬虫框架介绍 ![format_png][] ![format_png 1][] pip install scrapy scrapy -h

╰+哭是因爲堅強的太久メ/ 2023年02月27日 13:40/ 0 赞/ 60 阅读

相关【Gerapy 爬虫管理框架】学习与应用内容目录索引

【Gerapy 框架】的文章后续会不断进行更新内容到这个目录，望君收藏。文章目录「Gerapy 爬虫管理框架」版本 0.9.3a2 「Gerapy 爬虫管

朱雀/ 2022年10月28日 15:25/ 0 赞/ 193 阅读

相关 Gerapy学习笔记-爬虫管理框架 win linux端分布式部署Scrapy爬虫脚本

内容介绍本章带你学习基于 Python3 的 Gerapy 爬虫框架项目部署使用教程。代码内容基于「Gerapy 爬虫管理框架」源码版本 0.9.3a2 ，更新

向右看齐/ 2022年10月15日 04:59/ 0 赞/ 208 阅读

相关学习笔记 scrapy 爬虫框架

scrapy 入门 1.创建一个scrapy项目 scrapy startproject myspider 2.生成一个爬虫 scrapy genspider

矫情吗；*/ 2022年09月16日 05:58/ 0 赞/ 368 阅读

相关 Scrapy - 爬虫框架

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和 [自

我不是女神ヾ/ 2022年08月21日 05:39/ 0 赞/ 389 阅读

相关 Scrapy框架学习（八）----Scrapy-redis分布式爬虫学习

Scrapy框架学习（八）—-Scrapy-redis分布式爬虫学习 `Scrapy-redis`分布式爬虫框架，是在`Scrapy`爬虫框架的基础上进行改进的，通过`R

忘是亡心i/ 2022年05月29日 02:39/ 0 赞/ 366 阅读

相关 scrapyd部署、使用Gerapy 分布式爬虫管理框架

Scrapyd部署爬虫项目 GitHub：https://github.com/scrapy/scrapyd API 文档：http://scrapyd.readthe

素颜马尾好姑娘i/ 2022年05月18日 23:49/ 0 赞/ 226 阅读

相关 Python Scrapy爬虫框架学习笔记（一）

最近学完Python之后感觉要学明白一门编程语言就需要不停用，因此就选择了相对难度小的爬虫练习，话不多说，看笔记：运行环境： OS：Win10 Python：3.

野性酷女/ 2022年04月12日 11:30/ 0 赞/ 386 阅读

相关 Scrapy爬虫框架

Scrapy爬虫框架一、Scrapy五大基本构成: Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬

ゝ一世哀愁。/ 2022年01月28日 09:53/ 0 赞/ 541 阅读

相关 Scrapy - 分布式爬虫

分布式爬虫概念所谓分布式, 多个程序同时对一个任务进行操作一分多的高效率的任务进行方式简单说明一个 10GB 的爬虫任务, 交给10台服务器进行

拼搏现实的明天。/ 2021年12月20日 08:09/ 0 赞/ 458 阅读