Scrapy学习笔记-使用Crontab定期执行爬虫

偏执的太偏执、 2023-05-21 08:49 2阅读 0赞

通过前面的博客的讲解，我们学会了编写自己的第一个爬虫。下面介绍在redhat 6.5上使用Crontab定期执行该爬虫。

首先按照前面的步骤新建爬虫项目，然后再新建一个start.sh脚本文件。  
![在这里插入图片描述][20200424194541306.png]

## 测试crontab ##

编写脚本，并测试效果。我们先测试一下crontab的执行效果，在脚本文件中写上如下代码  
`cd /home/soft/tutorial echo test >> ./test.txt`  
![在这里插入图片描述][20200424200843225.png]  
执行`crontab -e`编辑任务，如下`*/1 * * * * sh /home/soft/tutorial/start.sh` ，也即是每分钟执行一次任务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]

### 查看crontab日志 ###

看cron的执行日志的方法：

1.  针对Linux系统的查询方法（含Redhat、SUSE）：看 /var/log/cron这个文件就可以，可以用tail -f /var/log/cron观察
2.  mail任务（Linux UNIX）在 /var/spool/mail/root 文件中，有crontab执行日志的记录，用tail -f /var/spool/mail/root 即可查看最近的crontab执行情况。

使用命令：`cat /var/log/cron`  
![在这里插入图片描述][20200424195157447.png]

## 编写脚本 ##

![在这里插入图片描述][20200424200843225.png]  
这里start.h脚本主要的是执行爬虫程序的命令，也就是/root/anaconda3/bin/python -m scrapy crawl quotes -a num=10这条命令。

编写crontab任务，任务为每小时的第0分钟执行任务：  
![在这里插入图片描述][20200424202109620.png]  
这里的crontab -l是查看各个任务的命令

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>文件描述符</th> 
   <th>默认情况</th> 
   <th>对应文件句柄位置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>标准输入（standard input）</td> 
   <td>0</td> 
   <td>从键盘获得输入</td> 
   <td>/proc/slef/fd/0</td> 
  </tr> 
  <tr> 
   <td>标准输出（standard output）</td> 
   <td>1</td> 
   <td>输出到屏幕（即控制台）</td> 
   <td>/proc/slef/fd/1</td> 
  </tr> 
  <tr> 
   <td>错误输出（error output）</td> 
   <td>2</td> 
   <td>输出到屏幕（即控制台）</td> 
   <td>/proc/slef/fd/2</td> 
  </tr> 
 </tbody> 
</table>

/dev/null 代表 linux 的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”

1.  > /dev/null 意思就是把错误输出到“黑洞”
2.  > /dev/null 2>&1 默认情况是 1，也就是等同于 1>/dev/null 2>&1 。 意思就是把标准输出重定向到“黑洞”， 还把错误输出 2 重定向到标准输出 1 ，也就是标准输出和错误输出都进了“黑洞”
3.  2>&1 >/dev/null 意思就是把错误输出 2 重定向到标准出书 1 ，也就是屏幕，标准输出进了“黑洞”，也就是标准输出进了黑洞，错误输出打印到屏幕

### CRONTAB运行PYTHON脚本不生效，但是手动执行却正常的问题 ###

一开始编写start.sh的内容时，我直接写的是`python -m scrapy crawl quotes -a num=10`，报错内容是没有找到scrapy模块。也就是说在当前环境中找不到该模块，但是我们在anaconda中装了爬虫模块的。但是我们直接在shell执行时就能够运行`python -m scrapy crawl quotes -a num=10`或`scrapy crawl quotes -a num=10`。  
通过尝试发现执行conda config --set auto\_activate\_base false，退出conda的base虚拟环境也不能够执行上面的代码。从中可以分析可能是该redhat系统环境变量中没有该anaconda的python环境。这个可能是引入虚拟环境的好处，就是不破坏原有的python环境。  
解决方案就是在conda的base虚拟环境中，调用python时要严格指定anaconda的python命令的绝对路径。

运行crontab定时作业里边的东西，都要写绝对路径，python环境最好也写绝对路径。

参考：  
[Linux下的crontab定时执行任务命令详解][Linux_crontab]

[20200424194541306.png]: /images/20230521/e13bbf0bf913492c8c300790671e3f32.png
[20200424200843225.png]: /images/20230521/f110095bc6bb4f569b8e33922928f2ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20230521/f499d2d9118442578eb0e53bc60a591c.png
[20200424195157447.png]: /images/20230521/66e65ade02c64ef0b7856175d129ee32.png
[20200424202109620.png]: /images/20230521/5912035f1ec44f8c88dd2bdb5df1a1ae.png
[Linux_crontab]: https://www.cnblogs.com/longjshz/p/5779215.html