阿里云服务器定时在线运行python爬虫代码

墨蓝 2022-10-21 01:29 81阅读 0赞

前言

> 这是我听老师讲课做的笔记
> 
> 作者：神的孩子都在跳舞
> 
> 关注我的[csdn博客][csdn]，更多python知识还在更新

前言：

> 为了参加计算机设计大赛，我和我的团队做了个数据分析项目，由于涉及到数据的爬取，实时更新等，所以有了这一篇文章

思路：

> 其实定时爬取并不难，无非就是在linux上跑程序，加上一个时间给它，如果你学过linux那么一定听说过这个cron服务，接下来我们就用它弄个定时任务就可以了

服务器：centos  
任务管理：cron服务  
环境：python3.7

对于cron服务不了解的可以看我这篇文章[cron服务——Linux计划任务管理][cron_Linux]

> 使用xshell连接服务器

1.  我们先查看crontab服务是否开启  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70]

> 如果是active说明开启了否则需要start启动

1.  调用文本编辑器对cron任务进行编辑

crontab -e

定时运行python爬虫文件的设置命令是这样的

分钟 小时 天数 月份 星期 python 运行文件名

由于我的项目已经在服务器上部署好了，项目运行是在虚拟环境下面的,所以我需要进入指定目录和环境

0 0 * * 7 cd /www/wwwroot/RecruitDataVsible-master1 && source ./ccccc_venv/bin/activate && python dataView/数据爬取/总的爬取项目/conten2.py

> 我这里的意思是每个星期天0点0分（就是晚上12点整）cd进入项目文件，source启动进入环境，使用python命令运行conten2.py这个文件
> 
> 具体的修改查看命令可以看上面的文章

目前我的项目是这样子的，总共有九个类别的数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70 1]  
现在我们让它爬取两个类别，看看设定定时任务后能否自动爬取，然后存入**数据库**，自行展示  
![在这里插入图片描述][20210503204033934.png]  
为了方便演示我这里设定了每分钟爬一次，’/'就是每的意思

*/1 * * * *

![在这里插入图片描述][20210503204725626.png]

然后我们等一分钟，在我们没有做任何操作的情况下数据发生了改变，之前的数据被替换了，这就起到了定时爬取页面展示的效果

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70 2]  
也可以手动运行代码  
![在这里插入图片描述][20210503211030911.png]

> 本人博客：[https://blog.csdn.net/weixin\_46654114][csdn]  
> 本人b站求关注：[https://space.bilibili.com/391105864][https_space.bilibili.com_391105864]  
> 转载说明：跟我说明，务必注明来源，附带本人博客连接。

请给我点个赞鼓励我吧  
![在这里插入图片描述][20200507113619405.png_pic_center]

[csdn]: https://blog.csdn.net/weixin_46654114
[cron_Linux]: https://chenyunzhi.blog.csdn.net/article/details/107131680
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70]: /images/20221021/c1beba7bbd5c43d49bdd81e6be2c089a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70 1]: /images/20221021/ec8676d47124437c9c96d5d1635ae5ea.png
[20210503204033934.png]: /images/20221021/3596fec98b374af79f343415c5403b88.png
[20210503204725626.png]: /images/20221021/7dabc48152b0474bac65c7c0e97225e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjY1NDExNA_size_16_color_FFFFFF_t_70 2]: /images/20221021/cca960d2ff724674a465ffcb82fd016e.png
[20210503211030911.png]: /images/20221021/15b298f767254c018ea78f935149a0a3.png
[https_space.bilibili.com_391105864]: https://space.bilibili.com/391105864
[20200507113619405.png_pic_center]: /images/20221021/4bcfd3454d4f46e084e31ca5c5fe2c90.png