【爬虫】Python爬虫经验分享--爬取码市招聘项目

骑猪看日落 2022-12-30 03:38 220阅读 0赞

以下内容为本人原创，欢迎大家观看学习，禁止用于商业用途，

**·作者：@Yhen  
·原文网站：CSDN  
·原文链接：https://blog.csdn.net/Yhen1/article/details/111598637**  
**转载请说明此出处，侵权必究！谢谢合作！**

大家好，我是偷偷学Python的Touzi学子Yhen  
这期给大家分享的项目是爬取码市招聘项目  
长话短说，马上开始这次的经验分享.

首先是进入…(对了，有一点忘记说了，就是从本期开始，不仅有在CSDN的文字教程，我还另外制作了视频分享分布在我的公众号“**Yhen杂文铺**”中，带给大家更直观更高效的体验~）

Bty，以后博客尽量走简洁风

### 文章目录 ###

*   *  一.前期准备
     *  二.需求分析
     *  三.思路分析
     *  四.代码演示
     *  五.源代码获取
     *  六.视频教程
     *  七.往期文章回顾

## 一.前期准备 ##

这一期我们只需要用到两个常用的模块

**requests** 发送请求 项目核心

**time** 用于设置延时

## 二.需求分析 ##

将[码市][Link 1]中  
①项目名称  
②招聘岗位  
③项目描述  
④薪水

爬取下来

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 1]

## 三.思路分析 ##

在主页点击鼠标右键 ==》点击检查  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 2]

在弹出的调试工具中  
①点击Network ===》②F5刷新

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 3]  
然后根据下图中的顺序逐个点击  
就可以找到我们想要的信息了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 4]  
现在已经知道我们想要信息的藏身之处了  
接下来就用代码将他们爬取下来吧

## 四.代码演示 ##

首先导包

import requests #导入爬虫库
    import time #用于请求延时

接下来是对网页发送请求

url='https://codemart.com/api/project?page=1'
    headers={
        
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
        'accept': 'application/json'
    }
    
    #对网址发送请求
    res=requests.get(url,headers=headers).json()
    time.sleep(1)  #每请求一次延时一秒钟 减少对服务器的负担

打印得到的数据看看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 5]  
一切正常

接下来提取数据，并用一个变量将他们接收  
直接上代码  
（不理解的请参照公众号里的视频教程，有详细解释）

count=1
    for dic in res['rewards']:
        #name description price roles
        name=dic['name']  #项目名称
        description=dic['description'] #项目描述
        price=dic['price']  #薪水
        roles=dic['roles']  #招聘岗位
    
        #将需要的信息拼接起来  \n是换行符 、\n\n是换行加空行
        text='第'+str(count)+'个项目'+'\n'+'项目名称:'+name+'\n'+'项目描述:'+description+'\n'+'薪水:'+price+'\n'+'招聘岗位:'+roles+'\n\n'
        count+=1

打印此时的text变量看看

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 7]  
完美~

接下来就将它们保存到txt文件中去

f=open('码市.txt','a',encoding='utf-8')
        f.write(text)  #将招聘的信息写入到txt文件中
        f.close()

来看下效果

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 8]

那么  
本期的分享就到此啦  
溜了~

## 五.源代码获取 ##

扫码关注我的微信公众号**Yhen杂文铺**后台回复关键词**码市爬虫**即可获取哦.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70_pic_center]

## 六.视频教程 ##

公众号“Yhen杂文铺”主页中

## 七.往期文章回顾 ##

[【室内温度+树莓派性能监控】树莓派+DS18B20温度传感器+0.96寸OLED显示屏使用及安装经验分享][DS18B20_0.96_OLED]

[Yhen爬虫经验分享——爬取码市招聘项目][Yhen]

[Yhen带你趣味入门Python①—Windows下Python下载及安装][Yhen_Python_Windows_Python]

[【python热搜爬虫+定时发送邮件操作①】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？][python_2020]

[【python微博爬虫+定时发送邮件操作②】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？][python_2020 1]

[【爬虫+数据可视化】Yhen手把手带你爬取CSDN博客访问量数据并绘制成柱状图][Yhen_CSDN]

[【爬虫】Yhen手把手带你爬取去哪儿网热门旅游信息（并打包成旅游信息查询小工具][Yhen 1]

[【爬虫】Yhen手把手带你用python爬小说网站，全网打尽，想看就看！（这可能会是你看过最详细的教程）][Yhen_python]

[【实用小技巧】用python自动判断并删除目录下的空文件夹（超优雅）][python]

[【爬虫+数据库操作】Yhen手把手带你用pandas将爬取的股票信息存入数据库！][Yhen_pandas]

[【selenium爬虫】  
Yhen手把手带你用selenium自动化爬虫爬取海贼王动漫图片][selenium_ Yhen_selenium]

[【爬虫】秀才不出门，天下事尽知。你也能做到！Yhen手把手带你打造每日新闻资讯速达小工具。][Yhen 2]

[【爬虫】Yhen手把手带你用python爬取知乎大佬热门文章][Yhen_python 1]

[【爬虫】Yhen手把手教你爬取表情包，让你成为斗图界最靓的仔][Yhen 3]

[【前端】学过一天的HTML+CSS后，能做出什么有趣的项目？][HTML_CSS]

**希望大家能够喜欢这篇文章**  
 **如果可以的话，可以点个赞鼓励下嘛？加个关注更好呦!**  
 **我是Yhen,下次见~**

[Link 1]: https://codemart.com/projects
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70]: /images/20221120/e83896531f1b42fdb4e21194315824c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 1]: /images/20221120/caa41b8595c84883a8cde76b56de943e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 2]: /images/20221120/be37734885de425f8a1d9fd25ebc6468.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 3]: /images/20221120/613aa27a934a4018bd4ac82106bfeb37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 4]: /images/20221120/259cb304efd1453daae1e2422052342b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 5]: /images/20221120/c55fd7c7c7104dc08723d45f026c6c88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 6]: /images/20221120/7bb677aacf2b4483b89369655b0091cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 7]: /images/20221120/3ba45a1406f94d0cb30064f62797f06e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70 8]: /images/20221120/82a1b6dc073d497e8bb23c99e4be31a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1loZW4x_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/bf16e7a8037b452f91aa84cc10e6934f.png
[DS18B20_0.96_OLED]: https://blog.csdn.net/Yhen1/article/details/113760948
[Yhen]: https://blog.csdn.net/Yhen1/article/details/111598637
[Yhen_Python_Windows_Python]: https://blog.csdn.net/Yhen1/article/details/108284337
[python_2020]: https://blog.csdn.net/Yhen1/article/details/107202187
[python_2020 1]: https://blog.csdn.net/Yhen1/article/details/107223120
[Yhen_CSDN]: https://blog.csdn.net/Yhen1/article/details/105931210
[Yhen 1]: https://blog.csdn.net/Yhen1/article/details/105460969
[Yhen_python]: https://blog.csdn.net/Yhen1/article/details/105345343
[python]: https://blog.csdn.net/Yhen1/article/details/106231563
[Yhen_pandas]: https://blog.csdn.net/Yhen1/article/details/105882754
[selenium_ Yhen_selenium]: https://blog.csdn.net/Yhen1/article/details/105585188
[Yhen 2]: https://blog.csdn.net/Yhen1/article/details/105633416
[Yhen_python 1]: https://blog.csdn.net/Yhen1/article/details/105412841
[Yhen 3]: https://blog.csdn.net/Yhen1/article/details/105475370
[HTML_CSS]: https://blog.csdn.net/Yhen1/article/details/106426348