爬虫，记录第六次爬虫实战（加正则，糗事百科图片）

╰半橙微兮° 2021-11-06 01:18 217阅读 0赞

import requests
    import re
    import os
    
    if not os.path.exists('qiushiLibs'):
        os.mkdir('qiushiLibs')
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'}
    url = 'https://www.qiushibaike.com/pic/page/%d/?s=5191431'
    for page_number in range(1,3):
        new_url = format(url%page_number)
        page_text = requests.get(url=new_url,headers=headers).text
        ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
        imag_url = re.findall(ex,page_text,re.S)
        for large_url in imag_url:
            large_url = 'https:'+ large_url
            page_content = requests.get(large_url,headers=headers).content
            imag_name = large_url.split("/")[-1]
            imagPath = 'qiushiLibs/' + imag_name
            with open(imagPath,'wb') as fp:
                fp.write(page_content)
                print('辛辛苦苦')

第三天爬虫实战，加了正则表达式，学点东西辛辛苦苦不容易。

转载于:https://www.cnblogs.com/sucanji/p/10842271.html

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关 python3爬虫入门(正则+requests 糗事百科多页图片爬取)

import requests import re import os def get_data(): gl

约定不等于承诺〃/ 2022年12月03日 05:11/ 0 赞/ 131 阅读

相关 python3爬虫入门(正则+requests 糗事百科单页图片爬取)

`入门基本都会学到的图片下载编写，希望自己的思路能给入门困惑的朋友一点启发` `代码如下`: import requests import r

Dear 丶/ 2022年11月25日 11:51/ 0 赞/ 155 阅读

相关 Python运用正则解析爬取糗事百科图片

文章目录前言爬取原理代码 -------------------- 前言这只是一个基础的爬取图片过程，其他图片的爬取大致过程也是这样

￡神魔★判官ぃ/ 2022年09月02日 03:56/ 0 赞/ 188 阅读

相关【Python爬虫】糗事百科段子数据采集

知识点 1.爬虫基本步骤 2.requests模块 3.parsel模块 4.xpath数据解析方法 5.分页功能爬虫基本步骤: 1.获取网页地

青旅半醒/ 2022年08月28日 04:57/ 0 赞/ 243 阅读

相关糗事百科爬虫改进

无事，抓糗事！看到一个哥们的代码，无事拿来改改，抓糗事百科文字内容 !/usr/bin/env python ''' for qiushibaik

Myth丶恋晨/ 2022年08月10日 00:56/ 0 赞/ 213 阅读

相关糗事百科小爬虫

这几天看了不少phtyon 的基础，试着做了一个daemo 但不是很成功不知道家里网络不太好还正则匹配的不好，re.findall 的数据不是特别的稳定，有时候要加载很长

r囧r小猫/ 2022年07月13日 23:38/ 0 赞/ 189 阅读

相关 Python爬虫实战(六)：爬取糗事百科段子

直接上代码： coding=utf-8 import requests from bs4 import Tag from bs

小鱼儿/ 2022年06月09日 11:47/ 0 赞/ 242 阅读

相关 [python3]爬虫实战一之爬取糗事百科段子

参考http://cuiqingcai.com/990.html。不过原文是python2.7.且糗事百科又改版了。这是最新版。本篇目标 > 1.抓取糗事百科热门

红太狼/ 2022年06月06日 00:56/ 0 赞/ 278 阅读

相关爬虫:爬取糗事百科数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

青旅半醒/ 2022年01月26日 04:45/ 0 赞/ 280 阅读

相关爬虫，记录第六次爬虫实战（加正则，糗事百科图片）

import requests import re import os if not os.path.exists('qiushiLi

╰半橙微兮°/ 2021年11月06日 01:18/ 0 赞/ 218 阅读