python 简单爬虫

朴灿烈づ我的快乐病毒、 2022-11-26 05:58 212阅读 0赞

import time
    import urllib.request
    import requests
    import sys
    from bs4 import BeautifulSoup
    import re
    
    
    def get(url, path):
        """第一个参数是请求地址；第二个参数是数据存放的路径，否则会保存到程序当前路径"""
        html = urllib.request.urlopen(url).read().decode('utf-8')
        soup = BeautifulSoup(html, 'html.parser')
        # print(soup.prettify())
    
        # 用Beautiful Soup结合正则表达式来提取包含所有图片链接（img标签中，class=**，以.jpg结尾的链接）的语句
        links = soup.find_all('img', { "class": { "origin_image", "zh-lightbox-thumb"}},
                              src=re.compile('source=1940ef5c$'))
        # print(links)
    
        # 设置保存图片的路径，否则会保存到程序当前路径
        # path = './pic'
        for link in links:
            print(link.attrs['src'])
            # 保存链接并命名，time.time()返回当前时间戳防止命名冲突
            urllib.request.urlretrieve(link.attrs['src'],
                                       path + '/%s.jpg' % time.time())  # 使用request.urlretrieve直接将所有远程链接数据下载到本地
        print('==========图片已写本地文件夹==========')
    
    
    if __name__ == '__main__':
        get("https://www.zhihu.com/question/22918070", './pic')

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】一个简单的网络爬虫

网页结构的相似性爬虫的目的，是从网站中自动化的批量提取数据。首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: [https://

本是古典何须时尚/ 2023年02月26日 09:23/ 0 赞/ 37 阅读

相关 python超简单爬虫教程

python超简单爬虫教程 python超简单爬虫教程七大步骤： 1发送数据请求

快来打我*/ 2023年02月17日 05:21/ 0 赞/ 2 阅读

相关 python 简单爬虫

import time import urllib.request import requests import sys from bs

朴灿烈づ我的快乐病毒、/ 2022年11月26日 05:58/ 0 赞/ 213 阅读

相关 Python——爬虫（解析简单标签）

Python——爬虫（解析简单标签） -- coding: utf-8 -- 使用BeautifulSoup解析网页 from bs4

一时失言乱红尘/ 2022年07月12日 12:37/ 0 赞/ 250 阅读

相关 python简单爬虫

学了几天python，写了个简单的爬虫程序（爬取酷我音乐排行榜）： 1 ! -- coding:utf-8 -- 2 3

墨蓝/ 2022年05月20日 00:26/ 0 赞/ 293 阅读

相关简单python爬虫——图片

初学python爬虫图片，先实现一个简单的（不用自己去一步一步的看在哪个模块，直接使用正则表达式查询所有的图片格式）以懒人图库为例（1）发送请求，得到界面

我会带着你远行/ 2022年04月25日 04:32/ 0 赞/ 308 阅读

相关简单python爬虫——文字

相信很多人看到这篇文章，都是对爬虫有兴趣，而且有一定的理解，但是可能不能编写出一个完整的爬虫，没有思路。我就不再介绍爬虫原理直接介绍爬虫步骤最简单的爬虫其实就是这几

忘是亡心i/ 2022年04月25日 03:18/ 0 赞/ 278 阅读

相关 python实现简单爬虫

第一步准备环境 1.1安装selenium cmd窗口进入到解压的selenium的目录输入命令 python [setup.py][] install 进行安

向右看齐/ 2022年03月20日 11:43/ 0 赞/ 329 阅读

相关关于python实现简单爬虫

第一步准备环境 1.1安装selenium cmd窗口进入到解压的selenium的目录输入命令 python [setup.py][] install 进行安

古城微笑少年丶/ 2022年03月20日 11:43/ 0 赞/ 357 阅读

相关 Python实现简单的爬虫

导入python的爬虫包 import urllib.request 向指定的url地址发起请求,并返回服务器响应的数据(文件的对象)

旧城等待，/ 2022年03月10日 06:06/ 0 赞/ 310 阅读