Python 爬虫:2.几个爬虫实例

朱雀 2022-05-31 14:19 311阅读 0赞

#百度搜索全代码 import requests
    try:
        kv={
      'wd':'Python'}
        r=requests.get('http://www.baidu.com/s',params=kv)
        print(r.request.url)
        r.raise_for_status()
        print(len(r.text))
    except:
        print('ERROR')
    #爬取搜狗搜索全代码 import requests
    try:
        kv={
      'query':'Python'}
        r=requests.get('http://www.sogou.com/web',params=kv)
        print(r.request.url)
        r.raise_for_status()
        print(len(r.text))
    except:
        print('ERROR')
    #爬取网页上的图片 import requests
    path='D:/abc.jpg' url='https://p1.ssl.qhmsg.com/t01b91ce68adb052a9e.jpg' r=requests.get(url)
    print(r.status_code)
    with open(path,'wb') as f:
        f.write(r.content)
    f.close()
    import requests
    path='D:/a.png' url='http://p0.ifengimg.com/pmop/2018/0227/13CB6A9806BFBFA31E2D3EE039923442A9669FD0_size25_w318_h300.png' r=requests.get(url)
    with open(path,'wb') as f:
        f.write(r.content)
        f.close()
    #爬取网页上的图片,并用原本的名称命名 import requests
    import os
    url='https://p1.ssl.qhmsg.com/t01b91ce68adb052a9e.jpg' root='D://pics//' path=root+url.split('/')[-1]
    try:
        if not os.path.exists(root):
            os.mkdir(root)
        if not os.path.exists(path):
            r=requests.get(url)
            with open(path,'wb') as f:
                f.write(r.content)
                f.close()
                print('Success!')
        else:
            print('Already exits')
    except:
        print('ERROR')

结果:

http://www.baidu.com/s?wd=Python
    334987
    http://www.sogou.com/web?query=Python
    313179
    200
    Success!

发表评论取消回复

表情：

评论列表（有 0 条评论，311人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python requests爬虫实例

-------------------- 操作系统：Windows Python：3.5 欢迎加入学习交流QQ群：657341423 ---------------

水深无声/ 2022年06月13日 00:08/ 0 赞/ 356 阅读

相关 Python 爬虫:2.几个爬虫实例

百度搜索全代码 import requests try: kv={ 'wd':'Python'} r=request

朱雀/ 2022年05月31日 14:19/ 0 赞/ 312 阅读

相关 Python网络爬虫笔记（2）通用爬虫和聚焦爬虫

通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Y

曾经终败给现在/ 2022年05月27日 05:20/ 0 赞/ 312 阅读

相关 python爬虫初探--第一个python爬虫项目

前两天把python基础语法看了下，简单做了点练习，今天开始做了第一个python爬虫项目，用了scrapy框架，从安装python开始记录下步骤。一。安装python和p

悠悠/ 2022年05月24日 01:44/ 0 赞/ 375 阅读

相关 Python爬虫实例

一.京东商品页面爬取网址:[https://item.jd.com/6463262.html][https_item.jd.com_6463262.html] ![wat

小鱼儿/ 2022年04月25日 02:34/ 0 赞/ 348 阅读

相关 Python爬虫-速度（2）

Python爬虫-速度（2）文章目录 Python爬虫-速度（2）前言并发与并行异步与同步/阻塞和非阻塞

「爱情、让人受尽委屈。」/ 2022年04月16日 21:14/ 0 赞/ 300 阅读

相关 python爬虫的2个小demo

python爬虫的2个小demo 学习结果学习中遇到的困难代码总结学习结果因为公司最近的一个项目后

Myth丶恋晨/ 2022年01月30日 00:21/ 0 赞/ 227 阅读

相关 python爬虫——简单三个反反爬虫

爬虫、反爬虫、反反爬虫一直在更新换代现在我还弄不来绕过验证码，所以介绍最简单的三个方式创建一个 [setting.py][] 存放一些字典 1、请求延时

我会带着你远行/ 2021年11月23日 00:46/ 0 赞/ 563 阅读

相关 Python_爬虫小实例

爬虫小实例一、问题描述与分析　　　　Q：查询某一只股票，在百度搜索页面的结果的个数以及搜索结果的变化。　　　　分析：　　　　　　搜索结果个数如下图：![

不念不忘少年蓝@/ 2021年11月01日 10:32/ 0 赞/ 416 阅读

相关 python(六)爬虫实例

在爬之前要想的: ![这里写图片描述][70] 我们就以爬百度百科的Python为例子,我们分析这个页面和关联页面中的数据的抓取策略是什么. URL格式 ![这里写

深藏阁楼爱情的钟/ 2021年09月27日 04:38/ 0 赞/ 409 阅读