爬虫爬取表情

我会带着你远行 2022-05-02 23:56 315阅读 0赞

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Time    : 2018/10/26 15:27
    # @Author  : jia.zhao
    # @Desc    : 
    # @File    : doutu_request.py
    # @Software: PyCharm
    
    from selenium import webdriver
    import time
    import urllib.request
    
    
    browser = webdriver.Chrome()
    # img_url_dic = {}
    for i in range(1, 100):
        browser.get('https://www.doutula.com/photo/list/?page=%s' % str(i))
        time.sleep(4)
        eles = browser.find_elements_by_xpath('//div[@class="container_"]/div[@id="pic-detail"]/div[@class="row"]/div[@class="col-sm-9"]/div[@class="random_picture"]/ul[@class="list-group"]/li[@class="list-group-item"]/div[@class="page-content text-center"]/div/a[@class="col-xs-6 col-sm-3"]/img[@data-original]')
        names = browser.find_elements_by_xpath('//div[@class="container_"]/div[@id="pic-detail"]/div[@class="row"]/div[@class="col-sm-9"]/div[@class="random_picture"]/ul[@class="list-group"]/li[@class="list-group-item"]/div[@class="page-content text-center"]/div/a[@class="col-xs-6 col-sm-3"]/img[@data-original]')
    
        for j in range(len(eles)):
            url = eles[j].get_attribute('data-original')
            name = names[j].get_attribute('alt')
            # if url != None and not url :
    
                # img_url_dic[url] = ''
            url = url.split('!')[0]
            ext = url.split('.')[-1]
            filename = name + '.' + ext
            # 保存图片数据
            data = urllib.request.urlopen(url).read()
            f = open('image/' + filename, 'wb')
            f.write(data)
            f.close()
            # print(browser.page_source)
        time.sleep(5)
    
    browser.close()
    browser.quit()

发表评论取消回复

表情：

评论列表（有 0 条评论，315人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python之scrapy爬虫实战爬取表情包

前言：在之前我们学习了scrapy框架的基本使用，今天我们通过实战（爬取http://www.doutula.com的套图）来更加了解scrapy框架额使用，仅以此来告别我们

水深无声/ 2023年07月14日 08:14/ 0 赞/ 6 阅读

相关 python表情包爬虫程序_Python网络爬虫爬取站长素材上的表情包

由于经常看群消息，收藏的表情包比较少，每次在群里斗图我都处于下风，最近在中国大学MOOC上学习了嵩天老师的Python网络爬虫与信息提取课程，于是决定写一个爬取网上表情包的网络

矫情吗；*/ 2022年10月28日 00:57/ 0 赞/ 229 阅读

相关 node：爬虫爬取网页图片

> 代码地址如下： > [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_138

素颜马尾好姑娘i/ 2022年05月11日 04:36/ 0 赞/ 339 阅读

相关爬虫爬取表情

!/usr/bin/env python -- coding: utf-8 -- @Time : 2018/10/26 15:27

我会带着你远行/ 2022年05月02日 23:56/ 0 赞/ 316 阅读

相关爬虫Spider--爬取贴吧

输入起始页的灵活爬取 - - coding: UTF-8 - - """ import urllib2 url = "http

太过爱你忘了你带给我的痛/ 2022年04月02日 07:22/ 0 赞/ 325 阅读

相关爬虫爬取小说（pyquery）

from pyquery import PyQuery import requests def crawle(): url = 'htt

本是古典何须时尚/ 2021年12月13日 15:04/ 0 赞/ 428 阅读

相关 <爬虫>多线程爬取

一、线程回顾 import time import threading '''一、一个主线程''' def sing():

布满荆棘的人生/ 2021年11月23日 17:02/ 0 赞/ 454 阅读

相关 python爬虫——爬取房天下

python爬虫——爬取房天下话不多说，直接上代码！ import requests as req import time import pa

柔情只为你懂/ 2021年07月27日 00:39/ 0 赞/ 870 阅读

相关 python爬虫——淘宝爬取

python爬虫爬取淘宝商品信息话不多说，直接上代码！ import re from selenium import webdriver fr

墨蓝/ 2021年07月26日 16:07/ 0 赞/ 757 阅读

相关 python爬虫爬取知网

python爬虫爬取知网话不多说，直接上代码！ import requests import re import time impo

谁践踏了优雅/ 2021年07月26日 13:49/ 0 赞/ 1257 阅读