Python 爬淘宝网

╰+攻爆jí腚メ 2024-02-19 21:20 53阅读 0赞

# -*- coding:utf-8 -*-
    import requests
    import Debug
    from bs4 import BeautifulSoup
    import re
    
    
    class VisitWeb(object):
        def __init__(self):
            self.session = requests.session()
            self.soup = None
    
        def visit(self, url):
            r = self.session.get(url)
            self.soup = BeautifulSoup(r.text, 'lxml')
    
        def find_all(self, name):
            links = self.soup.findAll(name)
            for i in range(0, len(links) - 1):
                s = str(links[i])
    
                regex_str = ".*?([\u4E00-\u9FA5])"
                match_obj = re.findall(regex_str, s)
                name = ''.join(match_obj)
    
                if s.find('href') != -1:
                    temp = str(links[i]['href'])
                    if temp.find("taobao") != -1:
                        Debug.print_debug_info(str(i) + ": " + name + " " + links[i]['href'])
    
    
    if __name__ == '__main__':
        visit = VisitWeb()
        url = 'https://www.taobao.com/'
        visit.visit(url)
        visit.find_all('a')

发表评论取消回复

表情：

评论列表（有 0 条评论，53人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 爬淘宝网

-- coding:utf-8 -- import requests import Debug from bs4 import Beautif

╰+攻爆jí腚メ/ 2024年02月19日 21:20/ 0 赞/ 54 阅读

相关 Python爬虫工程师必备工具 Charles 的安装，以及爬取淘宝网+学UI网

本篇博客为你带来第二款手机 APP 抓包软件：Charles。文章目录前置知识测试淘宝网过滤指定站点手机

痛定思痛。/ 2023年10月06日 20:04/ 0 赞/ 6 阅读

相关用Python爬取淘宝2000款T T

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：裸睡的猪 PS：如有需要Pytho

桃扇骨/ 2023年02月11日 07:29/ 0 赞/ 4 阅读

相关 Python自动登陆淘宝并爬取商品数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境 Python 3.6 Pyc

不念不忘少年蓝@/ 2022年12月25日 03:57/ 0 赞/ 320 阅读

相关淘宝搜索定向爬取

注意：依据每个关键词的不同，正则表达式可能需要需改。本例中正则表达式，仅对应于本例中关键词。 import requests,re def getH

Myth丶恋晨/ 2022年09月30日 06:48/ 0 赞/ 307 阅读

相关淘宝网技术架构介绍

淘宝网技术架构介绍学习目标： 1.了解淘宝架构的需求； 2.了解淘宝技术的演变； 3.了解架构的一些基本准则。淘宝相关的

谁借莪１个温暖的怀抱￠/ 2022年08月18日 02:03/ 0 赞/ 422 阅读

相关 python爬虫爬取淘宝网页数据

O、requests 和 re 库的介绍 requests库是一个小型好用的网页请求模块，可用于网页请求，常用来编写小型爬虫安装requests可以使用pip命令：

Bertha 。/ 2022年06月07日 12:16/ 0 赞/ 558 阅读

相关 python 爬取淘宝商品

coding:utf-8 from selenium import webdriver from selenium.common.exceptions

ゝ一纸荒年。/ 2022年05月20日 10:15/ 0 赞/ 370 阅读

相关【牛客网】淘宝网店

题目描述 NowCoder在淘宝上开了一家网店。他发现在月份为素数的时候，当月每天能赚1元；否则每天能赚2元。现在给你一段时间区间，请你帮他计算总收益有多少。输

迷南。/ 2021年12月12日 05:15/ 0 赞/ 344 阅读

相关 python爬虫——淘宝爬取

python爬虫爬取淘宝商品信息话不多说，直接上代码！ import re from selenium import webdriver fr

墨蓝/ 2021年07月26日 16:07/ 0 赞/ 779 阅读