Python 解析html BeautifulSoup

左手的ㄟ右手 2023-05-29 06:43 3阅读 0赞

Python 解析html BeautifulSoup ,  
使用选择器根据class获取数据

rand_ip = 'rand ip'
        proxies = { "https": rand_ip, }
        referer = "https://sz.meituan.com/xuexipeixun/" + category_id + "/"
    
        url = "https://sz.meituan.com/xuexipeixun/" + category_id + "/"
        headers = { 'referer': referer, 'user-agent': user_agent, 'cookie': cookie}
        text = requests.get(url, headers=headers, proxies=proxies).text
        html = BeautifulSoup(text, "lxml")
        div = html.select('nav[class="mt-pagination"]')
        if len(div) <= 0:
            print("获取不到分页信息:", url)
            return 0
        a_items = div[0].select("a")
        page_count = 1
        for a_item in a_items:
            if a_item and a_item.get_text() != "":
                page = a_item.get_text()
                if page_count < int(page):
                    page_count = int(page)
        print(page_count)

**其他**

articList = html.select("div[class=arcList] ul li")
    
        content_list = []
        for item in articList:
            title = item.select("a")[0].get("title")
            href = item.select("a")[0].get("href")
            datestr = item.select("span")[0].get_text()

articleTitle = html.select("div[class=articleTitle] h1")[0].get_text()
        articleResource = html.select("div[class=articleResource]")[0].get_text()
        articleDes = html.select("div[class=articleDes]")[0].get_text()
        arcContent = html.select("div[class=arcContent]")[0].get_text()

发表评论取消回复

表情：

评论列表（有 0 条评论，3人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫：Selenium+BeautifulSoup解析动态HTML页面【附完整代码】

前言前短时间，为了验证公司的验证码功能存在安全漏洞，写了一个爬虫程序抓取官网图库，然后通过二值分析，破解验证码进入系统刷单。其中，整个环节里关键的第一步就是拿到数据

Myth丶恋晨/ 2024年04月06日 13:42/ 0 赞/ 69 阅读

相关 Python爬虫：BeautifulSoup解析静态HTML页面【附完整代码】

前言前短时间，为了验证公司的验证码功能存在安全漏洞，写了一个爬虫程序爬取官网图库，然后通过二值分析，破解验证码进入系统刷单。其中，整个环节里关键的第一步就是利用 Py

你的名字/ 2024年04月06日 13:38/ 0 赞/ 87 阅读

相关 python3解析库BeautifulSoup4

阅读目录 [1、Beautiful Soup4的安装配置][1_Beautiful Soup4] [2、BeautifulSoup的基本用法][2_Beautif

待我称王封你为后i/ 2024年02月19日 21:19/ 0 赞/ 53 阅读

相关 Python 解析html BeautifulSoup

Python 解析html BeautifulSoup , 使用选择器根据class获取数据 rand_ip = 'rand ip' proxie

左手的ㄟ右手/ 2023年05月29日 06:43/ 0 赞/ 4 阅读

相关 HTML解析之BeautifulSoup

![format_png][] BeautifulSoup4简称bs4，是爬虫必学的三方库，它是一个HTML/XML的解析器，主要是解析和提取 HTML/XML 数据，Bea

野性酷女/ 2023年01月08日 11:24/ 0 赞/ 183 阅读

相关 python中使用beautifulsoup4解析网页Html

一、安装 pip install beautifulsoup4 二、四大对象种类 Beautiful Soup将复杂HTML

忘是亡心i/ 2022年07月15日 10:18/ 0 赞/ 258 阅读

相关 BeautifulSoup中的HTML解析器对比

-------------------- > 参考来源： [http://cuiqingcai.com/1319.html][http_cuiqingcai.com_1319

小鱼儿/ 2022年06月07日 06:17/ 0 赞/ 235 阅读

相关 python网页解析器--BeautifulSoup

1.python中的网页解析器是做什么的所谓的网页解析器就是剖析网页元素的工具，简单来说，就是可以从html网页，解析出自己所需要查找的数据的工具（这里的数据可以是一个网

超、凢脫俗/ 2022年05月31日 10:41/ 0 赞/ 294 阅读

相关 Python对html解析(BeautifulSoup)

微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路 BeautifulSoup简介　　BeautifulSoup是一个高效的网页解析库，可以从 HTML

Dear 丶/ 2021年09月21日 12:54/ 0 赞/ 412 阅读

相关 python 网页解析库 beautifulsoup4 简介

HTML 文档本身是结构化的文本，有一定的规则，通过它的结构可以简化信息提取。于是，就有了lxml、pyquery、BeautifulSoup等网页信息提取库。一般我们会用这些

清疚/ 2021年09月01日 06:52/ 0 赞/ 463 阅读