BeautifulSoup

浅浅的花香味﹌ 2022-04-12 13:00 218阅读 0赞

# beautifulsoup是python的第三方库
    # 和xpath作用一样,都是用来解析html数据
    # 相比之下,xpath的速度更快一点
    # xpath底层是c来实现的
    
    from bs4 import BeautifulSoup
    
    # BeautifulSoup里面需要两个参数
    # 一个为open方法一个为固定写法'lxml'
    # open方法里面需要两个参数
    # 1.想要解析的数据
    # 2.设置编码格式
    bs = BeautifulSoup(open('index.html',encoding='utf-8'),'lxml')
    print(bs)
    print(type(bs))
    #获取网购也当中的title标签
    print(bs.title)
    #获取head标签及head标签内部的所有的其他标签
    print(bs.head)
    #获取网页当中的第一个a标签
    print(bs.a)
    # 总结:bs.XX
    # 获取所有XX当中的第一个XX以及第一个XX里面的内容
    # bs:class 'bs4.BeautifulSoup
    # bs指的是当前的整体
    # dociment文档
    # name在此指的是获取当前内容的标签名,bs为一个整体,而不是某一个具体的标签
    print(bs.name)
    #获取head的标签名
    print(bs.head.name)
    #获取title标签的标签名
    print(bs.title.name)
    # attribute属性
    # 获取指定标签的所有属性
    #如果没有做特别处理,bs.XX永远获取的是所有XX中的第一个XX
    print(bs.html.attrs)
    print(bs.a.attrs)
    # KeyError只能从自己有的属性中找
    print(bs.a['id'])
    print(bs.a['href'])
    # class和id不一样
    # id必须是唯一的,一个标签只能有一个id
    # class不是唯一的,不同标签可以拥有同一个class
    # 同一个标签页可以拥有多个class
    print(bs.a['class'])
    
    print(bs.html['lang'])
    # delete删除
    print(bs.a)
    del bs.a['id']
    print(bs.a)
    #获取指定标签的文本内容
    print(bs.a.string)
    # string获取的文本指的是本标签的文本
    # 不包含子标签的文本
    print(bs.div.string)
    
    # 遍历-----------------------------
    # contents能够获取指定标签下面的所有内容
    print(bs.head.contents)
    print(bs.body.contents)
    # 获取所有内容当中指定索引的内容
    print(bs.div.contents[3])
    
    # parent 父级
    # 获取指定标签的父级标签和父标签内部的所有标签
    head = bs.title.parent
    # tag标签  标记
    print(head)
    
    #找到所有a标签
    res = bs.find_all('a')
    print(res)
    for value in res:
        print(value)
    
    # id是唯一的  通过id来找  只能找到一个  所以用find
    # class不是唯一的  通过class来找   可能找到多个
    print(bs.find(id="jd"))
    print(bs.find_all(class_='shopping'))
    # 找到所有符合条件当中的第一个
    print(bs.find(class_='shopping'))
    print(bs.find_all(id='jd'))
    
    #select选择--------------------------------------------
    # 选择指定的标签
    print(bs.select('title'))
    #当选择对象有多个的时候,将获取所有的对象
    print(bs.select('a'))
    # 表示类名 #表示id
    #.fitst     #first
    print(bs.select('.first'))
    print(bs.select('#jd'))
    # print(bs.select('href'))
    # print(bs.select('lang'))
    # 找到一个类名为now的div标签
    print(bs.select('p#one'))