使用BeautifulSoup爬取CSDN博客文章

素颜马尾好姑娘i 2022-06-03 00:13 340阅读 0赞

> Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库

> Requests is an elegant and simple HTTP library for Python, built for human beings.

通过Requests发起请求获取博客信息，然后再通过BeautifulSoup的基本应用，当然这里我们选取的是排名靠前的[博客][Link 1]，注意如果是在内网通过代理上网，Requests可通过如下方式设置代理：

url = 'http://blog.csdn.net'
    proxies = {
       "http": "http://user:pass@proxy_ip:proxy_port"}
    r = requests.get('http://blog.csdn.net/phphot', proxies=proxies)
    print(r.status_code)
    response = r.text
    # print(response)

连接建立之后，我们通过BeautifulSoup指定lxml解析器来解析返回内容，Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种：

> Tag , NavigableString , BeautifulSoup , Comment .

比如：Tag对象

soup = BeautifulSoup(response, "lxml")
    tree = html.fromstring(response)
    # print(soup.prettify())
    # tag
    # print("h1 is '%s'" % soup.h1)
    print("---------------------start---------------------")
    title = soup.h1
    # tag name start
    print("tag name is '%s'" % title.name)
    # tag name end
    
    # tag attribute start
    print('tag class attribute is %s' % title["class"])
    print('get class attribute by .')
    d = title.attrs
    for k in d:
        print("key is %s, value is %s" % (k, d[k]))
    if "class" in title.attrs:
        print('class attribute type is %s' % type(title["class"]))
    
    
    print("get contents by .")
    for c in title.contents:
        print("current is %s" % c)
        print("nex_sibling is %s" % c.next_sibling)
        print("previous_sibling is %s" % c.previous_sibling)
    # tag attribute end

比如：NavigableString对象

# string start
    print("NavigableString is %s, unicode string is %s" % (title.string, str(title.string)))
    print("NavigableString type is %s" % type(title.string))
    # string end

如果你熟悉CSS选择器，我们还可以通过CSS选择器的方式去获取对象，比如下面这样：

# css selector start
    
    css_selector_result = soup.select(".unfold-btn")
    print("css selector result is %s" % css_selector_result)
    print("css_selector_result type is %s" % type(css_selector_result))
    for css in css_selector_result:
        print("css span is '%s', span string is '%s'" % (css.find("span"), css.find("span").string))
    
    a_list = soup.select("a[href]")
    for a in a_list:
        if a.span is None:
            print("href is '%s', span string is '%s'" % (a["href"], a.span))
        else:
            print("href is '%s', span string is '%s'" % (a["href"], a.span.string))
    
    m_list = soup.select("meta")
    print(m_list)
    for m in m_list:
        print("meta content is %s" % (m["content"]))
    # css selector end

好了，上面只是一些基本的应用，下面我们试着解析博客的排名信息以及文章列表信息，PS：这里针对的是改版后的模板首页，页面如下：  
![这里写图片描述][SouthEast]

# info
    print("---------------------博客文章信息---------------------")
    d_list = soup.find_all("div")
    for d in d_list:
        if "class" in d.attrs:
            if d["class"][0] == "inf_number_box":
                total_num = d.find_all("dl")[0].dd.string
                for dl in d.find_all("dl"):
                    print(dl.dt.string + "=" + dl.dd.string)

访问及排名情况

# blog
    print("---------------------博客访问及排名---------------------")
    t_list = soup.find_all("div")
    for u in t_list:
        if "class" in u.attrs:
            if u["class"][0] == "gradeAndbadge":
                print(u.find_all("span")[0].string + "" + u.find_all("span")[1].string)
    print("another find_all method")
    t_list = soup.find_all("div", class_="gradeAndbadge")
    for u in t_list:
        if len(u.find_all("span")) == 2:
            print(u.find_all("span")[0].string + " " + u.find_all("span")[1].string)

获取总的文章，注意，我们可以通过抓包工具查看CSDN 博客，页面流的后台请求接口如下，每次滑动到页面底端，pageindex参数会自动增加：

> [http://blog.csdn.net/phphot/svc/getarticles?pagesize=10&categoryId=0&pageindex=1][http_blog.csdn.net_phphot_svc_getarticles_pagesize_10_categoryId_0_pageindex_1]

![这里写图片描述][SouthEast 1]

单个文章的HTML格式如下：

<li class="blog-unit"> <h3 class="blog-title odd-overhidden bottom-dis-8"><a href="/phphot/article/details/4358318" target="_blank">我国网民上网最爱干三件事:娱乐聊天看新闻</a></h3> <p class="text bottom-dis-8">中国互联网信息中心(CNNIC)今日发布第24次中国互联网发展状况统计报告,报告显示,我国网民上网最干的三件事分别是:娱乐、聊天、看新闻.报告称,我网民在网络娱乐、信息获取和交流沟通类网络应用上使用率...</p> 
       <div class="unit-control clearfix bottom-dis-16"> 
        <div class="unit-con-left clearfix floatL"> 
         <div class=" floatL tag">
          原创
         </div> 
         <div class=" floatL left-dis-24">
          2009-07-17 21:05:00
         </div> 
         <div class=" floatL left-dis-24"> 
          <i class="icon iconfont icon-read"></i> 
          <span>20435</span> 
         </div> 
         <div class=" floatL left-dis-24"> 
          <i class="icon iconfont icon-pinglun"></i> 
          <span>45</span> 
         </div> 
        </div> 
       </div>
      </li>

针对上面的接口，walk\_tree定义如下：

def walk_tree(html, num):
        for li in html.find_all("li"):
            num = num + 1
            print("%s %s %s%s" % (num, li.h3.a.string, CSDN_BLOG_URL, li.h3.a["href"]))
            for d in li.find_all("div"):
                if "class" in d.attrs and str.strip(d["class"][0]) == "unit-control":
                    print(d.div.find_all("div")[0].string + "，发表时间：" + d.div.find_all("div")[1].string + "，阅读量：" +
                          d.div.find_all("div")[2].span.string + "，评论数：" + d.div.find_all("div")[3].span.string)
        return num

因此，获取博客文章列表代码如下：

print("---------------------文章总数---------------------")
    print("文章总数：%s" % total_num)
    pages = 0
    if int(total_num) % 10:
        pages = int(int(total_num) / 10 + 1)
    else:
        pages = int(total_num) / 10
    
    print("pages is %s" % pages)
    num = 0
    pages=100000
    url = 'http://blog.csdn.net/phphot/svc/getarticles?pagesize=10&categoryId=0&pageindex='
    for i in range(pages):
        temp_url = url + str(i)
        # r = requests.get(temp_url, proxies=proxies)
        r = requests.get(temp_url)
        if 200 == r.status_code:
            soup = BeautifulSoup(r.text, "lxml")
            if len(soup.text) == 0:
                break
            else:
                num = walk_tree_j(soup, num)

运行结果：

> ———————首页文章信息———————  
> ul class is \[‘title’, ‘clearfix’, ‘disnone’\]  
> ul class is \[‘detail’\]  
> ul class is \[‘original-contentbox’, ‘blog-units’, ‘disnone’\]  
> ul class is \[‘blog-units’, ‘blog-units-box’\]  
> 1 我国网民上网最爱干三件事:娱乐聊天看新闻 [http://blog.csdn.net/phphot/article/details/4358318][http_blog.csdn.net_phphot_article_details_4358318]  
> 原创，发表时间：2009-07-17 21:05:00，阅读量：20435，评论数：45  
> 2 网银“交易密码丢失U盾作废”引质疑 [http://blog.csdn.net/phphot/article/details/4358289][http_blog.csdn.net_phphot_article_details_4358289]  
> 原创，发表时间：2009-07-17 20:41:00，阅读量：15765，评论数：15  
> 3 从 Twitter 运维技术经验可以学到什么 [http://blog.csdn.net/phphot/article/details/4355118][http_blog.csdn.net_phphot_article_details_4355118]  
> 原创，发表时间：2009-07-16 23:28:00，阅读量：16184，评论数：13  
> 4 俄罗斯方块可以永无止境地玩下去吗？ [http://blog.csdn.net/phphot/article/details/4355093][http_blog.csdn.net_phphot_article_details_4355093]  
> 原创，发表时间：2009-07-16 23:15:00，阅读量：21888，评论数：30  
> 5 网站优化应重视 DNS 预获取(DNS Prefetching) [http://blog.csdn.net/phphot/article/details/4355088][http_blog.csdn.net_phphot_article_details_4355088]  
> 原创，发表时间：2009-07-16 23:13:00，阅读量：14848，评论数：12  
> 6 百度只为营销而存在？ [http://blog.csdn.net/phphot/article/details/4355083][http_blog.csdn.net_phphot_article_details_4355083]  
> 原创，发表时间：2009-07-16 23:11:00，阅读量：14538，评论数：14  
> 7 东拉西扯：Chrome OS不是一款软件 [http://blog.csdn.net/phphot/article/details/4355080][http_blog.csdn.net_phphot_article_details_4355080]  
> 原创，发表时间：2009-07-16 23:08:00，阅读量：14676，评论数：13  
> 8 YUI 3 学习笔记：dom [http://blog.csdn.net/phphot/article/details/4355073][http_blog.csdn.net_phphot_article_details_4355073]  
> 原创，发表时间：2009-07-16 23:07:00，阅读量：14330，评论数：14  
> 9 只有方法没有答案 [http://blog.csdn.net/phphot/article/details/4354998][http_blog.csdn.net_phphot_article_details_4354998]  
> 原创，发表时间：2009-07-16 22:45:00，阅读量：14355，评论数：12  
> 10 YUI 3 学习笔记：event [http://blog.csdn.net/phphot/article/details/4354989][http_blog.csdn.net_phphot_article_details_4354989]  
> 原创，发表时间：2009-07-16 22:42:00，阅读量：14018，评论数：10  
> ul class is \[‘hotArticle-list’, ‘sort-list’\]  
> ul class is \[‘hotArticle-list’\]  
> ul class is \[‘edu\_li’, ‘clearfix’\]  
> ———————博客文章信息———————  
> 原创=6348  
> 粉丝=5132  
> 喜欢=2  
> 码云=  
> ———————博客访问及排名———————  
> 访问量：8,098,431  
> 排名：2  
> 积分：155777  
> another find\_all method  
> 访问量： 8,098,431  
> 排名： 2  
> 积分： 155777  
> ———————文章总数———————  
> 文章总数：6348  
> pages is 635

再看下我们获取到的全部文章信息：

> ———————文章总数———————  
> 文章总数：6348  
> pages is 635  
> 1 我国网民上网最爱干三件事:娱乐聊天看新闻 [http://blog.csdn.net/phphot/article/details/4358318][http_blog.csdn.net_phphot_article_details_4358318]  
> 原创，发表时间：2009-07-17 21:05:00，阅读量：20435，评论数：45  
> 2 网银“交易密码丢失U盾作废”引质疑 [http://blog.csdn.net/phphot/article/details/4358289][http_blog.csdn.net_phphot_article_details_4358289]  
> 原创，发表时间：2009-07-17 20:41:00，阅读量：15765，评论数：15  
> 3 从 Twitter 运维技术经验可以学到什么 [http://blog.csdn.net/phphot/article/details/4355118][http_blog.csdn.net_phphot_article_details_4355118]  
> 原创，发表时间：2009-07-16 23:28:00，阅读量：16184，评论数：13  
> 4 俄罗斯方块可以永无止境地玩下去吗？ [http://blog.csdn.net/phphot/article/details/4355093][http_blog.csdn.net_phphot_article_details_4355093]  
> 原创，发表时间：2009-07-16 23:15:00，阅读量：21888，评论数：30  
> 5 网站优化应重视 DNS 预获取(DNS Prefetching) [http://blog.csdn.net/phphot/article/details/4355088][http_blog.csdn.net_phphot_article_details_4355088]  
> 原创，发表时间：2009-07-16 23:13:00，阅读量：14848，评论数：12  
> 6 百度只为营销而存在？ [http://blog.csdn.net/phphot/article/details/4355083][http_blog.csdn.net_phphot_article_details_4355083]  
> 原创，发表时间：2009-07-16 23:11:00，阅读量：14538，评论数：14  
> 7 东拉西扯：Chrome OS不是一款软件 [http://blog.csdn.net/phphot/article/details/4355080][http_blog.csdn.net_phphot_article_details_4355080]  
> 原创，发表时间：2009-07-16 23:08:00，阅读量：14676，评论数：13  
> 8 YUI 3 学习笔记：dom [http://blog.csdn.net/phphot/article/details/4355073][http_blog.csdn.net_phphot_article_details_4355073]  
> 原创，发表时间：2009-07-16 23:07:00，阅读量：14330，评论数：14  
> 9 只有方法没有答案 [http://blog.csdn.net/phphot/article/details/4354998][http_blog.csdn.net_phphot_article_details_4354998]  
> 原创，发表时间：2009-07-16 22:45:00，阅读量：14355，评论数：12  
> 10 YUI 3 学习笔记：event [http://blog.csdn.net/phphot/article/details/4354989][http_blog.csdn.net_phphot_article_details_4354989]  
> 原创，发表时间：2009-07-16 22:42:00，阅读量：14018，评论数：10  
> 11 我国网民上网最爱干三件事:娱乐聊天看新闻 [http://blog.csdn.net/phphot/article/details/4358318][http_blog.csdn.net_phphot_article_details_4358318]  
> 原创，发表时间：2009-07-17 21:05:00，阅读量：20435，评论数：45  
> 12 网银“交易密码丢失U盾作废”引质疑 [http://blog.csdn.net/phphot/article/details/4358289][http_blog.csdn.net_phphot_article_details_4358289]  
> 原创，发表时间：2009-07-17 20:41:00，阅读量：15765，评论数：15  
> 13 从 Twitter 运维技术经验可以学到什么 [http://blog.csdn.net/phphot/article/details/4355118][http_blog.csdn.net_phphot_article_details_4355118]  
> 原创，发表时间：2009-07-16 23:28:00，阅读量：16184，评论数：13  
> 14 俄罗斯方块可以永无止境地玩下去吗？ [http://blog.csdn.net/phphot/article/details/4355093][http_blog.csdn.net_phphot_article_details_4355093]  
> 原创，发表时间：2009-07-16 23:15:00，阅读量：21888，评论数：30  
> 15 网站优化应重视 DNS 预获取(DNS Prefetching) [http://blog.csdn.net/phphot/article/details/4355088][http_blog.csdn.net_phphot_article_details_4355088]  
> 原创，发表时间：2009-07-16 23:13:00，阅读量：14848，评论数：12  
> 16 百度只为营销而存在？ [http://blog.csdn.net/phphot/article/details/4355083][http_blog.csdn.net_phphot_article_details_4355083]  
> 原创，发表时间：2009-07-16 23:11:00，阅读量：14538，评论数：14  
> 17 东拉西扯：Chrome OS不是一款软件 [http://blog.csdn.net/phphot/article/details/4355080][http_blog.csdn.net_phphot_article_details_4355080]  
> 原创，发表时间：2009-07-16 23:08:00，阅读量：14676，评论数：13  
> 18 YUI 3 学习笔记：dom [http://blog.csdn.net/phphot/article/details/4355073][http_blog.csdn.net_phphot_article_details_4355073]  
> 原创，发表时间：2009-07-16 23:07:00，阅读量：14330，评论数：14  
> 19 只有方法没有答案 [http://blog.csdn.net/phphot/article/details/4354998][http_blog.csdn.net_phphot_article_details_4354998]  
> 原创，发表时间：2009-07-16 22:45:00，阅读量：14355，评论数：12  
> 20 YUI 3 学习笔记：event [http://blog.csdn.net/phphot/article/details/4354989][http_blog.csdn.net_phphot_article_details_4354989]  
> 原创，发表时间：2009-07-16 22:42:00，阅读量：14018，评论数：10  
> 21 YUI 3 学习笔记：node [http://blog.csdn.net/phphot/article/details/4354987][http_blog.csdn.net_phphot_article_details_4354987]  
> 原创，发表时间：2009-07-16 22:41:00，阅读量：13950，评论数：10  
> 22 YUI 3 学习笔记：component infrastructure [http://blog.csdn.net/phphot/article/details/4354981][http_blog.csdn.net_phphot_article_details_4354981]  
> 原创，发表时间：2009-07-16 22:39:00，阅读量：14172，评论数：10  
> 23 Reset CSS 研究（技术篇） [http://blog.csdn.net/phphot/article/details/4354979][http_blog.csdn.net_phphot_article_details_4354979]  
> 原创，发表时间：2009-07-16 22:37:00，阅读量：13981，评论数：10  
> 24 fixed 定位在 IE6 下的实现技巧一则 [http://blog.csdn.net/phphot/article/details/4354970][http_blog.csdn.net_phphot_article_details_4354970]  
> 原创，发表时间：2009-07-16 22:34:00，阅读量：13874，评论数：10  
> 25 每个初学者都应该搞懂的问题 [http://blog.csdn.net/phphot/article/details/4354925][http_blog.csdn.net_phphot_article_details_4354925]  
> 原创，发表时间：2009-07-16 22:10:00，阅读量：16366，评论数：18  
> 26 何必言精通——十年杂感 兼谈其它 [http://blog.csdn.net/phphot/article/details/4354921][http_blog.csdn.net_phphot_article_details_4354921]  
> 原创，发表时间：2009-07-16 22:09:00，阅读量：16220，评论数：12  
> 27 揭秘IT人才特点：中美印日四国程序员比较 [http://blog.csdn.net/phphot/article/details/4354899][http_blog.csdn.net_phphot_article_details_4354899]  
> 原创，发表时间：2009-07-16 22:02:00，阅读量：19153，评论数：19  
> 28 广电总局：电视剧中领袖人物要使用普通话 [http://blog.csdn.net/phphot/article/details/4354716][http_blog.csdn.net_phphot_article_details_4354716]  
> 原创，发表时间：2009-07-16 20:36:00，阅读量：14012，评论数：14  
> 29 15 jQuery Plugins For A Better Photo Gallery And Slideshow [http://blog.csdn.net/phphot/article/details/4354457][http_blog.csdn.net_phphot_article_details_4354457]  
> 原创，发表时间：2009-07-16 17:53:00，阅读量：19634，评论数：11  
> 30 系统程序员成长计划-分离用户界面与内部实现(一） [http://blog.csdn.net/phphot/article/details/4354385][http_blog.csdn.net_phphot_article_details_4354385]  
> 原创，发表时间：2009-07-16 17:31:00，阅读量：14965，评论数：10  
> ……

[Link 1]: http://blog.csdn.net/phphot
[SouthEast]: /images/20220603/c9475c152d0c453f9d87c3e91ca12b51.png
[http_blog.csdn.net_phphot_svc_getarticles_pagesize_10_categoryId_0_pageindex_1]: http://blog.csdn.net/phphot/svc/getarticles?pagesize=10&categoryId=0&pageindex=1
[SouthEast 1]: /images/20220603/5350e5d0dd90453c8618bfd28ee6a12d.png
[http_blog.csdn.net_phphot_article_details_4358318]: http://blog.csdn.net/phphot/article/details/4358318
[http_blog.csdn.net_phphot_article_details_4358289]: http://blog.csdn.net/phphot/article/details/4358289
[http_blog.csdn.net_phphot_article_details_4355118]: http://blog.csdn.net/phphot/article/details/4355118
[http_blog.csdn.net_phphot_article_details_4355093]: http://blog.csdn.net/phphot/article/details/4355093
[http_blog.csdn.net_phphot_article_details_4355088]: http://blog.csdn.net/phphot/article/details/4355088
[http_blog.csdn.net_phphot_article_details_4355083]: http://blog.csdn.net/phphot/article/details/4355083
[http_blog.csdn.net_phphot_article_details_4355080]: http://blog.csdn.net/phphot/article/details/4355080
[http_blog.csdn.net_phphot_article_details_4355073]: http://blog.csdn.net/phphot/article/details/4355073
[http_blog.csdn.net_phphot_article_details_4354998]: http://blog.csdn.net/phphot/article/details/4354998
[http_blog.csdn.net_phphot_article_details_4354989]: http://blog.csdn.net/phphot/article/details/4354989
[http_blog.csdn.net_phphot_article_details_4354987]: http://blog.csdn.net/phphot/article/details/4354987
[http_blog.csdn.net_phphot_article_details_4354981]: http://blog.csdn.net/phphot/article/details/4354981
[http_blog.csdn.net_phphot_article_details_4354979]: http://blog.csdn.net/phphot/article/details/4354979
[http_blog.csdn.net_phphot_article_details_4354970]: http://blog.csdn.net/phphot/article/details/4354970
[http_blog.csdn.net_phphot_article_details_4354925]: http://blog.csdn.net/phphot/article/details/4354925
[http_blog.csdn.net_phphot_article_details_4354921]: http://blog.csdn.net/phphot/article/details/4354921
[http_blog.csdn.net_phphot_article_details_4354899]: http://blog.csdn.net/phphot/article/details/4354899
[http_blog.csdn.net_phphot_article_details_4354716]: http://blog.csdn.net/phphot/article/details/4354716
[http_blog.csdn.net_phphot_article_details_4354457]: http://blog.csdn.net/phphot/article/details/4354457
[http_blog.csdn.net_phphot_article_details_4354385]: http://blog.csdn.net/phphot/article/details/4354385