爬取CSDN最新月份所写的文章的最高阅读量文章（以及统计整个月所写的文章的阅读量的累积和）

爱被打了一巴掌 2022-05-24 05:38 202阅读 0赞

## 项目简述 ##

所用工具：python 3  
统计中，在**最下面**的主函数中，url就是我们需要放的初始链接。  
比如，我放的链接就是[https://blog.csdn.net/a19990412/][https_blog.csdn.net_a19990412]  
这个页面的具体效果，可以点击上面链接看到，也可以，直接看下面图片  
![这里写图片描述][70]

**大概就是这样的一个界面。然后只要把这个网页的url放到下面的函数中，就可以直接获取对应的url的信息（具体信息如题目所说）**

具体内容简介：  
就是爬取最新的写作页的所有文章的阅读量。  
通过编织的爬虫去统计一下数据。

例如，在我写这篇文章的时候，运行这个代码，输出结果是

In [date]: 2018年5月 原 Fiddler捕捉数据包得到几乎全是加密过的tunnel to【解决方法】 
    Its count is 150
    The Sum of all the article is 365

## 代码 ##

import requests
    from bs4 import BeautifulSoup
    import re
    
    
    def cal(soup):
        global thebestOne_count
        global thebestOne_name
        global Sum_count
    
        div_article = soup.find('div', attrs={
       'class': "article-list"})
        divs = div_article.find_all('div', attrs={
       'class': "article-item-box csdn-tracking-statistics"})
        for d in divs:
            co = int(re.search('\d+', d.find('span', attrs={
       'class': "read-num"}).text).group())
            if co > thebestOne_count:
                h4 = d.find('h4').text.replace('\n', '').replace(' ', '')
                thebestOne_name = h4
                thebestOne_count = co
            Sum_count += co
    
    
    def main(url):
        global date
    
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
        }
        res = requests.get(url, headers=headers)
    
        soup = BeautifulSoup(res.text, 'lxml')
    
        try:
            a = soup.find(
                'aside'
            ).find('ul', attrs={
       'class': 'archive-list'}).find('a')
            date = list(filter(lambda x: x and x != '\n', a.text.split(' ')))[0]
            href = a['href']
        except Exception as e:
            print('[Error]', e.args)
        else:
    
            res = requests.get(href, headers=headers)
            soup = BeautifulSoup(res.text, 'lxml')
            ids = soup.find('div', attrs={
       'id': 'pageBox'})
            ids_string = str(ids)
            data = re.findall('data-page="(\d+)"', ids_string)
    
            cal(soup)
            if data:
                data = data[1:]
                for d in data:
                    newhref = href + d + '?'
                    res = requests.get(newhref, headers=headers)
                    soup = BeautifulSoup(res.text, 'lxml')
                    cal(soup)
    
    
    if __name__ == '__main__':
        Sum_count = 0
        thebestOne_name = ''
        thebestOne_count = 0
        date = ''
        url = 'https://blog.csdn.net/a19990412/'
        main(url)
        print('In [date]: %s' % date, thebestOne_name, '\nIts count is %d' % thebestOne_count)
        print('The Sum of all the article is %d' % Sum_count)

[https_blog.csdn.net_a19990412]: https://blog.csdn.net/a19990412/
[70]: /images/20220524/f23c8119ed104600a40cc308018b1819.png