我用爬虫爬取了“腾讯云技术社区“所有的文章，看看我得到了什么

ゝ一纸荒年。 2022-03-16 10:38 199阅读 0赞

> 作者：[应兆康][Link 1]

### 我用爬虫爬取了“腾讯云技术社区”所有的文章，看看我得到了什么 ###

#### 前言 ####

闲来周末练习下爬虫 就拿[腾讯云技术社区][Link 2]来开刀， 哈， 经典皮卡丘开头

这次我通过利用Python爬虫 加上一个"不完美"的分词系统 构建了，腾讯云技术社区所有文章的词云，来看看总体大概都写了什么 嘻嘻嘻:)

#### 正文 ####

**编程思路**

1.  获取所有文章的地址
2.  对单文章页进行内容提取
3.  将所有文章进行内容提取，并将结果存入MongoDB数据库中
4.  利用分词系统和wordcloud进行词云的构建

\*\*注:\*\*存储所有文章地址前，我加了一个随机数，后期随机抽取文章进行提取 防止因日期不同导致结果具有局部性

##### 获取文章列表页，所有的文章信息 #####

保存格式为:

*  index 随机数索引
 *  title 文章名
 *  address 文章地址
 *  content 文章内容

def get_one_page_all(self, url):
            try:
                html = self.get_page_index(self.baseURL)
                # 采用BeautifulSoup解析
                soup = BeautifulSoup(html, 'lxml')
                title = soup.select('.article-item > .title')
                address = soup.select('.article-item > .title > a[href]')
                for i in range(len(title)):
                # 生成随机索引
                    random_num = random.randrange(0, 6500)
                    content = self.parse_content('https://www.qcloud.com' + address[i].get('href').strip())
                    yield {
                        'index' : random_num,
                        'title':title[i].get_text().strip(),
                        'address' : 'https://www.qcloud.com' + address[i].get('href').strip(),
                        'content' : content
                    }
            # 遇到索引错误时跳过
            except IndexError:
                pass
    
    复制代码

##### 解析文章内容 #####

def parse_content(self, url):
            html = self.get_page_index(url)
            soup = BeautifulSoup(html, 'lxml')
            #这里直接用了class为J-article-detail的div里面的内容
            content = soup.select('.J-article-detail')
            return content[0].get_text()
    
    复制代码

#### 结果 ####

这里我就直接把最后生成的结果放出来了 由于分词系统不是很好，导致结果不是很理想 这里我利用了正则表达式，将内容中所有非中文的字符去掉了

**由于个人计算机配置不是很好，我将结果分为了20份，每份均为随机选取的100篇文章组成**

这就是所有文章生成的词云，分词和筛选不是很好，导致数词、人称名词多

#### 总结 ####

可以看出， 腾讯云技术社区上的文章，大部分都是和数据有关的

哈哈，不是很理想，待日后改善一下（词的筛选）

最后打个小广告，希望大家关注下我的公众号:

[ikang\_kj][ikang_kj] 嘿嘿 :)

## 相关阅读 ##

[Python3 爬虫中代理的使用方法][Python3] [爬虫实战 : 爬虫之 web 自动化终极杀手（下）][_ _ web] [爬虫实战：爬虫之 web 自动化终极杀手 ( 上）][web _ _]

此文已由作者授权腾讯云技术社区发布，转载请注明[原文出处][Link 3]

原文链接：[cloud.tencent.com/community/a…][Link 3]

海量技术实践经验，尽在[腾讯云社区][Link 4]

[Link 1]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%2Fuser%2F519482
[Link 2]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity
[ikang_kj]: https://link.juejin.im?target=https%3A%2F%2Fyingjoy.cn%2Fgzh.jpg
[Python3]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%2Farticle%2F164486%3FfromSource%3Dgwzcw.631400.631400.631400
[_ _ web]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%2Farticle%2F565333%3FfromSource%3Dgwzcw.631401.631401.631401
[web _ _]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%2Farticle%2F759574%3FfromSource%3Dgwzcw.631402.631402.631402
[Link 3]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%2Farticle%2F979437%3FfromSource%3Dgwzcw.631403.631403.631403
[Link 4]: https://link.juejin.im?target=https%3A%2F%2Fcloud.tencent.com%2Fcommunity%3FfromSource%3Dgwzcw.631399.631399.631399