新闻平台聚合之腾讯新闻爬虫发布

冷不防 2022-11-07 11:46 232阅读 0赞

## idea of startproject ##

1.  对于 web 开发者而言，目前各大新闻门户网站，新浪新闻，百度新闻，腾讯新闻，澎湃新闻，头条新闻并没有提供稳定可用的 feed api。
2.  对于 nlper，缺乏足够的新闻语料数据集来供训练。
3.  对于新闻传播/社会学/心理学等从业者，缺乏获取新闻数据的简单易用途径来供分析。
4.  如果上面三点是某见识所限，其实并不存在的话，第 4 点，则是某的私心，某以为互联网的记忆太短了，热搜一浪盖过一浪，所以试图定格互联网新闻的某些瞬间，最后会以网站的形式发布出来。

> project 的 Github：https://github.com/Python3Spiders/AllNewsSpider

继承自 [澎湃新闻网站全站新闻爬虫及各大新闻平台聚合爬虫发布  
][Link 1]，本篇是新闻系列的第二篇，以腾讯新闻为目标网站

### 腾讯新闻爬虫 ###

该爬虫实现的主要功能罗列如下：

1.  全自动爬取腾讯新闻全站新闻内容，包括 **娱乐**、**军事**、**科技**、**财经** 四大 category。
2.  可以自定义输入爬取的最大页码，默认是 **20** 页
3.  字段信息齐全，如下表格

<table> 
 <thead> 
  <tr> 
   <th>字段名</th> 
   <th>字段含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>recode_time</td> 
   <td>该条新闻被抓取的时间</td> 
  </tr> 
  <tr> 
   <td>news_title</td> 
   <td>新闻标题</td> 
  </tr> 
  <tr> 
   <td>news_summary</td> 
   <td>新闻概括</td> 
  </tr> 
  <tr> 
   <td>news_url</td> 
   <td>新闻链接</td> 
  </tr> 
  <tr> 
   <td>news_author</td> 
   <td>新闻作者</td> 
  </tr> 
  <tr> 
   <td>news_keywords</td> 
   <td>新闻关键词，以 ；分隔</td> 
  </tr> 
  <tr> 
   <td>news_time</td> 
   <td>新闻发布的时间</td> 
  </tr> 
  <tr> 
   <td>news_content</td> 
   <td>新闻具体内容</td> 
  </tr> 
  <tr> 
   <td>news_view_count</td> 
   <td>新闻浏览量</td> 
  </tr> 
  <tr> 
   <td>news_comment_count</td> 
   <td>新闻评论数</td> 
  </tr> 
 </tbody> 
</table>

再说说如何使用（默认读者均有 python3.6+ 环境）

1.  将仓库 tencent文件夹下的 tencent\_news\_spider.pyd 文件下载到本地，新建项目，把 pyd 文件放进去
2.  项目根目录下新建 runner.py，写入以下代码即可运行并抓取
    
        import tencent_news_spider
        tencent_news_spider.main()

开始运行时会提示输入爬取到哪一页，默认是 20 页

爬取过程中是下面这样的

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center]

爬取结束了，会在当前目录下生成一个 `腾讯新闻.xlsx`文件，里面保持了四个 category 的所有网站上可浏览的文本新闻，一个 category 对应一个 sheet\_name。

### 预告 ###

1、新浪新闻爬虫

2、nytimes 纽约时报爬虫

3、thetimes 泰晤士报爬虫

[Link 1]: https://blog.csdn.net/ygdxt/article/details/112059746
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221023/ec0ee6d2f3b14338b1a2e9efe8d263dd.png