python3爬取新浪新闻内容

- 日理万妓 2022-07-12 09:38 313阅读 0赞

代码如下：

#commentsUrl用于获取新闻评论数等json信息
    commentsUrl = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-{}&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20&jsvar=loader_1487565938347_44362583'
    
    #获取评论数量的函数
    def getCommentsCount(newsUrl):
        before = re.escape('doc-i')
        after = re.escape('.shtml')
        m = re.search(before + '(.+)' + after, newsUrl)
        newsId = m.group(1)
        comments = requests.get(commentsUrl.format(newsId))
        jd = json.loads(comments.text.strip('var loader_1487565938347_44362583='))
        commentCount = jd['result']['count']['total']
        return commentCount
    
    #获取新闻具体内容的函数
    def getNewsDetail(newsUrl):
        result = {}
        res = requests.get(newsUrl)
        res.encoding = 'UTF-8'
        soup = BeautifulSoup(res.text,'html.parser')
        result['title'] = soup.select('#artibodyTitle')[0].text
        result['newsSource'] = source = soup.select('#navtimeSource span a')[0].text
        timesource = soup.select('#navtimeSource')[0].contents[0].strip()
        result['newsTime'] = datetime.strptime(timesource,'%Y年%m月%d日%H:%M')
        result['article'] = '\n'.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
        result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑：')
        result['commentsCount'] = getCommentsCount(newsUrl)
        return result
    
    #测试
    result = getNewsDetail('http://news.sina.com.cn/c/nd/2017-02-20/doc-ifyarrcf4846170.shtml')
    print(result)

发表评论取消回复

表情：

评论列表（有 0 条评论，313人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取网页内容

import urllib.request url = "https://blog.csdn.net/zhangphil" response

浅浅的花香味﹌/ 2024年02月19日 17:17/ 0 赞/ 66 阅读

相关 php抓取新浪新闻,新浪新闻采集程序

利用正则表达式提取内容信息<?php //error\_reporting(0); $date=date("Ymd"); //echo $date; $url="htt

缺乏、安全感/ 2023年01月16日 06:45/ 0 赞/ 232 阅读

相关爬新闻内容

from selenium import webdriver import time 创建 Webwd 实例对象，指明使用chrome浏览器驱动

比眉伴天荒/ 2023年01月03日 04:16/ 0 赞/ 192 阅读

相关爬取网站新闻

军事新闻爬取光明网军事新闻国防科技信息网光明网军事新闻 import json import redis import

本是古典何须时尚/ 2022年12月10日 07:06/ 0 赞/ 281 阅读

相关（6）Python爬虫——爬取中新网新闻

工欲善其事，必先利其器。我们要进行数据挖掘，就必须先获取数据，获取数据的方法有很多种，其中一种就是爬虫。下面我们利用Python2.7，写一个爬虫，专门爬取中新网[http:/

ゞ浴缸里的玫瑰/ 2022年07月29日 08:48/ 0 赞/ 398 阅读

相关 python3爬取新浪新闻内容

代码如下： commentsUrl用于获取新闻评论数等json信息 commentsUrl = 'http://comment5.news.sina.com.

- 日理万妓/ 2022年07月12日 09:38/ 0 赞/ 314 阅读

相关 python3爬虫-爬取新浪新闻首页所有新闻标题

准备工作：安装requests和BeautifulSoup4。打开cmd，输入如下命令 pip install requests pip install Be

超、凢脫俗/ 2022年07月12日 09:21/ 0 赞/ 409 阅读

相关 Scrapy爬虫（2）爬取新浪旅游图片

本次分享将展示如何利用Scrapy爬取网页中的图片。爬取的网页如下：　　![SouthEast][] 首先建立sina\_trip项目： scrap

浅浅的花香味﹌/ 2022年06月05日 12:20/ 0 赞/ 343 阅读

相关 Python爬虫学习笔记之爬取新浪微博

1 import requests 2 from urllib.parse import urlencode 3 from pyquery impo

拼搏现实的明天。/ 2022年01月05日 02:33/ 0 赞/ 331 阅读

相关 python爬虫爬取腾讯新闻

python爬虫爬取腾讯新闻话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

红太狼/ 2021年07月27日 01:32/ 0 赞/ 799 阅读