Python爬虫实战(二):爬取天涯帖子(只看楼主)

「爱情、让人受尽委屈。」 2022-06-09 10:49 198阅读 0赞

先上代码

#coding=utf-8
    import requests
    from bs4 import Tag
    from bs4 import BeautifulSoup
    
    
    def getHtml(url):
        page = requests.get(url)
        html =page.text
        return html
    
    def getText(html):
        get_text = Tag.get_text
        soup = BeautifulSoup(html, 'html.parser')
        
        author_info = soup.find_all('div', class_='atl-info')
        listauthor  = [x.get_text() for x in author_info]
            
        list_info = soup.find_all('div', class_='bbs-content')
        listtext  = [x.get_text() for x in list_info]
    
        global i
        if i > 1:
            listtext = [""] + listtext
        
        for x in range(len(listauthor)):
            if "楼主" in listauthor[x]:
                print (listtext[x].strip())
                
    if __name__=='__main__':
        for i in range(1,6):
            url  = ("http://bbs.tianya.cn/post-feeling-4286798-%s.shtml" % str(i))
            html = getHtml(url)
            getText(html)

刚学Python不到一个月，代码写的有点乱，以后优化。

发表评论取消回复

表情：

评论列表（有 0 条评论，198人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python之scrapy爬虫实战爬取表情包

前言：在之前我们学习了scrapy框架的基本使用，今天我们通过实战（爬取http://www.doutula.com的套图）来更加了解scrapy框架额使用，仅以此来告别我们

水深无声/ 2023年07月14日 08:14/ 0 赞/ 6 阅读

相关 Python爬虫新手入门教学（二）：爬取小说

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观

布满荆棘的人生/ 2023年01月11日 01:15/ 0 赞/ 264 阅读

相关 Python爬虫实战教学：爬取电影视频数据

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。做了一些小项目，用的技术和技巧会比较散比较杂，写一个小品文记录一下，帮助

淡淡的烟草味﹌/ 2023年01月01日 01:44/ 0 赞/ 300 阅读

相关 Python爬虫实战之爬取网站全部图片(二)

通过python 来爬取网站内所有的图片到本地第三篇是动态获取参数构造图片地址实现下载图片传送门：[https://blog.csdn.net/qq\_3395

布满荆棘的人生/ 2022年12月08日 15:47/ 0 赞/ 286 阅读

相关 Python爬虫实战：东方财富网股吧数据爬取（二）

Python爬虫实战系列文章目录 [Python爬虫实战：东方财富网股吧数据爬取（一）][Python] [Python爬虫实战：东方财富网股吧数据爬取（二）][Py

我不是女神ヾ/ 2022年11月08日 15:28/ 0 赞/ 398 阅读

相关 Python3写爬虫（二）爬取页面图片

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] !/bin/python3 import

客官°小女子只卖身不卖艺/ 2022年10月02日 04:55/ 0 赞/ 180 阅读

相关 Python爬虫实战(三):简单爬取网页图片

先上代码: coding=utf-8 import urllib.request for i in range(1,41):

淡淡的烟草味﹌/ 2022年06月09日 10:50/ 0 赞/ 319 阅读

相关 Python爬虫实战(二):爬取天涯帖子(只看楼主)

先上代码 coding=utf-8 import requests from bs4 import Tag from bs4

「爱情、让人受尽委屈。」/ 2022年06月09日 10:49/ 0 赞/ 198 阅读

相关 Python爬虫实战(九)：爬取动态网页

coding=utf-8 import re import json import requests from prettyt

电玩女神/ 2022年06月06日 04:10/ 0 赞/ 310 阅读

相关 [python3]爬虫实战二之爬取百度贴吧帖子

参考http://cuiqingcai.com/990.html。不过原文是python2.7。大家好，上次我们实验了爬取了糗事百科的段子，那么这次我们来尝试一下爬取百

缺乏、安全感/ 2022年06月06日 01:27/ 0 赞/ 325 阅读