用python抓取中北大学贴吧信息看热点

拼搏现实的明天。 2022-06-11 09:20 97阅读 0赞

`经过几天的学习已可以写出简单的爬虫了，无聊逛贴吧就实验一下， 一、明白你的目的是什么             我只是想看一下最近贴吧小萌新讨论什么在，反应讨论内容的就是标题了，因此我们要把他们的标题爬下来，于是切到网页，最好用谷歌打开。 然后我们就要确定要抓取得对象了 此时就可以编写代码来实现抓取我们的标题了，话不多说上代码，程序员的耿直：`

import requests
    from bs4 import BeautifulSoup
    url='http://tieba.baidu.com/f?ie=utf-8&kw=%E4%B8%AD%E5%8C%97%E5%A4%A7%E5%AD%A6&fr=search'#所要抓取的网页地址
    res=requests.get(url) res.encoding='utf-8'
    soup=BeautifulSoup(res.text,'html.parser')
    for i in range(1,50):    
        title=soup.select('.j_th_tit')   
        print(title)
    
    
    
    
     
     
     
    注意代码不一定对。因为此文是补录。
     
     作为一个立志成为优秀程序员的男人，这个代码还是要加点东西的。
     就把链接就加上吧：已经熄灯了，简单说了。
     
     还是继续审查元素，知道了超链接和标题的位置就阔以了：
     上代码，
     import requests
    from bs4 import BeautifulSoup
    from datetime import datetime
    import re
    import json
    url='http://tieba.baidu.com/f?ie=utf-8&kw=%E4%B8%AD%E5%8C%97%E5%A4%A7%E5%AD%A6&fr=search'
    res=requests.get(url)
    res.encoding='utf-8'
    soup=BeautifulSoup(res.text,'html.parser')
    for i in range(1,50):
        title=soup.select('.threadlist_title a')[i]['title']
        print(title)
        hurl='http://tieba.baidu.com{}'
        aurl=soup.select('.threadlist_title a')[i]['href']
        nurl=hurl.format(aurl)
        print(nurl)
    
     
     这样就知道了小萌新在贴吧聊什么了，突然有一种发现别人秘密的感觉。
     实例图
     
     【新生必戳】2017中北大学新生群号＆答疑帖
    http://tieba.baidu.com/p/5227470923
    【新生必看】关于手机卡和校园网的通知
    http://tieba.baidu.com/p/5247121043
    学长学姐，我想问一下教务处在几
    http://tieba.baidu.com/p/5256681391
    特殊的毕业旅行
    http://tieba.baidu.com/p/5211978529
    互关吗互关吗互关吗
    http://tieba.baidu.com/p/5257103096
    学校里有没有电影院
    http://tieba.baidu.com/p/5256895302
    请问中北大学可以转专业吗？
    http://tieba.baidu.com/p/5255295200
    有麻油同湖北的萌新
    http://tieba.baidu.com/p/5257335895
    纠结的心理
    http://tieba.baidu.com/p/5256963745
    那萌新就来献丑了
    http://tieba.baidu.com/p/5253516868
    为什么咱们学校没有校草校花？
    http://tieba.baidu.com/p/5257306898
    帮朋友问一下毕业的大佬
    http://tieba.baidu.com/p/5257261851
    通知书以到，怎么知道自己那个班
    http://tieba.baidu.com/p/5255706672
    水了一天群想告诉新生们的话
    http://tieba.baidu.com/p/5256225082
    中北大学的软件工程的宿舍怎么样？
    http://tieba.baidu.com/p/5255651926
    中北大学就业协会17帖
    http://tieba.baidu.com/p/5226152725
    关于大学生暑期社会实践报告怎么写
    http://tieba.baidu.com/p/5252685491
    山西的收到通知书了吗，什么时候发
    http://tieba.baidu.com/p/5256776564
    长期贴
    http://tieba.baidu.com/p/4820783686
    新生时候加了迎新群
    http://tieba.baidu.com/p/5256423098
    找一个中北大学的家教
    http://tieba.baidu.com/p/5257309476
    中北大学1b的通知书山西的收到
    http://tieba.baidu.com/p/5257131093
    工银e校园注册时营销代码这一项
    http://tieba.baidu.com/p/5257181535
    还有什么歌给我推荐？
    http://tieba.baidu.com/p/5256590955
    我希望   明天  可以看到不一样的自己
    http://tieba.baidu.com/p/5256599418
    有没有人有教室的照片呢？
    http://tieba.baidu.com/p/5257180451
    半导体街舞社团2017迎新专贴
    http://tieba.baidu.com/p/5224331735
    晒一下山西太原刚到手
    http://tieba.baidu.com/p/5255283044
    求一卡通，有没有出去实习的同学
    http://tieba.baidu.com/p/5256945608
    各位亲爱的校友，求花花，孙春宜，咖喱咖喱。
    http://tieba.baidu.com/p/5257292790
    家里的猫生了一窝宝宝，两个月已
    http://tieba.baidu.com/p/5254553411
    萌新又来求助大佬们了(๑•ั็
    http://tieba.baidu.com/p/5257181864
    【交易专贴】租房分贴-------2017上半年专贴
    http://tieba.baidu.com/p/4922218979
    诗经中那些美腻的诗…
    http://tieba.baidu.com/p/5254267901
    中北大学附近旅店推荐
    http://tieba.baidu.com/p/5257201620
    【中北大学】社团名单(2017)
    http://tieba.baidu.com/p/5252367778
    我回答的没错吧？
    http://tieba.baidu.com/p/5256857659
    哪里可以用一卡通打水了？水房关
    http://tieba.baidu.com/p/5257157149
    【中北大学】2017年8月份综合交易贴
    http://tieba.baidu.com/p/5252137331
    学校的床褥必须强制购买吗？可不
    http://tieba.baidu.com/p/5257028158
    学哥学姐们，请问下中北大学有专
    http://tieba.baidu.com/p/5257205525
    一院有美艳的小哥哥吗？
    http://tieba.baidu.com/p/5249478052
    白话金瓶梅......少儿不宜—转载......
    http://tieba.baidu.com/p/2713850140
    中北漫游引力动漫社~纳~新~啦！！！！
    http://tieba.baidu.com/p/5231212310
    今年补考报名接受纸质报名吗
    http://tieba.baidu.com/p/5257220222
    求租一张一卡通到考研结束
    http://tieba.baidu.com/p/5257210743
    这个必须带吗？为啥没人通知啊？
    http://tieba.baidu.com/p/5256917501
    大英2有没有车队
    http://tieba.baidu.com/p/5257203685
    诸位学哥学姐这个怎么样，看起来
    http://tieba.baidu.com/p/5233250008
    
    
     
     
     好了就简单说这些，要睡美容觉了!