Python贴吧邮箱爬虫

傷城~ 2022-05-11 06:54 218阅读 0赞

贴吧是个水很深的地方，有很多潜水的鱼，比如底下留下QQ邮箱的这群人  
![在这里插入图片描述][20180920210430758]  
帖子的内容大概是留邮箱发视频教学（不是我发的啊）。放点鱼饵，潜水的鱼儿都出来了。要是一个个手动发邮箱太累了。还是写个爬虫，来个精准推广群的广告吧。如果你在贴吧留邮箱，说不定会收到哦。  
OK，来贴一下代码

#coding=utf-8
    import urllib2
    import urllib
    from lxml import etree
    import re
    import time
    
    import smtplib  #加载smtplib模块
    from email.mime.text import MIMEText
    from email.utils import formataddr
    
    
    sendFrom='loyalwilliams@163.com' #发件人邮箱账号，为了后面易于维护，所以写成了变量
    sendTo='2541692705@qq.com' #收件人邮箱账号，为了后面易于维护，所以写成了变量
    passwd="你的邮箱密码" #密码
    msg=''' 这是一封来自python的邮件 '''
    def mail(sendFrom,sendTo,passwd,msg):
        ''' 发送邮件的方法 :param sendFrom: 发送人邮箱 :param sendTo: 收件人邮箱 :param passwd: 发送邮箱密码 :param msg: 发送信息 :return: '''
        ret=True
        try:
            msg=MIMEText(msg,'plain','utf-8')
            msg['From']=formataddr(["大数据学习交流",sendFrom])   #括号里的对应发件人邮箱昵称、发件人邮箱账号
            msg['To']=formataddr(["mylove",sendTo])   #括号里的对应收件人邮箱昵称、收件人邮箱账号
            msg['Subject']="大数据学习资料" #邮件的主题，也可以说是标题
            server=smtplib.SMTP("smtp.163.com",25)  #发件人邮箱中的SMTP服务器，端口是25
            server.login(sendFrom,passwd)    #括号中对应的是发件人邮箱账号、邮箱密码
            server.sendmail(sendFrom,[sendTo,],msg.as_string())   #括号中对应的是发件人邮箱账号、收件人邮箱账号、发送邮件
            server.quit()   #这句是关闭连接的意思
        except Exception:   #如果try中的语句没有执行，则会执行下面的ret=False
            ret=False
        return ret
    
    
    class Spider():
        ''' 贴吧爬虫类 '''
        def __init__(self):
            self.tiebaName = raw_input("请输入需要访问的贴吧：")
            self.beginPage = int(raw_input("请输入起始页："))
            self.endPage = int(raw_input("请输入终止页："))
            self.count=0
    
            # 邮箱匹配规则
            self.pattern = re.compile(r'\d+@qq.com')
            self.url = 'http://tieba.baidu.com/f'
            self.ua_header = { "User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}
    
        def myurlopen(self,request):
            ''' 访问30次歇0.5秒 :param request: :return: '''
            self.count = self.count + 1
            if (self.count % 30 == 0):
                time.sleep(0.5)
            return urllib2.urlopen(request)
    
        def tiebaSpider(self):
            ''' 爬取贴吧所有帖子的链接 :return: 所有帖子的链接列表 '''
            for page in range(self.beginPage, self.endPage + 1):
                pn = (page - 1) * 50  # page number
                word = { 'pn': pn, 'kw': self.tiebaName}
    
                word = urllib.urlencode(word)  # 转换成url编码格式（字符串）
                myUrl = self.url + "?" + word
    
                # 示例：http://tieba.baidu.com/f? kw=%E7%BE%8E%E5%A5%B3 & pn=50
                # 调用 页面处理函数 load_Page
                # 并且获取页面所有帖子链接,
                selector = self.loadPage(myUrl)  # urllib2_test3.py
                # 先爬取每个贴吧帖子的连接地址
                links = selector.xpath('//div[@class="threadlist_title pull_left j_th_tit "]/a/@href')
                # 每个帖子的链接=基本url拼上相对路径
                return map(lambda x:"https://tieba.baidu.com"+x,links)
    
        # 读取页面内容
        def loadPage(self, url):
            ''' 加载url,返回xpath选择器 :param url: :return: '''
            req = urllib2.Request(url, headers = self.ua_header)
            html = self.myurlopen(req).read()
            # 解析html 为 HTML 文档
            selector=etree.HTML(html)
            # print html
            return selector
    
        def emailSpider(self,url):
            ''' 爬取url内的所有qq邮箱 :param url: :return: qq邮箱列表 '''
            request = urllib2.Request(url, headers=self.ua_header)
            content_html = self.myurlopen(request).read()
            # print content_html
            return self.pattern.findall(content_html)
    
    
    def sendMail(sendFrom, sendTo, passwd, msg, tryTimes=3):
        ''' 发送邮件,发送失败会重新发送，默认最多尝试3次 :param sendFrom: :param sendTo: :param passwd: :param msg: :param tryTimes: :return: '''
        for i in range(1, tryTimes+1):  #
            ret = mail(sendFrom, sendTo, passwd, msg)
            if ret:
                print("ok,邮件发送成功")  # 如果发送成功则会返回ok，稍等20秒左右就可以收到邮件
                break
            else:
                print("失败第[" + i + "/"+tryTimes+"]次,尝试重新发送")  # 如果发送失败则会返回filed
    
    
    def main():
        spider = Spider()
        # 返回一个贴吧帖子的链接列表
        links = spider.tiebaSpider()
        #放到一个集合里去掉重复邮件
        mailSet={ ''}
        for link in links:
            mails = spider.emailSpider(link)
            for qqMail in mails:
                if qqMail not in mailSet:
                    mailSet.add(qqMail)
                    print qqMail
                   sendMail(sendFrom, qqMail, passwd, msg)
    
    
    if __name__ =="__main__":
        main()
    
    ''' 测试爬虫的方法 '''
    def testSpider():
        spider=Spider()
        # spider.loadPage("https://tieba.baidu.com/f?kw=hadoop&ie=utf-8&pn=50")
        # print spider.tiebaSpider()
        emailList=spider.emailSpider("https://tieba.baidu.com/p/5793741948")
        print type(emailList),emailList
    # testSpider()

代码放在GitHub上，[python-learning][]  
以上具体代码在目录[crawler/base/urllib2\_re\_xml/tieba\_email.py][crawler_base_urllib2_re_xml_tieba_email.py]

[我的GitHub][GitHub]  
QQ：2541692705  
邮箱：loyalwilliams@163.com  
微信扫一扫关注我，没事可以玩玩小游戏  
![20190521165139570.png][]  
  
  
我想去流浪，我想去读书，若有机会，江湖再见  
扫一扫，领取红包，就当奖励你我付出的努力  
![20181213140254471.png][]

[20180920210430758]: /images/20220511/f857cc5550bd4a80a2a64e057557962b.png
[python-learning]: https://github.com/LoyalWilliams/python-learning
[crawler_base_urllib2_re_xml_tieba_email.py]: https://github.com/LoyalWilliams/python-learning/blob/master/crawler/base/urllib2_re_xml/tieba_email.py
[GitHub]: https://github.com/LoyalWilliams
[20190521165139570.png]: /images/20220511/7dc5230c89574d27af6c6ca8b5dd4029.png
[20181213140254471.png]: /images/20220511/558a1349a2824b4e98e66edf93d914c1.png