python 网站爬虫 下载在线盗墓笔记小说到本地的脚本

妖狐艹你老母 2022-08-13 06:00 244阅读 0赞

最近闲着没事想看小说，找到一个全是南派三叔的小说的网站，决定都下载下来看看，于是动手，在很多QQ群里高手的帮助下（本人正则表达式很烂，程序复杂的正则都是一些高手指导的），花了三四天写了一个脚本

需要 BeautifulSoup 和 requests 两个库

（我已经把注释写得尽量详细）

这个程序的执行速度很慢，求高手告诉我优化的方法！！ 

  1. #-*-coding:utf8-*-
  3. from bs4 import BeautifulSoup
  4. import requests
  5. import re
  6. import os
  9. #打开网页将所需的URL读取出来放进一个列表中
  10. r = requests.get('http://www.nanpaisanshu.org/').content  #打开要读取的网页
  11. content=BeautifulSoup(r).findAll('a',href=re.compile(r'\Ahttp://www.nanpaisanshu.org/[a-z]+\Z')) #在网页中找到需要的信息
  13. sc = str(content) #转换为string类型
  15. lists=[]
  16. lists = sc.split(',')   
  17. lists = list(set(lists)) #删除列表中重复信息
  19. lisy=[]
  22. for line in lists:
  23.     p=line.split('"')[1]  #按 " 分割，取出需要的信息写进数组
  24.     lisy.append(p)        #这里已经拥有需要的url
  25.     #print p
  26. #print lisy
  29. #把读取到的URL遍历打开，将所有网页保存到html文件中
  31. s = os.getcwd()#当前路径
  33. d = os.sep  #系统分隔符
  35. namef='aaa' #文件加名称
  37. #b = os.path.exists( s+d+namef) #判断是存在
  39. f=os.path.exists(s+d+namef) #判断是存在
  41. if f==False:
  42.     os.mkdir(s+d+namef)  #如果文件夹不存在就新建一个
  43. else:
  44.     print u'已经存在'+namef
  46. filenm = s+d+namef+d    #路径
  48. i=1
  49. for line in lisy:
  50.     r = requests.get(line)   #遍历打开所有url
  51.     print r.content
  52.     print '\n'
  53.     tfile=open(filenm+'neirong'+str(i)+'.html','w')
  54.     i=i+1
  55.     tfile.write(r.content) #将网页内容写入文件
  57. #将URL文件中的符合要求的URL读取出来写进一个txt文件中
  58. for i in range(1,len(lisy)+1):
  59.     fp = open(filenm+'neirong'+str(i)+'.html', "r")
  60.     of = open(filenm+'neirong'+str(i)+'.txt','w')  
  61.     content = fp.read()   #将文件内容读取
  63.     p=re.compile(r'http://www\.nanpaisanshu\.org/.*?\.html') #正则匹配
  65.     #print p.findall(content)
  67.     #print type(p.findall(content))
  69.     for line in p.findall(content):  
  70.         #print line+'\n'
  71.         #if line !='http://www.nanpaisanshu.org/9701.html':
  72.         of.write(line+'\n')  #将匹配到的文件写入另一个文件中
  73.         #else:
  74.             #continue
  76.         #of.write(str(p.findall(content)))
  78. #关闭文件
  79. of.close()
  80. fp.close()
  81. tfile.close()
  84. #将txt
  86. for i in range(1,len(lisy)+1):
  87.     ot=open(filenm+'neirong'+str(i)+'.txt','r')
  88.     outfile=open(filenm+'quanbu'+str(i)+'.txt','a+')
  91.     li=[]
  92.     for line in ot:
  93.         line = line.replace('\n','')
  94.         li.append(line)   #将url文件中的数据放进列表中
  96.     li = sorted(li)  #给列表排序
  98.     for line in li:
  99.         print line
  100.         #line = line.replace('\n','')
  101.         r = requests.get(line).content  #遍历打开所有url
  102.         title=BeautifulSoup(r).find("div",{'class':"post_title"}).h2   #取出标题
  103.         content=BeautifulSoup(r).findAll("div",{'class':"post_entry"}) #取出内容
  104.         sti=str(title).replace('<h2>','').replace('</h2>','')  #处理标题，只保留文字
  106.         #处理内容，只保留文字
  107.         scon = str(content).replace('<p>','  ').replace('</p>','  ').replace('<br/>','\n')
  108.         #print str(urllist)
  109.         scon = re.sub("<.*>", "", scon)
  110.         scon = re.sub("(.*?);","",scon) 
  111.         #scon = scon.strip()
  112.         scon = '\n'.join(scon.split())
  114.         print scon
  115.         outfile.write(sti+'\n'+line+'\n'+scon) #将标题和内容写进文件中
  116.     #i=i+1
  117.     #print 
  118. #print urllist
  120. print '=========================下载结束======================='
  123. #关闭文件
  124. outfile.close()
  125. ot.close()
  129. #取出指定文件夹下的所有文件名
  130. targetDir=s+d+namef
  131. for line in os.listdir(targetDir):
  133.     p=re.compile(r'neirong[0-9]{1}') #用正则匹配
  134.     if p.match(line)!=None:
  135.         print "需要删除的文件"+s+d+namef+d+line+'!!'
  136.         os.remove(s+d+namef+d+line)  #匹配成功就删除这个文件，os.remove()中需要完整路径
  137.     else:
  138.         print '保留文件！'
  139.         continue

有时候会显示连接失败，然后程序报错，应该判断一下 requests.get(url).status_code != 200 不过我加了以后发现运行更慢，每个页面都判断，汗，可能是因为我这里网速几K的原因才会异常

下面是修改后的完善版，慎用，速度极其的慢，判断的东西和次数增加的缘故：

  1. #-*-coding:utf8-*-
  3. #下载盗墓笔记小说
  4. #2014-10-14
  5. #ZJL
  7. from bs4 import BeautifulSoup
  8. import requests
  9. import re
  10. import os
  13. #打开网页将所需的URL读取出来放进一个列表中
  14. r = requests.get('http://www.nanpaisanshu.org/').content  #打开要读取的网页
  15. content=BeautifulSoup(r).findAll('a',href=re.compile(r'\Ahttp://www.nanpaisanshu.org/[a-z]+\Z')) #在网页中找到需要的信息
  17. sc = str(content) #转换为string类型
  19. lists=[]
  20. lists = sc.split(',')   
  21. lists = list(set(lists)) #删除列表中重复信息
  23. lisy=[]
  26. for line in lists:
  27.     p=line.split('"')[1]  #按 " 分割，取出需要的信息写进数组
  28.     lisy.append(p)        #这里已经拥有需要的url
  29.     #print p
  30. #print lisy
  33. #把读取到的URL遍历打开，将所有网页保存到html文件中
  35. s = os.getcwd()#当前路径
  37. d = os.sep  #系统分隔符
  39. namef='aaa' #文件加名称
  41. #b = os.path.exists( s+d+namef) #判断是存在
  43. f=os.path.exists(s+d+namef) #判断是存在
  45. if f==False:
  46.     os.mkdir(s+d+namef)  #如果文件夹不存在就新建一个
  47. else:
  48.     print u'已经存在'+namef
  50. filenm = s+d+namef+d    #路径
  52. i=1
  53. for line in lisy:
  54.     r = requests.get(line)   #遍历打开所有url
  55.     print r.content
  56.     print '\n'
  57.     tfile=open(filenm+'neirong'+str(i)+'.html','w')
  58.     i=i+1
  59.     tfile.write(r.content) #将网页内容写入文件
  61. #将URL文件中的符合要求的URL读取出来写进一个txt文件中
  62. for i in range(1,len(lisy)+1):
  63.     fp = open(filenm+'neirong'+str(i)+'.html', "r")
  64.     of = open(filenm+'neirong'+str(i)+'.txt','w')  
  65.     content = fp.read()   #将文件内容读取
  67.     p=re.compile(r'http://www\.nanpaisanshu\.org/.*?\.html') #正则匹配
  69.     #print p.findall(content)
  71.     #print type(p.findall(content))
  73.     for line in p.findall(content):  
  74.         #print line+'\n'
  75.         #if line !='http://www.nanpaisanshu.org/9701.html':
  76.         of.write(line+'\n')  #将匹配到的文件写入另一个文件中
  77.         #else:
  78.             #continue
  80.         #of.write(str(p.findall(content)))
  82. #关闭文件
  83. of.close()
  84. fp.close()
  85. tfile.close()
  88. #将txt
  90. for i in range(1,len(lisy)+1):
  91.     ot=open(filenm+'neirong'+str(i)+'.txt','r')
  92.     if os.path.exists(filenm+'quanbu'+str(i)+'.txt')==True:
  93.         print "已经存在"+filenm+'quanbu'+str(i)+'.txt'+'会先删除再创建'
  94.         os.remove(filenm+'quanbu'+str(i)+'.txt')
  95.         outfile=open(filenm+'quanbu'+str(i)+'.txt','a+')   #防止第二次下载时内容在文件后面追加(不知道会不会重新新建文件覆盖掉原来的文件所以这么做)
  97.     else:
  98.         print "新建"+filenm+'quanbu'+str(i)+'.txt'
  99.         outfile=open(filenm+'quanbu'+str(i)+'.txt','a+')
  103.     li=[]
  104.     for line in ot:
  105.         line = line.replace('\n','')
  106.         li.append(line)   #将url文件中的数据放进列表中
  108.     li = sorted(li)  #给列表排序
  110.     for line in li:
  111.     #print line
  112.         #line = line.replace('\n','')
  114.         if requests.get(line).status_code != 200:
  115.             print '因为网络原因，这个章节为空!'
  116.             outfile.write('因为网络原因，这个章节为空')   #判断网络连接情况，防止连接失败后程序报错
  117.         elif requests.get(line).status_code == 200:
  118.             print '连接成功！'
  119.             r = requests.get(line).content  #遍历打开所有url
  120.             title=BeautifulSoup(r).find("div",{'class':"post_title"}).h2   #取出标题
  121.             content=BeautifulSoup(r).findAll("div",{'class':"post_entry"}) #取出内容
  122.             sti=str(title).replace('<h2>','').replace('</h2>','')  #处理标题，只保留文字
  124.             #处理内容，只保留文字
  125.             scon = str(content).replace('<p>','  ').replace('</p>','  ').replace('<br/>','\n')
  126.             #print str(urllist)
  127.             scon = re.sub("<.*>", "", scon)
  128.             scon = re.sub("(.*?);","",scon) 
  129.             #scon = scon.strip()
  130.             scon = '\n'.join(scon.split())
  132.             print scon
  133.             outfile.write(sti+'\n'+line+'\n'+scon) #将标题，链接，内容写进文件中
  134.         #i=i+1
  135.         #print 
  136.         #print urllist
  138. print '=========================下载结束======================='
  141. #关闭文件
  142. outfile.close()
  143. ot.close()
  147. #取出指定文件夹下的所有文件名
  148. targetDir=s+d+namef
  149. for line in os.listdir(targetDir):
  151.     p=re.compile(r'neirong[0-9]{1}') #用正则匹配
  152.     if p.match(line)!=None:
  153.         print "需要删除的文件"+s+d+namef+d+line+'!!'
  154.         os.remove(s+d+namef+d+line)  #匹配成功就删除这个文件，os.remove()中需要完整路径
  155.     else:
  156.         print '保留文件！'
  157.         continue

发表评论

表情：
评论列表 （有 0 条评论，244人围观）

还没有评论，来说两句吧...

相关阅读

    相关 python自动下载小说

    大家好呀，空虚且漫长的三天小长假终于过去了，，哈哈哈哈，又是一个愉快的周一 ![在这里插入图片描述][20200106095612416.png] 刚到公司还没坐下，我

    Myth丶恋晨Myth丶恋晨/ 0 赞/ 95 阅读

    相关 java爬虫之下载txt小说

    最近迷上了天蚕土豆写的《大主宰》这本玄幻小说，无奈找不到下载链接。于是就萌生了自己爬取小说章节的想法，代码其实很简单，主要在于分析网页结构、正则匹配以及文件保存. 1

    小灰灰小灰灰/ 0 赞/ 304 阅读