Python简单应用学习——简单爬虫应用（爬小说网站）

一时失言乱红尘 2023-07-05 14:41 86阅读 0赞

一.目的

还是Python的基础应用。这次用一下爬虫。然后看后面有没有时间，结合上一篇的可视化（需要继续深入）。试一下爬虫+可视化。弄一个东西出来，下面先弄个爬虫入门。

二 .思路分析

1.模拟发起
2.根据需求处理数据（编码处理、正则匹配）
3.存储数据
(这里补充点，要具体网址这里不放出来了)

三.具体分析（包括代码）

1.明确要爬的数据，查看其结构
1.1.这次我们要爬的是一个小说网站具体的某本小说，结构是这样的。首先我们进入它的list页面，然后该页面会有所有章节的链接和章节名
在这里插入图片描述
1.2.通过浏览器的编辑模式，我们可以看到发生请求的链接，当然还有下面的文件头watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bmZk_size_16_color_FFFFFF_t_70 1
1.3.这里我们可以看到，服务器返回的网页代码中，有对应的url和章节的
这里我们可以看到返回结果，每个章节对应的url
对应的代码

  1. #网页地址
  2. #文件头模拟,模拟是浏览器发起的
  3. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3",}
  4. url='https://xxxx/xxxxx/xxxxx/list.html'
  5. #模拟浏览器发出,所以要加headers
  6. response = requests.get(url,headers=headers)
  7. response.encoding = 'utf-8'
  8. html = response.text

2.这里的html就是我们获取到了list.html网页的所有东西，然后我们可以发现我们要的标题，和我们要的所有章节对应的东西都在特定字符串之间。然后我们可以通过正则表达式来进行匹配

  1. #匹配取出文章题目
  2. title = re.findall(r'<h1>(.*?)</h1>',mainContext[0])
  3. #这里（）的作用
  4. #一方面，如果没有（），那么<h1></h1>也会被存入到title中
  5. #另一方面，下面的（）是元组的意思，就是把匹配到的内容，封装到元组中
  6. chapter_lists = re.findall(r'<a href="(.*?)">(.*?)</a>',mainContext[0])
  7. for chapter_single in chapter_lists:
  8.     #取出每个元组chapter_single中的url,和title
  9.     chapter_url,chapter_title = chapter_single

3.获取到每个章节以后，我们来看看具体每个章节的内容。同样我们可以看到网页的代码，然后我们同样在某个字符串中获取到具体内容，然后再去掉一些多余的符号
在这里插入图片描述

  1. chapter_allcontext = requests.get(chapter_url, headers=headers)
  2.     chapter_allcontext.encoding = 'utf-8'
  3.     chapter_context =  re.findall(r'最新章节！(.*?)</p> <div>',chapter_allcontext.text)
  4.     #处理数据，去掉多余的符号，得到想要的内容
  5.     chapter_context = chapter_context[0].replace(' ','').replace('</p><p>','')

4.存储，我们这里是将得到的内容存储到文件中。通过

  1. fb = open('%s.txt' % title[0],'w',encoding='utf-8')

5.完全的代码()

  1. import requests
  2. import re
  3. #网页地址
  4. #文件头模拟,模拟是浏览器发起的
  5. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3",}
  6. url='https://xxxxxxxxxx/list.html'
  7. #模拟浏览器发出
  8. response = requests.get(url,headers=headers)
  9. response.encoding = 'utf-8'
  10. #通过查看网页代码，可以知道主要的数据在<h1>......</dl>之间，
  11. html = response.text
  12. mainContext = re.findall(r'<h1>.*?</dl>',html)
  13. #匹配取出文章题目
  14. title = re.findall(r'<h1>(.*?)</h1>',mainContext[0])
  15. #这里要用（）???,这里（）的作用
  16. #一方面，如果没有（），那么<h1></h1>也会被存入到title中
  17. #另一方面，下面的（）是元组的意思，就是把匹配到的内容，封装到元组中
  18. chapter_lists = re.findall(r'<a href="(.*?)">(.*?)</a>',mainContext[0])
  19. fb = open('%s.txt' % title[0],'w',encoding='utf-8')
  20. #循环获取每一个章节内容
  21. for chapter_single in chapter_lists:
  22.     #取出每个元组chapter_single中的url,和title
  23.     chapter_url,chapter_title = chapter_single
  24.     #list中的url并没有前缀，因此要加前缀得到连接
  25.     chapter_url =  'https://www.jingcaiyuedu.com/%s' % chapter_url
  26.     chapter_allcontext = requests.get(chapter_url, headers=headers)
  27.     chapter_allcontext.encoding = 'utf-8'
  28.     chapter_context =  re.findall(r'最新章节！(.*?)</p> <div>',chapter_allcontext.text)
  29.     #处理数据，去掉多余的符号
  30.     chapter_context = chapter_context[0].replace(' ','').replace('</p><p>','')
  31.     fb.write(chapter_title.replace('\r\r',''))
  32.     fb.write('\n')
  33.     fb.write(chapter_context)
  34.     fb.write('\n')

补充：我这里补充一下，因为我爬到的数据基本上都是在一行的，所以我正则匹配的时候少了re.S这个参数，如果你们爬到的数据，回来是有换行的，那么正则匹配需要加re.S这个参数。

  1. mainContext = re.findall(r'<h1>.*?</dl>',html，re.S)

原因如下：
正则表达式中，“.”的作用是匹配除“\n”以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。a字符串有每行的末尾有一个“\n”，不过它不可见。

如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

发表评论

表情：
评论列表 （有 0 条评论，86人围观）

还没有评论，来说两句吧...

相关阅读

    相关 python 爬虫爬取小说信息

    1.进入小说主页（以下示例是我在网上随便找的一片小说），获取该小说的名称、作者以及相关描述信息 2.获取该小说的所有章节列表信息（最重要的是每个章节的链接地址href） 3

    桃扇骨桃扇骨/ 0 赞/ 659 阅读