【python学习day3】入门爬虫（详细）

快来打我* 2022-11-29 05:40 161阅读 0赞

一、任务描述  
   实现简单的网页分析和文字内容爬取,话不多说，直接上代码和步骤分析；

二、准备工作

（1）了解html的一些简单常识（ 可参考 ：[W3school、][W3school][MDN][]）  
（2）了解正则表达式(可参考： [菜鸟网站][Link 1])  
 （3）导入的包 requests或者 urllib （本文采用的requests）  
关于requests与urllib的详细介绍，我就在这里介绍了，有需求请参考文档。

三、爬虫实现

1.**打开网页**  
（1）获取url  
（2）分析获取的内容  
右击点击查看到工作台进行源码的查看=>此篇篇章是文字，目标也是爬取文字，即爬取p标签里面的内容即可  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center]  
2.在ide中进行代码书写（推荐使用pycharm）

目录：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center 1]  
具体代码：

# 引入正则的库
    import re
    # 引入请求HTTP的库
    import requests
    # 打开网页
    res2 =requests.get("https://www.wanmeitxt.com/book/yunbianyougexiaomaibu/22082.html")
    # 解决编码问题 通过res.apparent_encoding属性指定 res.text.encode('iso-8859-1').decode('gbk')
    res2.encoding = 'utf-8'
    print(res2.text)
    # findall():获取所有满足正则的表达式
    content = re.findall(r'<p>(.*?)</p>', res2.text)
    print(content)
    # 进行list = >字符串转换 write（）只能写入字符串
    s = ""
    for item in content:
      s = s+str(item)+"\n"
    open("/Users/lyf/工程文件/PycharmProjects/Python学习/爬虫/基础爬取示例/云边有个小卖部", "r+", encoding="utf-8").write(s)

效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center 2]  
文字段落未做处理；可以进行断行什么字符串处理的；

其他注意事项：  
（1）编码问题：[参考此篇][Link 2]

（2）urllib在python3淘汰了改为urllib.request

（3）(.\*？):获取的内容 熟悉正则 ：目前作者这块还比较薄弱所以说，也只能简单爬爬标签里面的内容

[W3school]: https://www.w3school.com.cn/h.asp
[MDN]: https://developer.mozilla.org/zh-CN/
[Link 1]: https://www.runoob.com/python3/python3-reg-expressions.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/8cafde4d266140b68bbd77eb7e7a1dca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/e1e2b55869784888ad0a8015baa082f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjU0OTc0_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/c274bb0beec547cdae00a294b2d12c51.png
[Link 2]: https://www.sohu.com/a/289375951_420744