Python爬虫入门：模拟浏览器请求实例分享

原创 妖狐艹你老母 2024-12-17 09:00 101阅读 0赞

在Python爬虫中，模拟浏览器请求是非常基础且重要的一环。这里，我将提供一个简单的实例，介绍如何使用Python的requests库来模拟浏览器请求。

首先，确保已经安装了requests库。如果没有，可以通过pip进行安装：

  1. pip install requests

接下来，编写Python代码来模拟GET请求：

  1. import requests
  3. # 模拟浏览器的User-Agent
  4. headers = {
  5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
  6. }
  8. # 构造请求URL
  9. url = 'https://example.com/'
  11. # 使用requests库进行模拟请求
  12. response = requests.get(url, headers=headers)
  14. # 检查请求状态码
  15. if response.status_code == 200:
  16.     print('Request successful!')
  17.     # 打印返回的HTML内容（如果提供的话）
  18.     if response.text:
  19.         print(response.text)
  20. else:
  21.     print(f'Request failed with status code: {response.status_code}}')

这个实例中，我们使用requests库发送GET请求到指定URL。通过设置模拟浏览器的User-Agent，我们可以避免被网站识别为爬虫。

如果请求成功（状态码200），我们会打印出请求成功的信息，并可能打印返回的HTML内容（如果提供的话）。如果请求失败，也会相应地打印错误信息。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论

表情：
评论列表 （有 0 条评论，101人围观）

还没有评论，来说两句吧...

相关阅读