Python爬虫实践：网页抓取与数据清洗

原创 旧城等待， 2025-03-03 14:57 42阅读 0赞

在Python中，我们可以使用requests库获取网页内容，然后使用BeautifulSoup等库解析HTML并提取所需数据。数据清洗则包括去除冗余信息、处理缺失值、纠正错误数据等步骤。

下面是一个简单的爬虫示例，从一个网站抓取标题：

  1. import requests
  2. from bs4 import BeautifulSoup
  4. # 请求网页
  5. url = 'https://example.com'  # 这里替换为你要爬取的URL
  6. response = requests.get(url)
  8. # 如果请求成功（HTTP状态码200），则解析HTML
  9. if response.status_code == 200:
  10.     soup = BeautifulSoup(response.text, 'html.parser')
  12.     # 找到所有标题（这里假设标题都是h1标签）
  13.     titles = soup.find_all('h1')
  15.     for title in titles:
  16.         print(title.get_text())
  17. else:
  18.     print(f"请求失败，状态码：{response.status_code}}")

注意，爬虫使用时应遵守相关法律法规和网站的Robots协议。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论

表情：
评论列表 （有 0 条评论，42人围观）

还没有评论，来说两句吧...

相关阅读