Python爬虫实例：抓取网页内容

原创 小灰灰 2025-03-01 23:27 40阅读 0赞

在Python中，我们可以使用各种库来实现爬虫功能。这里以常用的requests和BeautifulSoup库为例，介绍抓取网页内容的步骤。

  1. 安装所需库：
    首先需要在你的Python环境中安装requests和BeautifulSoup。你可以通过以下命令进行安装：

    1. pip install requests beautifulsoup4

  2. 编写爬虫代码：
    假设我们要抓取的网页是 https://example.com，下面是一个简单的例子：

    1. import requests
    2. from bs4 import BeautifulSoup
    4. # 1. 发送HTTP请求
    5. url = 'https://example.com'
    6. response = requests.get(url)
    8. # 2. 解析HTML内容
    9. if response.status_code == 200:
    10.     soup = BeautifulSoup(response.content, 'html.parser')
    12.     # 3. 从页面中提取需要的信息
    13.     content = soup.find('div', class_='main-content'))  # 假设主要内容在一个div标签内，class为'main-content'
    15.     if content:
    16.         print(content.text)  # 输出主要内容的文本
    18. else:
    19.     print(f"Failed to fetch content from {url}. Status code: {response.status_code}")

这个例子中，我们首先发送一个HTTP GET请求到目标URL，然后解析返回的内容。最后，我们将页面的主要内容打印出来。

当然，实际使用中可能需要处理更多的情况，比如登录、cookies处理等。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论

表情：
评论列表 （有 0 条评论，40人围观）

还没有评论，来说两句吧...

相关阅读