掌握Python爬虫基础:模拟浏览器请求
在Python中,进行网页爬虫的一个重要步骤就是模拟浏览器发送请求。这通常涉及到使用Python的requests库。
以下是一个简单的示例:
import requests
# 定义要访问的URL
url = 'http://example.com'
# 使用requests.get()方法模拟GET请求
response = requests.get(url)
# 如果请求成功,响应状态码将为200
if response.status_code == 200:
# 现在你可以处理返回的数据了
print(response.text)
else:
print('请求失败,状态码:', response.status_code)
这段代码首先导入requests库,然后定义要访问的URL。接着使用requests.get()方法发送GET请求,并将响应存储在response变量中。最后根据请求的状态码处理返回的数据。
还没有评论,来说两句吧...