python打开网页获取网页内容方法总结

太过爱你忘了你带给我的痛 2022-08-04 00:53 703阅读 0赞

在学习python爬虫的过程中，总会遇到要获取网页内容的时候，下面就对如何获取网页内容进行总结。

**方法一：**

>import urllib
    >url="http://www.baidu.com" #这里是需要获取的网页
    >content=urllib.open(url).read() #使用urllib模块获取网页内容
    >print content #输出网页的内容 功能相当于查看网页源代码

**方法二：**

>import urllib2
    >from bs4 import BeautifulSoup #这里需要导入BeautifulSoup 
    >url="http://www.baidu.com"
    >content=urllib2.urlopen(url)
    >soup=BeautifulSoup(content) #将网页内容转化为BeautifulSoup 格式的数据
    >print soup

**方法三：**

>import requests
    >content=requests.get(url).content
    >print content

这里是使用的python的requests模块获取网页的内容。

**方法四：**

>import codecs  #导入codecs模块
    >f=codecs.open(url,"r","utf-8")   #使用codecs函数以打开的方式打开url 设置默认的编码方式为utf-8
    >content=f.read()
    >f.close()
    >print content

这里是使用的python的codecs模块。

推荐：

[BeautifulSoup的安装可以查看博客][BeautifulSoup]。

python中的模块安装及更新方法，可以查看博客（[pip][]，[easy\_install][easy_install]）。

[解决python中出现乱码问题，可以查看博客][python]。

[BeautifulSoup]: http://blog.csdn.net/winterto1990/article/details/47429347
[pip]: http://blog.csdn.net/winterto1990/article/details/47455405
[easy_install]: http://blog.csdn.net/winterto1990/article/details/47453211
[python]: http://blog.csdn.net/winterto1990/article/details/47660383

发表评论取消回复

表情：

评论列表（有 0 条评论，703人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取网页内容

import urllib.request url = "https://blog.csdn.net/zhangphil" response

浅浅的花香味﹌/ 2024年02月19日 17:17/ 0 赞/ 29 阅读

相关简单Python爬虫获取指定网页内容示例

本文使用BeautifulSoup工具，根据网页源码字段并分析指定网页，爬取对应字段并储存到文件中，供参考。刚开始参考了一篇文章：[Python

清疚/ 2022年12月15日 06:06/ 0 赞/ 236 阅读

相关 python打开网页获取网页内容方法总结

在学习python爬虫的过程中，总会遇到要获取网页内容的时候，下面就对如何获取网页内容进行总结。方法一： >import urllib >url="htt

太过爱你忘了你带给我的痛/ 2022年08月04日 00:53/ 0 赞/ 704 阅读

相关 C#如何获取网页内容

> 我们开发中经常会遇到程序需要获取网页的html代码来取出一些需要的东西，那么.net微软的库中就已经为我们准备了很多方式，如下例： > > > > using

朴灿烈づ我的快乐病毒、/ 2022年06月18日 01:10/ 0 赞/ 143 阅读

相关【PHP-网页内容抓取】抓取网页内容的两种常用方法

说到网页内容的抓取，最常用的两种方式： 1.利用file\_get\_contents()函数，简简单单； 2.CURL抓取工具。CURL是一个非常强大的开源库，支持很多协

缺乏、安全感/ 2022年06月17日 10:54/ 0 赞/ 395 阅读

相关网页打开app

先声明一下关于ios中9.0打开方式的文章来自博客：[IOS9通用链接（universal link）][IOS9_universal link] 前言对于一个完备的

喜欢ヅ旅行/ 2022年05月27日 06:37/ 0 赞/ 232 阅读

相关 scrapy获取网页内容和图片下载

首先在终端命令行菜单键+R输入cmd进入命令行然后再终端输入cd+空格把储存的地址拉获取: 在存储的路径下创建一个小的项目输入scrapy startproject Q

系统管理员/ 2022年05月17日 01:13/ 0 赞/ 234 阅读

相关（2）获取网页源代码——Python

Python版：超级简短 !/usr/bin/python -- coding: utf-8 -- import urllib2 respon

淡淡的烟草味﹌/ 2022年05月15日 04:48/ 0 赞/ 217 阅读

相关 Python获取网页源码

Py2k中直接导入urllib2，就可以读取网页源码。 import urllib2 content = urllib2.urlopen('http://ww

柔情只为你懂/ 2021年09月13日 21:40/ 0 赞/ 365 阅读

相关 Java基础：利用HttpClient获取网页内容

<table style="BORDER-TOP: ffffff 17px solid"> <tbody> <tr> <td align="center">

客官°小女子只卖身不卖艺/ 2021年09月10日 05:28/ 0 赞/ 294 阅读