python爬虫如何从一个页面进入另一个页面-Python爬虫如何获取页面内所有URL链接？本文详解...

比眉伴天荒 2022-11-21 14:21 150阅读 0赞

如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。

![5d0ae5aa02209467.jpg][]

什么是Beautiful Soup？

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快。

全部代码：

from bs4 import BeautifulSoup

import time,re,urllib2

t=time.time()

websiteurls=\{\}

def scanpage(url):

websiteurl=url

t=time.time()

n=0

html=urllib2.urlopen(websiteurl).read()

soup=BeautifulSoup(html)

pageurls=\[\]

Upageurls=\{\}

pageurls=soup.find\_all("a",href=True)

for links in pageurls:

if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:

Upageurls\[links.get("href")\]=0

for links in Upageurls.keys():

try:

urllib2.urlopen(links).getcode()

except:

print "connect failed"

else:

t2=time.time()

Upageurls\[links\]=urllib2.urlopen(links).getcode()

print n,

print links,

print Upageurls\[links\]

t1=time.time()

print t1-t2

n+=1

print ("total is "+repr(n)+" links")

print time.time()-t

scanpage("http://news.163.com/")

利用BeautifulSoup还可以有针对性的获取网页链接：Python爬虫获取网页上的链接，通过beautifulsoup的findall()方法对匹配的标签进行查找。

最后注意：光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

[5d0ae5aa02209467.jpg]: /images/20221120/e2dabe2af7a943f1b5f65d444c40562a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫如何从一个页面进入另一个页面-爬虫入门（一）——如何打开一个网页...

做了一段时间自然语言处理的项目，体会到了爬虫的乐趣，甚至一度产生了学好爬虫真的可以为所欲为的美妙错觉。因此决定开个坑，记录自己的爬虫学习过程，也督促自己学习更高深的爬虫姿势。目

快来打我*/ 2022年11月21日 14:28/ 0 赞/ 306 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...

用BeautifulSoup爬取了第一页的内容，但是不知道剩下的页面怎么爬。首页链接是长这样的： http://gdemba.gicp.net:82/interunit/

小灰灰/ 2022年11月21日 14:23/ 0 赞/ 151 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...

用BeautifulSoup爬取了第一页的内容，但是不知道剩下的页面怎么爬。首页链接是长这样的： http://gdemba.gicp.net:82/interunit/

野性酷女/ 2022年11月21日 14:23/ 0 赞/ 157 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫如何获取页面内所有URL链接？本文详解...

如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 ![5d

比眉伴天荒/ 2022年11月21日 14:21/ 0 赞/ 151 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...

实现网页的键盘输入操作 from selenium.webdriver.common.keys import Keys 动态网页有时需要将鼠标悬停在某个元素上，相应的列表选

待我称王封你为后i/ 2022年11月21日 14:09/ 0 赞/ 585 阅读

相关 jsp页面内嵌另一个jsp公共页面

在开发过程中，有些功能是一直可以重复使用的，这样的页面我们可以做成公共的，供每个页面适用，那么就需要我们在使用的时候做一下嵌套。例如：这样一个页面中： ![70

た入场券/ 2022年05月22日 09:22/ 0 赞/ 243 阅读

相关如何将一个HTML页面嵌套在另一个页面中

[如何将一个HTML页面嵌套在另一个页面中][HTML] 2010-05-05 16:45 559人阅读 [ 评论][Link 1](1) [收藏][Link 2] [

﹏ヽ暗。殇╰゛Y/ 2022年04月11日 14:51/ 0 赞/ 494 阅读

相关一个html页面如何包含另一个html页面

我的qq 2038373094 使用教程一套系统包含很多页面，但是许多的页面的头部或者是底部都是一样的，这个时候，如果用一个公共的页面，在这个公共的页面里面写公

电玩女神/ 2022年02月04日 13:13/ 0 赞/ 379 阅读

相关 HTML||从一个页面跳转至另一个html页面的子页面（超链接）

超链接的介绍超链接在本质上属于网页一部分，它是一种允许我们同其他网页或站点之间进行连接的元素。各个网页链接在一起后，才能真正构成一个网站。所谓超链接是指从一个网页指

一时失言乱红尘/ 2021年11月09日 11:18/ 0 赞/ 1223 阅读

相关通过url从一个页面向另一个页面传数据

假设我在a.html中有一个js对象，我想把它传到b.html中使用。 //把js对象obj序列化为json字符串 var json_

红太狼/ 2021年11月09日 03:52/ 0 赞/ 336 阅读