python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...

待我称王封你为后i 2022-11-21 14:09 625阅读 0赞

实现网页的键盘输入操作

from selenium.webdriver.common.keys import Keys

动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显示出来。

而爬虫在工作的时候也需要相应的操作，才能获得列表项。

driver.find\_element\_by\_class\_name(...).send\_keys(需要输入的字串)

\#find\_element\_by\_class\_name可以是find\_element\_by\_link\_text、find\_element\_by\_id等其他方式

\#send\_keys一些特殊字符串，可以通过help(Keys)显示出来,如实现按回车操作需要使用Keys.ENTER

实现网页上的鼠标的动作

driver.find\_element\_by\_link\_text('更多').click()\#需要指示到/a链接的位置

\#同样find\_element\_by\_link\_text可以是find\_element\_by\_id等类似的其他方式

使用ActionChains可以实现鼠标的更多操作

from selenium.webdriver.common.action\_chains import \*

ActionChains中的操作：

click() -- 单击、click\_and\_hold()-- 按下鼠标左键在一个元素上、context\_click() --单击、double\_click()--双击、drag\_and\_drop()--拖动、key\_down()、key\_up()、move\_by\_offset()、move\_to\_elment()、move\_to\_elment\_with\_offset()

动态网页鼠标操作及遇到的问题

动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显示出来。而爬虫在工作的时候也需要相应的操作，才能获得列表项。

\#首先需要将鼠标停留到相应的元素

chain = ActionChains(driver)

moveelment = driver.find\_element\_by\_xpath("...")

chain.move\_to\_element(moveelment).perform()

driver.find\_element\_by\_xpath("//div\[@class='search-condition c5 drop-down'\]/a/div").click()

\#而后进行选择列表项

driver.find\_element\_by\_xpath("//ul\[@id='category\_list'\]/li\[1\]/a").click()

driver.find\_element\_by\_xpath("//ul\[@id='category\_list'\]/li\[2\]/a").click()

而当想要进行多列操作时出现了问题：driver.find\_element\_by\_xpath("//ul\[@id='category\_list'\]/li\[2\]/a").click()一直无法成功仔细debug发现：在人工浏览查看相应列表时，全屏情况下列表显示是3列，而当需要聚焦特殊网页时，通过解析current\_url进行比较即可，是否存在更好的方法。如果窗口很小就只能显示第一列的值。所以尝试将爬虫后台浏览器窗口设置成最大化，程序正常工作，如下：

\#... ...

driver.find\_element\_by\_xpath("//ul\[@id='category\_list'\]/li\[1\]/a").click()

driver.maximize\_window()

time.sleep(1)

driver.find\_element\_by\_xpath("//ul\[@id='category\_list'\]/li\[2\]/a").click()

关于窗口的页面切换方式

经常在网页操作时，会弹出新的页面，而爬虫需要程序进行窗口间的切换。

\#切换网页，以获取新弹出的网页窗口

for handle in driver.window\_handles:

driver.switch\_to\_window(handle)

print('current url:%s'%driver.current\_url)

当需要聚焦特殊网页时，通过解析current\_url进行比较即可，是否存在更好的方法。

以上这篇Python爬虫信息输入及页面的切换方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

发表评论取消回复

表情：

评论列表（有 0 条评论，625人围观）

还没有评论，来说两句吧...

相关阅读

相关 vue—如何在一个页面调用另一个页面的方法

一、建立中转站建立 util.js 中转站文件（任意位置,我是在/assets/js/util.js） import Vue from 'vue' e

刺骨的言语ヽ痛彻心扉/ 2023年10月13日 12:27/ 0 赞/ 25 阅读

相关 python爬虫如何从一个页面进入另一个页面-爬虫入门（一）——如何打开一个网页...

做了一段时间自然语言处理的项目，体会到了爬虫的乐趣，甚至一度产生了学好爬虫真的可以为所欲为的美妙错觉。因此决定开个坑，记录自己的爬虫学习过程，也督促自己学习更高深的爬虫姿势。目

快来打我*/ 2022年11月21日 14:28/ 0 赞/ 352 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...

用BeautifulSoup爬取了第一页的内容，但是不知道剩下的页面怎么爬。首页链接是长这样的： http://gdemba.gicp.net:82/interunit/

小灰灰/ 2022年11月21日 14:23/ 0 赞/ 179 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...

用BeautifulSoup爬取了第一页的内容，但是不知道剩下的页面怎么爬。首页链接是长这样的： http://gdemba.gicp.net:82/interunit/

野性酷女/ 2022年11月21日 14:23/ 0 赞/ 191 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫如何获取页面内所有URL链接？本文详解...

如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 ![5d

比眉伴天荒/ 2022年11月21日 14:21/ 0 赞/ 192 阅读

相关 python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...

实现网页的键盘输入操作 from selenium.webdriver.common.keys import Keys 动态网页有时需要将鼠标悬停在某个元素上，相应的列表选

待我称王封你为后i/ 2022年11月21日 14:09/ 0 赞/ 626 阅读

相关 Python爬虫urllib使用及页面解析

1.urllib库 1.1 基本使用使用urllib来获取百度首页的源码 import urllib.request 1、定义一个u

灰太狼/ 2022年09月11日 07:13/ 0 赞/ 255 阅读

相关如何将一个HTML页面嵌套在另一个页面中

[如何将一个HTML页面嵌套在另一个页面中][HTML] 2010-05-05 16:45 559人阅读 [ 评论][Link 1](1) [收藏][Link 2] [

﹏ヽ暗。殇╰゛Y/ 2022年04月11日 14:51/ 0 赞/ 545 阅读

相关一个html页面如何包含另一个html页面

我的qq 2038373094 使用教程一套系统包含很多页面，但是许多的页面的头部或者是底部都是一样的，这个时候，如果用一个公共的页面，在这个公共的页面里面写公

电玩女神/ 2022年02月04日 13:13/ 0 赞/ 428 阅读

相关通过url从一个页面向另一个页面传数据

假设我在a.html中有一个js对象，我想把它传到b.html中使用。 //把js对象obj序列化为json字符串 var json_

红太狼/ 2021年11月09日 03:52/ 0 赞/ 376 阅读