python selenium爬虫代码示例_python网络爬虫学习笔记之三 Selenium入门

女爷i 2023-01-09 01:13 169阅读 0赞

抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。

一、概述

![Image 1][]

运行Selenium需要依赖于Python的selenium库，以及浏览器对应驱动器(WebDriver)。

安装selenium库

pip install selenium

项目地址： https://pypi.org/project/selenium/

下载WebDriver

WebDriver可以简单的理解为浏览器插件，是可执行的程序。不同的浏览器对应的WebDriver是不同的，比如火狐浏览器的WebDriver是geckodriver，Windows环境下是geckodriver.exe文件；Chrome浏览器的WebDriver是Chromedriver，Windows环境下是chromedriver.exe文件。

Webdriver下载之后解压缩，将exe文件复制到python目录下(只要目录在path环境变量中就可以)

火狐的webdriver下载

https://github.com/mozilla/geckodriver/

google chrome 的webdriver下载(按浏览器版本下载对应的webdriver，如果Chrome的版本与chromedriver.exe的版本不匹配，那么selenium的python程序会运行失败的)

http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1：

from selenium import webdriver

browser = webdriver.Chrome()

browser.get('http://www.baidu.com')

assert '百度一下' in browser.title

\#elem = browser.find\_element\_by\_name("wd")

elem = browser.find\_element\_by\_xpath('//\*\[@id="kw"\]')

elem.send\_keys("selenium")

btn = browser.find\_element\_by\_id("su")

btn.click()

\#browser.quit()

例子2：

import  unittest

from selenium import webdriver

class BaiduTest(unittest.TestCase):

def setUp(self):

self.browser = webdriver.Firefox()

self.browser.get("http://www.baidu.com")

\#self.addCleanup(self.browser.quit)

def testTitle(self):

self.assertIn("百度一下", self.browser.title)

def testSearch(self):

\#self.browser.get("http://www.baidu.com")

searchInput = self.browser.find\_element\_by\_id("kw")

searchInput.send\_keys("selenium")

searchBtn = self.browser.find\_element\_by\_id("su")

searchBtn.click()

self.assertIn("selenium", self.browser.current\_url)

if \_\_name\_\_ == '\_\_main\_\_':

unittest.main(verbosity=2)

其他资源：

https://www.seleniumhq.org/download/

http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本

https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌软件及webdriver

本文内容到此结束，更多内容可关注公众号和个人微信号：

![Image 1][]

![Image 1][]

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关 python selenium爬虫代码示例_python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Sele

女爷i/ 2023年01月09日 01:13/ 0 赞/ 170 阅读

相关爬虫笔记：Python Selenium详解

1.简介 Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界

末蓝、/ 2022年10月29日 11:17/ 0 赞/ 221 阅读

相关 Python爬虫Selenium使用

1.Selenium 1.1 什么是selenium Selenium是一个用于Web应用程序测试的工具 Selenium 测试直接运行在浏览器中，就像

r囧r小猫/ 2022年09月11日 09:19/ 0 赞/ 438 阅读

相关 Python爬虫-Selenium（1）

Python爬虫-Selenium(1) @(博客)\[python, 爬虫, selenium, Python\] Python爬虫-Selenium(1)

妖狐艹你老母/ 2022年05月15日 02:55/ 0 赞/ 438 阅读

相关 Python爬虫-Selenium（3）

Python爬虫-Selenium（3） @(博客)\[selenium, python, 爬虫, 破解极验\] Python爬虫-Selenium（3）

ゝ一世哀愁。/ 2022年05月13日 08:56/ 0 赞/ 384 阅读

相关 Python爬虫-Selenium（2）

Python爬虫-Selenium（2） @(博客)\[selenium, python, 爬虫\] Python爬虫-Selenium（2）

傷城~/ 2022年05月13日 05:06/ 0 赞/ 322 阅读

相关 python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Sele

布满荆棘的人生/ 2022年01月22日 21:15/ 0 赞/ 287 阅读

相关浏览器爬虫入门：Python+Selenium+ChromeDriver

下载对应版本的chromedriver.exe： [http://chromedriver.storage.googleapis.com/index.html][http_ch

「爱情、让人受尽委屈。」/ 2021年11月23日 12:10/ 0 赞/ 348 阅读

相关 08 Python爬虫之selenium

\---恢复内容开始--- 一. 先介绍图片懒加载技术　　当获取一个网站的图片数据时，只能爬取到图片的名称，并不能获得链接，而且也不能获得xpath表达式。这是应用了图片

╰半夏微凉°/ 2021年11月02日 13:18/ 0 赞/ 471 阅读

相关 Python爬虫库Selenium

Selenium 库是一个自动化测试工具，支持多种浏览器。在爬虫中主要解决 JavaScript 渲染的问题。用法讲解： 0.基本用法 from sel

向右看齐/ 2021年07月04日 17:18/ 0 赞/ 588 阅读