自动化爬虫selenium + appium 笔记

「爱情、让人受尽委屈。」 2022-03-10 15:43 251阅读 0赞

# 简介 #

Selenium自动化浏览器，它主要用于自动化Web应用程序以进行测试，但当然不仅限于此

Selenium得到了一些最大的浏览器供应商的支持，这些供应商采取（或正在采取）将Selenium作为其浏览器本机部分的步骤。它也是无数其他浏览器自动化工具，API和框架的核心技术。

说白了Selenium本身是被用来进行测试的，而不是用来作为爬虫的，但是现在很多用来作为爬虫的实现，因为爬虫本身是需要通过页面中的元素定位来获取数据，而Selenium正好提供了爬虫所需要的基本功能。

pom文件引入依赖

<dependency>
    		<groupId>org.seleniumhq.selenium</groupId>
    		<artifactId>selenium-java</artifactId>
    		<version>3.141.59</version>
    	</dependency>

# 使用 #

我们想要使用Selenium来操控浏览器，第一步就应该先要获得浏览器的驱动

*  火狐浏览器与selenium的兼容最好，不需要任何的额外驱动就可以直接相连

// 创建一个Firefox的实例
    	WebDriver driver = new FirefoxDriver();
    	// 用这个实例来访问百度
    	driver.get("http://www.baidu.com");
    	// 查找元素，根据id
        WebElement searchBox = driver.findElement(By.id("kw"));
        // 发送内容
        searchBox.sendKeys("csdn");
        // 根据id查找button按钮
        WebElement searchButton = driver.findElement(By.id("su"));
        // 点击提交
        searchButton.submit();
        TimeUnit.SECONDS.sleep(10)
        // 关闭浏览器
        driver.quit();

上面我们通过id来快速定位我们需要找到的元素，并发送了内容进行搜索，而我们这些元素的id是怎么知道的呢，这就需要在编写代码之前分析我们要操控的页面元素，在火狐浏览器打开我们要分析的页面，按键盘中的F12即可弹出开发者工具来进行分析，可以通过下面图片中左上角的框框快速定位元素查看。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTU2MTU0_size_16_color_FFFFFF_t_70_pic_center]  
如果我们想要使用谷歌浏览器，则需要我们去下载额外的可执行文件  
下载地址：[Chormedriver可执行文件][Chormedriver]

对于上面的程序只需要增加一条语句并修改驱动的实例，就可以通过谷歌浏览器来访问了。

System.setProperty("webdriver.chrome.driver","E:\\selenium\\chromedriver.exe");
    	WebDriver driver = new ChromeDriver();

# 定位元素 #

通过上面简短的介绍我们知道，想要获取到数据，我们就必须先要定位到元素，而定位元素在一开始练习的时候确实不好定位，导致一直获取不到，所以我们要多练习定位元素。

而定位元素Senlenium提供了多种方法定位，

*  [Selenium官方文档][Selenium]
 *  通过id定位，这是定位元素的最有效和首选方式

WebElement element = driver.findElement(By.id("coolestWidgetEvah"));

*  通过class定位，在没有id的情况下我们只能通过其他的方式来定位元素，而class是可以重复的，所以一定要注意获取的元素是否正确，通常缩小到一定范围之内再通过class的方式来定位元素，或者使用list接收以后，确定第几个元素是我们要使用的。

<div class="cheese">
    		<span>Cheddar</span>
    	</div>
    	<div class="cheese">
    		<span>Gouda</span>
    	</div>

List<WebElement> cheeses = driver.findElements(By.className("cheese"));

*  通过css选择器（cssSelector）定位，因为class在一个元素上可以写多个来进行美化，所以我们也可以通过多个class来定位，可以看到，id前面需要加\#，元素前面加空格，class使用 . 进行区分

<div id="food">
    		<span class="dairy">milk</span>
    		<span class="dairy aged">cheese</span>
    	</div>

WebElement cheese = driver.findElement(By.cssSelector("#food span.dairy.aged"));

*  通过tagName定位，这一种也是获取的大量的标签元素，通常是我们想要获取页面上所有的a标签中的链接，或者某个页面上的列表中所有的元素，除了这种方式还有很多，灵活运用就可以，并不是一定要通过tagName来获取所有的a标签，这里只是举例子。

WebElement linkA = driver.findElement(By.tagName("a"));
    	if(!linkA.isEmpty()){ 
    		for(WebElement link : link){ 
    			System.out.println("链接地址 => " + link.getAttribute("href"))
    		}
    	}

*  通过name定位，一般input元素是有name属性的，我们就可以通过name属性来定位元素

WebElement cheese = driver.findElement(By.name("cheese"));

*  通过链接文字定位元素，这种是确定链接中的文字以后我们就可以通过这种方式定位元素。

<a href="http://www.google.com/search?q=cheese">cheese</a>>

WebElement cheese = driver.findElement(By.linkText("cheese"));

*  通过链接的模糊查询(部分文字)定位元素，这种方式获取的是所有带有我们写入的文字元素。

<a href="http://www.google.com/search?q=cheese">search for cheese</a>

WebElement cheese = driver.findElement(By.partialLinkText("cheese"));

*  通过xpath定位元素，下面返回的是从根节点开始全局查找所有的input框。
    
     *  [xpath语法教程][xpath]

List<WebElement> inputs = driver.findElements(By.xpath("//input"));

# 例子 #

定位到元素以后，需要获取其中的数据，这些方法我们可以在官方的api中可以找到

*  [Selenium官方API][Selenium_API]
 *  假如我们已经获取到了我们要的元素，想要其中的文本内容

WebElement element = driver.findElement(By.id("elementID"));
    	System.out.println("获取到的内容为 => " + element.getText());

*  我们获取到下拉多选后，进行点击每一个选项，使用click()方法

WebElement select = driver.findElement(By.tagName("select"));
    	List<WebElement> allOptions = select.findElements(By.tagName("option"));
    	for (WebElement option : allOptions) { 
    	    System.out.println(String.format("Value is: %s", option.getAttribute("value")));
    	    option.click();
    	}

*  当点击跳转网页后，当前的控制权还处于在主网页，并没有跳转到新的网页上，这时你就不能处理新网页中的元素，必须把控制权也跳转过去才可以

WebDriver driver = new ChromeDriver();
    	// 先获取主网页的控制句柄存储起来
    	String indexHandle = driver.getWindowHandle();
    	。。。处理逻辑省略
    	// 当跳转页面后，获取所有的控制句柄存储在set集合中
    	Set<String> handles = driver.getWindowHandles();
    	// 循环判断所有句柄，把控制权交给新网页的句柄
        for(String handle : handles){ 
            if(!indexHandle.equals(handle)){ 
                driver.switchTo().window(handle);
            }
        }
        。。。。。省略的其他逻辑
        // 关闭当前页面
        driver.close()
        // 跳回主页面
        driver.switchTo().window(indexHandle)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTU2MTU0_size_16_color_FFFFFF_t_70_pic_center]: /images/20220310/4309fd0f85d24815b03eb83c18d5bab8.png
[Chormedriver]: https://sites.google.com/a/chromium.org/chromedriver/
[Selenium]: https://www.seleniumhq.org/docs/03_webdriver.jsp
[xpath]: http://www.w3school.com.cn/xpath/xpath_syntax.ASP
[Selenium_API]: https://seleniumhq.github.io/selenium/docs/api/java/index.html