day04

╰半夏微凉° 2021-12-11 06:13 258阅读 0赞

selenium 最初是一个自动化测试工具,而爬虫中使用它主要是为了解决 requests 无法直接执行 JavaScript 代码的问题。selenium 的缺点是效率会变得很慢。

selenium 本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

![复制代码][copycode.gif]

from selenium import webdriver
    browser=webdriver.Chrome()
    browser=webdriver.Firefox()
    browser=webdriver.PhantomJS()
    browser=webdriver.Safari()
    browser=webdriver.Edge()

![复制代码][copycode.gif]

### 一、安装 ###

**安装：**

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>pip3 install selenium</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

要自动启动浏览器需要安装相应的驱动，selenium3 默认支持的 webdriver 是 Firfox，而 Firefox 需要安装 geckodriver

**安装火狐浏览器**

*下载链接：[https://github.com/mozilla/geckodriver/releases][https_github.com_mozilla_geckodriver_releases]*

*  Ubuntu下载后将 geckodriver 移动到 /usr/local/bin/ 目录下
    
        sudo mv geckodriver /usr/local/bin/
 *  Windows下载后将 geckodriver.exe  加入环境变量，或者将 geckodriver.exe  移动到脚本同级目录

**安装谷歌浏览器：**

*  windows：下载 chromdriver.exe 放到python安装路径的 scripts 目录中即可，**注意最新版本是2.xx，并非2.9**
 *  Ubuntu：下载 chromdriver.zip，解压缩后将 chromdriver 文件复制到 /usr/bin 文件夹下（或者软连接到 /usr/bin/chromdriver）

国内镜像网站地址：[*http://npm.taobao.org/mirrors/chromedriver/*][http_npm.taobao.org_mirrors_chromedriver]  
　　最新的版本去官网找:[*https://sites.google.com/a/chromium.org/chromedriver/downloads*][https_sites.google.com_a_chromium.org_chromedriver_downloads]

![复制代码][copycode.gif]

from selenium import webdriver
    # 弹出 chrome 浏览器
    driver=webdriver.Chrome()
    driver.get('https://www.baidu.com')
    driver.page_source
    #能自动弹出浏览器并访问百度，就说明成功了
    
    # 弹出 firefox浏览器
    brow=webdriver.Firefox()
    brow.get('https://www.baidu.com')

![复制代码][copycode.gif]

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 无界面浏览器

### 二、等待元素被加载 ###

selenium 是自动运行浏览器的一种行为，而浏览器的加载是需要时间的，我们在进行操作之前肯定必须要等到被操作的元素加载出来后才行，所以我们就需要用到等待的操作、

等待的方式分两种

#2、等待的方式分两种：
    隐式等待：在browser.get（'xxx'）前就设置，针对所有元素有效
    显式等待：在browser.get（'xxx'）之后设置，只针对某个元素有效

示例：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

### 三、选择器 ###

选择器就是用来做对象爬取的内容进行定位用的，选择器有很多，每种的功能都不同

**基本选择器**

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 基本选择器

**xpath**

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] xpath

**获取标签属性**

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 获取标签的属性

### 四、元素交互操作 ###

交互操作就是指模拟人在网页中进行输入或点击鼠标的操作，主要针对的是 input 框和链接。交互操作中可以自己植入 js 代码

模拟天猫搜索：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

模拟滑动验证码操作（网页很low逼）：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

补充：frame的切换

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 补充:frame的切换

模拟浏览器的前进后退

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 模拟浏览器的前进后退

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 设置和得到cookies

选项卡管理

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]  选项卡管理

异常处理

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 异常处理

### 小项目扩展 ###

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 自动登录163邮箱并发送邮件

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 自动爬取京东商品

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][] 破解滑动验证码自动登录博客园

转载于:https://www.cnblogs.com/hitom/p/11100779.html

[copycode.gif]: /images/20211211/9bf4a082a825462db88d23f3fa84f965.png
[https_github.com_mozilla_geckodriver_releases]: https://github.com/mozilla/geckodriver/releases
[http_npm.taobao.org_mirrors_chromedriver]: http://npm.taobao.org/mirrors/chromedriver/
[https_sites.google.com_a_chromium.org_chromedriver_downloads]: https://sites.google.com/a/chromium.org/chromedriver/downloads
[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20211211/7d6e288f363444a1a78487959fdfe5db.png