【Python爬虫】Python3+selenium环境配置

冷不防 2022-05-31 10:24 209阅读 0赞

在我们爬虫爬网过程中，我们需要用到Python3+selenium，Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。

文章参考了博主崔庆才的文章：https://cuiqingcai.com/5052.html，在此表示感谢！

## Selenium的安装 ##

**1.相关链接**  
官方网站：http://www.seleniumhq.org  
GitHub：https://github.com/SeleniumHQ/selenium/tree/master/py  
PyPI：https://pypi.python.org/pypi/selenium  
官方文档：http://selenium-python.readthedocs.io  
中文文档：http://selenium-python-zh.readthedocs.io  
**2.windows环境通过cmd命令行方式安装**

pip3 install selenium

## ChromeDriver驱动的安装 ##

安装好了Selenium后，我们还需要浏览器来配合使用，因为它只是一个自动化测试工具，这里主要介绍ChromeDriver驱动的安装，安装好后可以打开Chrome浏览器。  
**1.相关链接**  
官方网站：https://sites.google.com/a/chromium.org/chromedriver  
下载地址：https://chromedriver.storage.googleapis.com/index.html  
**2.安装Chrome浏览器**

安装了Chrome浏览器后，点击Chrome菜单“帮助”→“关于Google Chrome”，查看Chrome的版本号，如图所示：

![1519208995_6426.png][]

本人的版本号为64.0，需要去找到能够匹配这个版本浏览器的驱动。  
  
**3.下载ChromeDriver**  
打开ChromeDriver的官方网站，发现v2.35能够支持版本号为64.0，随后到ChromeDriver镜像站下载对应的安装包即可：https://chromedriver.storage.googleapis.com/index.html

为了方便查找驱动ChromeDriver能够支持的版本，可以查看以下selenium之chromedriver与chrome版本映射表

（参考博主huilan\_same文章：http://blog.csdn.net/huilan\_same/article/details/51896672）

<table> 
 <thead> 
  <tr> 
   <th style="vertical-align:middle;">chromedriver版本</th> 
   <th style="vertical-align:middle;">支持的Chrome版本</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="vertical-align:middle;">v2.35</td> 
   <td style="vertical-align:middle;">v62-64</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.34</td> 
   <td style="vertical-align:middle;">v61-63</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.33</td> 
   <td style="vertical-align:middle;">v60-62</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.32</td> 
   <td style="vertical-align:middle;">v59-61</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.31</td> 
   <td style="vertical-align:middle;">v58-60</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.30</td> 
   <td style="vertical-align:middle;">v58-60</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.29</td> 
   <td style="vertical-align:middle;">v56-58</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.28</td> 
   <td style="vertical-align:middle;">v55-57</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.27</td> 
   <td style="vertical-align:middle;">v54-56</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.26</td> 
   <td style="vertical-align:middle;">v53-55</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.25</td> 
   <td style="vertical-align:middle;">v53-55</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.24</td> 
   <td style="vertical-align:middle;">v52-54</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.23</td> 
   <td style="vertical-align:middle;">v51-53</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.22</td> 
   <td style="vertical-align:middle;">v49-52</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.21</td> 
   <td style="vertical-align:middle;">v46-50</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:middle;">v2.20</td> 
   <td style="vertical-align:middle;">v43-48</td> 
  </tr> 
 </tbody> 
</table>

## **驱动的配置** ##

在Windows下，将下载的ChromeDriver可执行文件chromedriver.exe拖到Python的Scripts目录下

![1519209108_3206.png][]

然后通过以下代码在python环境测试是否安装成功

from selenium import webdriver
    driver = webdriver.Chrome()
    driver.maximize_window()  # 最大化浏览器
    driver.implicitly_wait(8)  # 设置隐式时间等待
    driver.get("https://www.baidu.com")

配置好相关环境后，以后爬虫相关操作需要用到Python3+selenium。

[1519208995_6426.png]: https://img-my.csdn.net/uploads/201802/21/1519208995_6426.png
[1519209108_3206.png]: https://img-my.csdn.net/uploads/201802/21/1519209108_3206.png