selenium学习

╰+攻爆jí腚メ 2024-02-05 15:47 30阅读 0赞

## 前期准备 ##

> pip install selenium

## 获取浏览器驱动 ##

我使用的浏览器是Chrome，所以这里只介绍关于Chrome获取浏览器驱动的方法：  
需要注意的是：selenium 4.x 对之前版本的部分API调用方式进行了调整，这里就包括关于浏览器获取驱动的方式，最新版本获取驱动的方式如下：  
1.在Chrome浏览器的设置页面查看自己浏览的版本

2.在如下页面获取对应的驱动：

[人机验证][Link 1]

API如下：

# 获取驱动并打开网页
    service = Service(executable_path=r"/Users/liujianlei/Downloads/mopi/chromedriver-mac-arm64/chromedriver")
    driver = webdriver.Chrome(service=service)

## 常用API ##

selenium常用引入的包如下：

常用api如下：

### 获取元素 ###

新版本对获取元素的api调用方式，新的api使用方式如下：

# inputTag = driver.find_element_by_id("value")  # 利用ID查找
    # 改为：
    inputTag = driver.find_element(By.ID, "value")
    
    # inputTags = driver.find_element_by_class_name("value")  # 利用类名查找
    # 改为：
    inputTag = driver.find_element(By.CLASS_NAME, "value")
    
    # inputTag = driver.find_element_by_name("value")  # 利用name属性查找
    # 改为：
    inputTag = driver.find_element(By.NAME, "value")
    
    # inputTag = driver.find_element_by_tag_name("value")  # 利用标签名查找
    # 改为：
    inputTag = driver.find_element(By.TAG_NAME, "value")
    
    # inputTag = driver.find_element_by_xpath("value")  # 利用xpath查找
    # 改为：
    inputTag = driver.find_element(By.XPATH, "value")
    
    # inputTag = driver.find_element_by_css_selector("value")  # 利用CSS选择器查找
    # 改为：
    inputTag = driver.find_element(By.CSS_SELECTOR, "value")

### 控制浏览器操作 ###

*  控制浏览器窗口大小

> `driver.set_window_size(480, 800)`
> 
>  *  浏览器后退，前进
> 
> `# 后退 driver.back()`
> 
> `# 前进 driver.forward()`
> 
>  *  刷新
> 
> `driver.refresh() # 刷新`

### 鼠标操作 ###

>  *  perform()： 执行所有 ActionChains 中存储的行为；
>  *  context\_click()： 右击；
>  *  double\_click()： 双击；
>  *  drag\_and\_drop()： 拖动；
>  *  move\_to\_element()： 鼠标悬停。
>  *  需要注意的是：鼠标操作完之后，一定要紧跟perform(),不然这

### 键盘操作 ###

>  *  send\_keys(Keys.BACK\_SPACE) 删除键（BackSpace）
>  *  send\_keys(Keys.SPACE) 空格键(Space)
>  *  send\_keys(Keys.TAB) 制表键(Tab)
>  *  send\_keys(Keys.ESCAPE) 回退键（Esc）
>  *  send\_keys(Keys.ENTER) 回车键（Enter）
>  *  send\_keys(Keys.CONTROL,'a') 全选（Ctrl+A）
>  *  send\_keys(Keys.CONTROL,'c') 复制（Ctrl+C）
>  *  send\_keys(Keys.CONTROL,'x') 剪切（Ctrl+X）
>  *  send\_keys(Keys.CONTROL,'v') 粘贴（Ctrl+V）
>  *  send\_keys(Keys.F1) 键盘 F1
>  *  ……
>  *  send\_keys(Keys.F12) 键盘 F12

### 获取断言信息 ###

text = driver.page_source # 获取当前页面的源码：需要注意的是：
    动态加载：driver.page_source 获取的源码是当前浏览器渲染后的完整页面源码，包括通过 JavaScript 动态加载的内容。而 requests 获取的源码是初始的静态页面源码，不包含 JavaScript 动态加载的内容。
    
    AJAX 请求：如果页面中通过 AJAX 请求加载内容，requests 获取的源码可能不包含这部分内容，而 driver.page_source 获取的源码会包含通过 AJAX 请求加载的内容。
    
    JavaScript 渲染：requests 不能执行 JavaScript，因此无法获取 JavaScript 渲染后的页面内容，而 driver.page_source 获取的源码是经过 JavaScript 渲染后的页面内容。
    
    综上所述，如果网站通过 JavaScript 动态加载内容或进行 AJAX 请求，那么 driver.page_source 获取的源码和 requests 获取的源码可能会有所不同。在实际应用中，您需要根据具体的需求和情况选择合适的获取源码的方法。
    由于以上等原因，最终使用requests获取的网页源码可能和selenium获取的源码有所缺失，一般我们直接使用selenium获取网页的源码
    title = driver.title # 打印当前页面title
    now_url = driver.current_url # 打印当前页面URL

### 等待页面加载完成 ###

*  **显示等待**

显式等待使WebdDriver等待某个条件成立时继续执行，否则在达到最大时长时抛出超时异常（TimeoutException）。

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    driver = webdriver.Firefox()
    driver.get("http://www.baidu.com")
    
    element = WebDriverWait(driver, 5, 0.5).until(
                          EC.presence_of_element_located((By.ID, "kw"))
                          )
    element.send_keys('selenium')
    driver.quit()

WebDriverWait类是由WebDirver 提供的等待方法。在设置时间内，默认每隔一段时间检测一次当前页面元素是否存在，如果超过设置时间检测不到则抛出异常。具体格式如下：

`WebDriverWait(driver, timeout, poll_frequency=0.5, ignored_exceptions=None)`

*  driver ：浏览器驱动。
 *  timeout ：最长超时时间，默认以秒为单位。
 *  poll\_frequency ：检测的间隔（步长）时间，默认为0.5S。
 *  ignored\_exceptions ：超时后的异常信息，默认情况下抛NoSuchElementException异常。
 *  WebDriverWait()一般由until()或until\_not()方法配合使用，下面是until()和until\_not()方法的说明。
 *  until(method, message=‘’) 调用该方法提供的驱动程序作为一个参数，直到返回值为True。
 *  until\_not(method, message=‘’) 调用该方法提供的驱动程序作为一个参数，直到返回值为False。

在本例中，通过as关键字将expected\_conditions 重命名为EC，并调用presence\_of\_element\_located()方法判断元素是否存在。

*  EC对应的不同方法如下：

> 1.  **presence\_of\_element\_located**：等待直到某个元素出现在DOM中。
> 2.  **visibility\_of\_element\_located**：等待直到某个元素在页面上可见。
> 3.  **element\_to\_be\_clickable**：等待直到某个元素可被点击。
> 4.  **text\_to\_be\_present\_in\_element**：等待直到某个元素包含特定的文本。

*  **隐式等待**

**隐式等待**：通过设置隐式等待时间，可以让WebDriver在查找元素或执行操作时等待一定的时间。如果在规定的时间内找到了元素，就会立即执行后续的操作；如果超过了设定的时间而没有找到元素，就会抛出NoSuchElementException异常。隐式等待对整个WebDriver的生命周期都起作用，只需要设置一次即可。

driver.implicitly_wait(10)

### 切换模块 ###

#### 切换窗口 ####

handles = driver.window_handles
    print("handles的类型为：",type(handles))
    print("handles = ",handles)
    print("title的值为:",title)
    # 切换具柄
    driver.switch_to.window(handles[1])

切换实例：

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.chrome.service import Service
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    import time
    # 获取驱动并打开网页
    service = Service(executable_path=r"/Users/liujianlei/Downloads/mopi/chromedriver-mac-arm64/chromedriver")
    driver = webdriver.Chrome(service=service)
    # 打开网页
    url = "https://login.anjuke.com/login/form"
    driver.get(url)
    # 等待元素加载出来
    wait = WebDriverWait(driver,10,0.5).until(EC.presence_of_element_located((By.XPATH,"//*[@id=\"iframeLoginIfm\"]")))
    # 查找对应的iframe元素
    iframe = driver.find_element(By.XPATH,"//*[@id=\"iframeLoginIfm\"]")
    # 切换为iframe
    driver.switch_to.frame(iframe)
    # 点击切换为账号密码登录
    element = driver.find_element(By.XPATH,"//*[@id=\"pwdTab\"]")
    # 点击元素
    element.click()
    # 输入用户名
    user_element = driver.find_element(By.ID,"pwdUserNameIpt")
    user_element.send_keys("123")
    # 输入密码
    pwd_element = driver.find_element(By.ID,"pwdIpt")
    pwd_element.send_keys("123")
    # 勾选我已同意
    element_agree = driver.find_element(By.ID,"checkagree")
    element_agree.click()
    # 点击登录
    login_element =driver.find_element(By.ID,"pwdSubmitBtn")
    login_element.click()
    # 切换为上一层的图层
    driver.switch_to.parent_frame()
    # 点击家居网进行页面跳转，查看当前是哪个窗口
    element_web = driver.find_element(By.XPATH,"/html/body/div[1]/a[1]/i")
    element_web.click()
    # 获取当前的window
    window_name = driver.title
    print("{}为当前的title".format(window_name))
    time.sleep(100)
    # element = driver.find_element(By.XPATH,"//*[@id=\"phoneIpt\"]")
    # element.send_keys("13153382278")
    # 切换新的元素

#### 切换iframe ####

# 切换为iframe
    driver.switch_to.frame(iframe)
    # 点击切换为账号密码登录
    element = driver.find_element(By.XPATH,"//*[@id=\"pwdTab\"]")
    # 点击元素
    element.click()
    # 输入用户名
    user_element = driver.find_element(By.ID,"pwdUserNameIpt")
    user_element.send_keys("123")
    # 输入密码
    pwd_element = driver.find_element(By.ID,"pwdIpt")
    pwd_element.send_keys("123")
    # 勾选我已同意
    element_agree = driver.find_element(By.ID,"checkagree")
    element_agree.click()
    # 点击登录
    login_element =driver.find_element(By.ID,"pwdSubmitBtn")
    login_element.click()
    # 切换为上一层的图层
    driver.switch_to.parent_frame()

切换实例：

### 警告框处理 ###

alert = driver.switch_to_alert()

>  *  text：返回 alert/confirm/prompt 中的文字信息。
>  *  accept()：接受现有警告框。
>  *  dismiss()：解散现有警告框。
>  *  send\_keys(keysToSend)：发送文本至警告框。keysToSend：将文本发送至警告框。

### 下拉框选择 ###

from selenium import webdriver
    from selenium.webdriver.support.select import Select
    from time import sleep
    
    driver = webdriver.Chrome()
    driver.implicitly_wait(10)
    driver.get('http://www.baidu.com')
    sel = driver.find_element_by_xpath("//select[@id='nr']")
    Select(sel).select_by_value('50')  # 显示50条

### 文件上传 ###

driver.find_element_by_name("file").send_keys('D:\\upload_file.txt')  # # 定位上传按钮，添加本地文件

### cookie操作 ###

> WebDriver操作cookie的方法：
> 
>  *  get\_cookies()： 获得所有cookie信息。
>  *  get\_cookie(name)： 返回字典的key为“name”的cookie信息。
>  *  add\_cookie(cookie\_dict) ： 添加cookie。“cookie\_dict”指字典对象，必须有name 和value 值。
>  *  delete\_cookie(name,optionsString)：删除cookie信息。“name”是要删除的cookie的名称，“optionsString”是该cookie的选项，目前支持的选项包括“路径”，“域”。
>  *  delete\_all\_cookies()： 删除所有cookie信息

### 调用JavaScript代码 ###

js="window.scrollTo(100,450);"
    driver.execute_script(js) # 通过javascript设置浏览器窗口的滚动条位置

通过execute\_script()方法执行JavaScripts代码来移动滚动条的位置。

### 窗口截图 ###

driver.get_screenshot_as_file("D:\\baidu_img.jpg") # 截取当前窗口，并指定截图图片的保存位置

### 关闭浏览器 ###

>  *  close() 关闭单个窗口
>  *  quit() 关闭所有窗口

## 练习 ##

爬取关于cxk的b站视频数据

from bs4 import BeautifulSoup
    import requests
    import openpyxl
    from fake_useragent import UserAgent
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.chrome.service import Service
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    import time
    # 创建excel表格
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.append(["名称","视频地址","观看次数","弹幕数量","发布时间"])
    output_file = "./cxk-with-basketball-video.xlsx"
    # 创建虚拟ua
    ua = UserAgent()
    headers = {"user-agent":ua.random}
    # 打开b站官网
    url = "https://www.bilibili.com/"
    # 创建service
    service = Service(executable_path=r"/Users/liujianlei/Downloads/mopi/chromedriver-mac-arm64/chromedriver")
    driver = webdriver.Chrome(service= service)
    # 打开b站
    driver.get(url)
    # 定位输入框并输入内容
    content = "蔡徐坤 篮球"
    driver.find_element(By.CLASS_NAME,"nav-search-input").send_keys(content)
    # 获取按钮
    driver.find_element(By.CLASS_NAME,"nav-search-btn").click()
    # 进行页面的跳转
    time.sleep(1)
    handles = driver.window_handles
    driver.switch_to.window(handles[-1])
    # 显示等待直到元素加载完成
    #wait = WebDriverWait(driver,10,0.5).until(EC.presence_of_element_located((By.XPATH,"//*[@id=\"bili-header-container\"]/div/div/ul[1]/li[8]/a/span")))
    # 获取对应的URL并进行访问
    # new_url = driver.current_url
    # response = requests.get(new_url,headers=headers)
    text = driver.page_source
    soup = BeautifulSoup(text,"html.parser")
    # 获取当前共有多少页
    buttons = soup.find_all("button",{"class":"vui_button vui_button--no-transition vui_pagenation--btn vui_pagenation--btn-num"})
    last_index = int(buttons[-1].text)
    # 使用bs进行内容的读取
    # for i in range(1,34):
    #     print("当前是第{}页".format(i))
    
    tags = soup.find_all(class_="bili-video-card__wrap __scale-wrap")
    
    for tag in tags:
        contents = tag.find_all("span", {"class": "bili-video-card__stats--item"})
        view_num = contents[0].text
        lang_num = contents[1].text
        title = tag.find("h3", {"class": "bili-video-card__info--tit"}).get("title")
        time = tag.find("span", {"class": "bili-video-card__info--date"}).text
        href = tag.find("a", attrs={"data-idx": "all"}).get("href")
        # 将结果进行保存
        ws.append([title, href, view_num, lang_num, time])
        # 浏览器页面定位到下面
        # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # print("已经滑动到最底部了")
        driver.implicitly_wait(10)
        #WebDriverWait(driver,20,0.5).until(EC.element_to_be_clickable((By.CLASS_NAME,"vui_button vui_pagenation--btn vui_pagenation--btn-side")))
        # 定位下一页元素并进行点击
    # 最后将excel表格进行保存
    driver.find_element(By.CSS_SELECTOR,
                        "#i_cecream > div > div:nth-child(2) > div.search-content--gray.search-content > div > div > div > div.flex_center.mt_x50.mb_x50 > div > div > button:nth-child(11)").click()
    
    wb.save(output_file)
    # 关闭driver
    driver.close()

notes：

元素定位不到的可能原因：

> 如果在使用Selenium时无法定位到下一页按钮，可能有几种原因。以下是一些可能的解决方法：
> 
> 1.  **等待页面加载完成**：确保页面已经完全加载，有时下一页按钮可能需要一些时间才会出现在DOM中。您可以使用隐式等待或显式等待确保页面加载完成后再进行定位。
> 2.  **使用合适的定位方法**：尝试使用不同的定位方法来寻找下一页按钮，比如通过ID、CSS选择器、XPath等。
> 3.  **查看页面源代码**：查看页面源代码，确认下一页按钮的HTML结构和属性，以便更好地定位它。
> 4.  **检查是否在iframe中**：如果下一页按钮位于iframe中，您需要先切换到该iframe，然后再进行定位。
> 5.  **使用JavaScript点击**：如果其他方法无法定位到下一页按钮，可以尝试使用JavaScript来模拟点击操作。
> 
> 以下是一个示例，演示了如何使用Selenium和JavaScript模拟点击下一页按钮：
> 
>     # 导入需要的模块
>     from selenium import webdriver
>     
>     # 启动浏览器
>     driver = webdriver.Chrome()
>     
>     # 打开网页
>     driver.get("https://www.example.com")
>     
>     # 使用JavaScript点击下一页按钮
>     next_button = driver.find_element_by_xpath("//button[@id='next']")
>     driver.execute_script("arguments[0].click();", next_button)
> 
> 如果这些方法仍然不能解决问题，那么可能需要对具体的网页和定位情况进行更深入的分析和调试。

[Link 1]: http://hzhcontrols.com/new-1938390.html?vd=6514f43e39099289593e121a6d70b378