【等待完善】爬虫之模拟登录三类型爬虫场景总结【基于Python+selenium总结】

电玩女神 2021-09-19 01:38 395阅读 0赞

selenium爬虫方案参考：[Selenium与PhantomJS][Selenium_PhantomJS]：[https://www.cnblogs.com/miqi1992/p/8093958.html][Selenium_PhantomJS]

### **第一种类型：纯静态html【模拟登录很简单----selenium或scrapy都很快搞定】** ###

selenium模拟纯静态html页面登录
    
    driver = webdriver.Firefox()
    driver.maximize_window()
    driver.get("https://www.explorer.com/admin.php")
    time.sleep(5)
    driver.find_element_by_xpath('//input[@name="admin_username"]').send_keys("输入你的用户名")
    driver.find_element_by_xpath('//input[@name="admin_password"]').send_keys("输入你的密码")
    driver.find_element_by_xpath('//p[@class="loginnofloat"]/input[@name="submit"]').click()
    time.sleep(10)
    driver.quit()

## ##

### **第二种类型的：html加载动态js【使用selenium模拟登录和普通静态基本一致，但如何使用scrapy-splash动态加载麻烦些，后续分享】** ###

【selenium模拟动态js动态加载页面登录】
    
    driver = webdriver.Firefox()
    driver.maximize_window()
    driver.get("https://t.radarlab.org/login")
    time.sleep(5)
    form = driver.find_element_by_xpath('//form[@name="login"]')
    form.find_element_by_xpath('//input[@name="username"]').send_keys("输入你的用户名")
    form.find_element_by_xpath('//input[@name="password"]').send_keys("输入你的登录密码")
    form.find_element_by_xpath('//button[@class="btn primary raised next"]').click()
    time.sleep(10)
    # 登录密码提交加载完毕之后,新的页面请求依然会赋值给driver对象！
    new_form = driver.find_element_by_xpath('//form[@name="confirm"]')
    new_form.find_element_by_css_selector('div.fieldset i input ').send_keys("输入你的交易密码")
    new_form.find_element_by_xpath('//button[@class="btn primary"]').click()
    time.sleep(10)
    driver.quit()

## ##

### **第三种类型的：基于frame框架嵌套的跨域网页【frame是多个html页面,所以需要使用switch\_to.frame来切换页面，selenium模拟比较简单，scrapy模拟后续分享】** ###

selenium模拟基于frame框架的页面登录！
    
    webdriver.FirefoxOptions()
    driver = webdriver.Firefox()
    driver.get("https://www.douban.com/")
    
    # 对于frame最重要的就是这个语句【需要切换到不同的frame页面】
    # 如果想切换回主页,执行driver.switch_to.default_content()
    driver.switch_to.frame(0)
    print(driver.page_source)
    
    driver.find_element_by_css_selector("div.account-body-tabs ul.tab-start li.account-tab-account").click()
    driver.find_element_by_css_selector("input#username").send_keys("你的账号")
    driver.find_element_by_css_selector("input#password").send_keys("你的密码")
    driver.find_element_by_css_selector('div.account-form-field-submit a.btn.btn-account').click()
    time.sleep(10)
    driver.quit()

### **selenium关于iframe框架的用法和注意事项： ** ###

selenium关于iframe框架的用法和注意事项：
    
    
    # 如果仅是单层的iframe框架,那么selenium仅需要切换一次switch_to.frame即可
    <iframe id="iframe_once"></iframe>
    
    
    # 如何iframe框架是层层嵌套的情况,那么selenium就需要一层一层的切换switch_to.frame
    <iframe id="iframe1">
        <iframe id="iframe2"></iframe>
    </iframe>
    
    如：第一层：driver.switch_to.frame("iframe1")
        第二层：driver.switch_to.frame("iframe2")
    
    
    # 如果想切换回主页,执行driver.switch_to.default_content()
    
    switch_to.frame()方法的用法：
    """
            Switches focus to the specified frame, by index, name, or webelement.
    
            :Args:
             - frame_reference: The name of the window to switch to, an integer representing the index,
                                or a webelement that is an (i)frame to switch to.
    
            :Usage:
                driver.switch_to.frame('frame_name')
                driver.switch_to.frame(1)
                driver.switch_to.frame(driver.find_elements_by_tag_name("iframe")[0])
            """

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1][]

[Selenium_PhantomJS]: https://www.cnblogs.com/miqi1992/p/8093958.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70]: /images/20210812/07dae9e16fd8401882a866e0ef4367d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70 1]: /images/20210812/2416097d5bc44bd7901197b98f4096ae.png