安装selenium并学习和学习IP相关知识

向右看齐 2022-01-31 05:49 142阅读 0赞

学习目标：

## **3.1 安装selenium并学习** ##

1.  安装selenium并学习。
2.  使用selenium模拟登陆163邮箱。
3.  163邮箱直通点：[https://mail.163.com/][https_mail.163.com] 。
4.  参考资料：[https://blog.csdn.net/weixin\_42937385/article/details/88150379][https_blog.csdn.net_weixin_42937385_article_details_88150379]

## **3.2 学习IP相关知识** ##

1.  学习什么是IP，为什么会出现IP被封，如何应对IP被封的问题。
2.  抓取西刺代理，并构建自己的代理池。
3.  西刺直通点：[https://www.xicidaili.com/][https_www.xicidaili.com] 。
4.  参考资料：
5.  [https://blog.csdn.net/weixin\_43720396/article/details/88218204][https_blog.csdn.net_weixin_43720396_article_details_88218204]
6.  [https://blog.csdn.net/qq\_41131384/article/details/90243152][https_blog.csdn.net_qq_41131384_article_details_90243152]

安装selenium

1、pip install selenium

2、cmd窗口下进入python，导入import selenium不报错说明安装成功

'''使用selenium模拟登陆163邮箱'''
    from selenium import webdriver
    import time
    url = 'https://mail.163.com/'
    driver = webdriver.Chrome()
    
    driver.get(url=url)
    time.sleep(10)
    driver.switch_to.frame(0)#登陆框在第一个ifram，先切进去在执行其他事件
    email = driver.find_element_by_name('email')
    email.send_keys('17612254995')
    password = driver.find_element_by_name('password')
    password.send_keys('985134468')
    time.sleep(2)
    driver.find_element_by_id('dologin').click()
    time.sleep(5)

## IP为什么被封 ##

网站为了防止被爬取，会有反爬机制，对于同一个IP地址的大量同类型的访问，会封锁IP，过一段时间后，才能继续访问

## 如何应对IP被封的问题 ##

1.  修改请求头，模拟浏览器（而不是代码去直接访问）去访问
2.  采用代理IP并轮换
3.  设置访问时间间隔

## 获取代理IP地址 ##

import requests  
from bs4 import BeautifulSoup  
from collections import OrderedDict  
from threading import Thread  
from datetime import datetime  
start\_time = datetime.now()

def get\_xici\_proxy(url,headers):  
    response = requests.get(url, headers=headers).content  
    res = response.decode('utf-8')  
    soup = BeautifulSoup(res, 'lxml')  
    tag\_tr\_all = soup.find\_all('tr')  
    \# \['国家', 'IP地址', '端口', '服务器地址', '是否匿名', '类型', '速度', '连接时间', '存活时间', '验证时间'\]  
    info\_names = tag\_tr\_all\[0\].get\_text().strip().split('\\n')  
    \# global proxy\_list  
    t\_list = \[\]  
    for tag\_tr in tag\_tr\_all\[1:\]:    \#从第1行开始遍历，应该遍历100次。  
        tag\_td = tag\_tr.find\_all('td')\#  
        try:  
            country = tag\_td\[0\].img\['alt'\] \#td字标签img里的属性值，为国家缩写，但有的没有需处理异常  
        except TypeError:\#  
            country = 'None'  
        try:  
            ip\_info\_list = \[td.get\_text(strip=True) for td in tag\_td\[1:\]\] \#遍历1条代理的其它信息  
            ip\_info\_list.insert(0,country)  
            ip\_info\_dict = OrderedDict(zip(info\_names,ip\_info\_list))  
            t = Thread(target =check\_proxy,args=(ip\_info\_dict,))  
            t\_list.append(t)  
        except Exception as e:  
            print("西陆站点登录错误：",e)  
    for i in range(len(tag\_tr\_all\[1:\])):  
        t\_list\[i\].start()  
    for i in range(len(tag\_tr\_all\[1:\])):  
        t\_list\[i\].join()

def check\_proxy(info):  
    \# 居然要小写才行？今后抽空查资料看看是否这么一回事儿。  
    proxy = \{info\['类型'\].lower():r"\{\}://\{\}:\{\}".format(info\['类型'\].lower(),info\['IP地址'\],info\['端口'\]),\}  
    try:  
        response1 = requests.get(r"http://httpbin.org/get",proxies=proxy,timeout=10)  
        print(response1.status\_code)  
        if response1.status\_code==200:  
            info\['proxy'\] = proxy  
            proxy\_list.append(info)  
    except Exception as e:  
        pass\#  
if \_\_name\_\_ == "\_\_main\_\_":  
    url = r"https://www.xicidaili.com/nn"  
    headers = \{  
        'User-Agent': "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10\_6\_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"  
    \}  
    proxy\_list = \[\] \#所有有效代理都存到一个list中  
    get\_xici\_proxy(url,headers)

print("有效代理数量：",len(proxy\_list))  
    print("第二个代理地址：",proxy\_list\[1\].get('proxy'))  
    print("第二个代理地址是否匿名：",proxy\_list\[1\].get('是否匿名'))  
    print("第二个代理地址类型：",proxy\_list\[1\].get('类型'))  
    print("检测的第二个代理地址存活时间：",proxy\_list\[1\].get('存活时间'))  
    print("\_"\*20)  
    use\_time = datetime.now()- start\_time  
    print("程序运行共计耗时：\{\}秒".format(use\_time.seconds))

[https_mail.163.com]: https://mail.163.com/
[https_blog.csdn.net_weixin_42937385_article_details_88150379]: https://blog.csdn.net/weixin_42937385/article/details/88150379
[https_www.xicidaili.com]: https://www.xicidaili.com/
[https_blog.csdn.net_weixin_43720396_article_details_88218204]: https://blog.csdn.net/weixin_43720396/article/details/88218204
[https_blog.csdn.net_qq_41131384_article_details_90243152]: https://blog.csdn.net/qq_41131384/article/details/90243152