python爬虫基础

太过爱你忘了你带给我的痛 2022-05-18 03:49 404阅读 0赞

# 1. 前言 #

我不是专业爬虫工程师，只是业余爬点数据做做分析和挖掘工作，所以没有使用到复杂的反爬虫和线程池等技术，也没有用到beautifulSoup这样的神库。但是并不影响我轻松爬取网页数据。  
这里简单记录下浏览器操作，源码读取，以及数据提取的方法，够用了。

# 2. selenium操作chrome浏览器 #

## 2.1. 安装chrome浏览器和浏览器驱动 ##

首先你需要安装chrome浏览器，以及下载对应的`chromedriver.exe`驱动，并将`chromedriver.exe`驱动目录添加至path环境变量，简单的做法是将`chromedriver.exe`驱动放到python的安装目录即可。  
chromedriver驱动和chrome的版本对应关系在每个chromedriver驱动下载目录的notes.txt文件都有说明，chromedriver驱动下载网址是：`http://chromedriver.storage.googleapis.com`

**测试安装情况：**  
如果能正常打开百度说明安装成功

from selenium.webdriver import Chrome
    browser = Chrome()
    browser.get('https://www.baidu.com')

# 3. selenium使用xpath定位元素 #

## 3.1. 提取数据 ##

使用xpath定位元素是我看到的最简单也是最快的方法，没有之一，方法是，在chrome浏览器打开某个页面后，将鼠标放到某个元素（文字，链接，图片等），点击鼠标右键，选择`检查`，即可得到元素所在的html地址。然后我们在右键选择`copy xpath`即可得到元素的xpath。  
得到xpath有什么用呢？太有用了，有了xpath，可以让程序获取xpath的文本信息，图片信息，超链接信息，进一步，模拟鼠标点击。

# 第1步，打开百度网页
    from selenium.webdriver import Chrome
    browser = Chrome()
    browser.get('https://www.baidu.com')
    
    # 第2步，获取xpath地址
    # 通过刚才的方法，我们已经得到`新闻`的xpath
    xpath='//*[@id="u1"]/a[1]'
    
    # 第3步，获取xpath的内容
    browser.find_element_by_xpath(xpath).text
    # '新闻'
    
    # 获取超链接
    browser.find_element_by_xpath(xpath).get_property('href')
    # 'http://news.baidu.com/'

如果你还不明白，请看下面两张图：  
![这里写图片描述][70]

![这里写图片描述][70 1]

## 3.2. 浏览器交互 ##

好了，接下来演示如何和浏览器交互。还是以刚才打开的百度网页为例，演示如何输入关键字并点击搜索按钮.

# 第1步，打开百度网页
    from selenium.webdriver import Chrome
    browser = Chrome()
    browser.get('https://www.baidu.com')
    
    # 第二步，用前面的方法找到搜索框的xpath，并输入内容
    xpath='//*[@id="kw"]'
    browser.find_element_by_xpath(xpath).send_keys('这是一个演示')
    
    # 第三步 ，找到`百度一下`按钮，并模拟鼠标点击
    xpath='//*[@id="su"]'
    browser.find_element_by_xpath(xpath).click()

现在chrome浏览器是不是已经出现搜索结果了呢！是不是很方便呢。  
用这种方法在模拟登录是很方便的，完全模拟浏览器，不用做什么浏览器头文件什么的。  
当然这里没有用到复杂的session和cookies，如果你有空折腾，selenium也是很简单的。

## 3.3. 一些常用的浏览器交互 ##

下面说一下一些常用的浏览器交互，除了上面的输入和点击外，还有一些常用的交互方法，比如滚动，在新标签页打开，点击等。

**滚动页面**  
为什么要滚动页面呢，因为有些网页反爬虫很厉害，你不能看着第一行的内容却提取最后一行的内容，特别是在网页很长很长的情况下。

# 打开浏览器
    from selenium.webdriver import Chrome
    browser = Chrome()
    
    # 第一种，滚动到底部
    browser.execute_script(self, 'window.scrollTo(0, document.body.scrollHeight)')
    
    # 第二种，往下滚动50像素
    browser.execute_script(self, 'window.scrollTo(0, 50)')
    
    # 第三种，滚动到xpath位置
    xpath='xpath you specify'
    view = browser.find_element_by_xpath(xpath)
    browser.execute_script("arguments[0].scrollIntoView()", view)

**在页面上点击**  
这里说的点击是随机点击，而不是点击具体的某一个xpath指定的元素。

# 打开浏览器
    from selenium.webdriver import Chrome
    from selenium.webdriver.common.action_chains import ActionChains
    browser = Chrome()
    
    # 根据x,y坐标点击页面
    ActionChains(browser).move_by_offset(x, y).context_click()

**在新标签页打开网页**

from selenium.webdriver import Chrome
    browser = Chrome()
    
    browser.execute_script(self, 'window.open("' + url + '")')

## 3.4. 代理 ##

再爬虫中不可避免地会提及代理。在selenium中设置代理也很简单，下面的演示。

from selenium.webdriver import Chrome
    from selenium.webdriver import ChromeOptions
    
    # 设置代理参数
    chrome_options = ChromeOptions()
    chrome_options.add_argument('--proxy-server=http://{proxy_ip}'.format(proxy_ip=proxy_ip))
    # 启动浏览器
    browser = Chrome()

## 3.5. headless ##

headless，简单说就是不打开浏览器指定浏览器的相关操作，因为打开浏览器是很好资源的，如果所有的步骤都已经设置好并部署在服务器上，当然是不需要打开浏览器啊，相当于后台运行的意思。

from selenium.webdriver import Chrome
    from selenium.webdriver import ChromeOptions
    
    # chrome参数
    chrome_options = ChromeOptions()
    chrome_options.add_argument('--headless')
    # 启动浏览器
    browser = Chrome()

## 3.6. selenium获取源码 ##

这个操作是，既然已经打开网页了，那能不能将网页的源码保存下来，然后传给其他程序处理呢，比如将网页源码发给beautifulSoup解析？当时是可以的，就一句话的事情。

# 打开网页
    from selenium.webdriver import Chrome
    browser = Chrome()
    browser.get('https://www.baidu.com')
    
    # 获取源码
    html = browser.page_source

# 4. lxml使用xpath提取数据 #

selenium很棒是不是，可以你知道吗，使用selenium操作chrome是很好资源的，而且经常出现chrome浏览器在等待网站相应，特别是js响应的时候耗费很多时间最后超时的情况，如果我们不需要特别复杂的操作，只是简单讲网页下载下来，或者说，对方网站就很简单，那就没必要用selenium了，只需要用chrome得到xpath地址，然后用lxml解析即可。

基本步骤是：  
\- 1.先用chrome浏览器获取元素的xpath  
\- 2.用request下载网页  
\- 3.用lxml解析xpath的元素

还是以百度为例

from lxml import etree
    import requests
    
    # 设置浏览器
    headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Chrome/50.0.2661.102'}
    # 访问网页
    r = requests.get('https://www.baidu.com/', headers=headers)
    # 设置网页编码类型，一般不需要，看网站而定
    r.encoding = 'utf-8'
    
    # 重点来了，解析网页，获取xpath指定的数据
    # 这个xpath是通过chrome浏览器得到的
    html = etree.HTML(r.text)
    xpath='//*[@id="u1"]/a[1]'
    
    # 获取内容
    tag=html.xpath(xpath)[0]
    tag.text
    # 获取超链接
    tag.get('href')

# 5. 后话 #

好了，暂时先说到这里，相信你看完这篇文章后也能上手爬虫了，起码能爬取90%类型的互联网网页信息。  
当然，爬虫也不是只有这些，反爬机制，动态加载，并发，爬虫池等等，祝你从入门到放弃。

[70]: /images/20220518/119e1bb58038478c95a0242dd83b60be.png
[70 1]: /images/20220518/2e8f8dbc98fd46da8428935f20503766.png