python3 [爬虫入门实战]爬虫之selenium 安装设置与初步使用

落日映苍穹つ 2021-06-10 20:42 397阅读 0赞

> 总结：过程还是可以的，成就感还是稍微有些的。耗时一个上午

### 准备: ###

selenium 相对应的可执行文件的下载与安装  
![这里写图片描述][SouthEast]

解压放在：  
![这里写图片描述][SouthEast 1]

> 就是这两部，如果官网慢的话，可以去csdn上进行下载 。

### 下面是python代码中的模块 ###

导包模块：

在selenium中得到网页信息的主要是：

we_data = driver.page_source # 一定要有，因为要抓很多页数

数据都在we\_data里面了

评论文本的re，要有\\n 上次已经吃亏过一次了。

reg2 = r'"comment-text">.*?<p>(.*?)\n</p>'# 评论的文本所在区域

> 下面看具体代码：运行环境pycharm2017，py35，

# encoding=utf8
    from selenium import webdriver
    import re
    
    from selenium.webdriver.common.keys import Keys
    from selenium.webdriver.common.action_chains import ActionChains
    
    import time
    
    import os
    from bs4 import BeautifulSoup
    
    # 先建一个空列表，用于接收爬取的文字
    all_comments = []
    
    # 之前用的Chrome 会默认打开Chrome，需要把下载的chromedriver.exe 放在python的文件路径下
    driver = webdriver.PhantomJS()
    # browser = webdriver.Chrome()
    # browser.get('https://www.baidu.com/')
    
    # 调用get方法
    driver.get('http://v.youku.com/v_show/id_XMTgxODg5NzM0MA==.htm')
    # 进入网页
    driver.execute_script("window.scrollBy(0,3000)")    # 这是下拉操作,进入网页后悔自己滚动到页面下面，这样评论才会加载出来
    
    time.sleep(3) # 睡眠
    driver.execute_script("window.scrollBy(0,5000)") # 下拉操作，具体下拉得看自己的屏幕
    time.sleep(3)
    
    #这里搞了我很久,一直找不到评论的所在,查了很久文档,对先抓大后抓先深感为然,不然你直接匹配评论内容是找不到的,这个是先匹配到最新评论的div,找到所有评论的框架先,这样动态数据才能加载出来,如图,所有最新评论都在一个class=commens的div中,为了剔除第一页的最热评论,又折腾了好久...
    # data = driver.find_element_by_class_name('comment-list-body')
    data = driver.find_element_by_id('videoCommentlist')
    
    we_data = driver.page_source # 一定要有，因为要抓很多页数
    # print(we_data)
    print(data)
    
    reg = r'"comment-list-main comment-list-box">(.*?)\n</div>'# 最新评论所在的区域
    
    reg2 = r'"comment-text">.*?<p>(.*?)\n</p>'# 评论的文本所在区域
    
    comments1 = str(re.findall(reg,we_data,re.S))
    print('comments1 '+comments1)
    
    # 第一页数据包含热门数据供40条(其中热门数据10，最新数据30)
    comments2 = re.findall(reg2,we_data,re.S) # 匹配文字内容
    print('comments2 '+str(comments2))
    for i in comments2:
        print('coment'+str(i))
    # 把找到的文字评论内容添加进去
    all_comments.extend(comments2)
    print(len(comments2))
    
    # 接下来是重复这个步骤就好了。不然要添加一句click（），让selenium模拟人工点击第二页，然后复制以上抓取第二页评论就好了
    
    # 第二页数据（只有三十条）
    time.sleep(2)
    # 直接在浏览器中复制的
    driver.find_element_by_xpath('//*[@id="videoCommentlist"]/div[4]/div/ul[1]/li[2]/a').click()
    time.sleep(2)
    driver.execute_script("window.scrollBy(0,2000)")
    time.sleep(3)
    driver.execute_script("window.scrollBy(0,4000)")
    time.sleep(3)
    data = driver.find_element_by_id('videoCommentlist')
    
    we_data = driver.page_source # 一定要有，因为要抓很多页数
    # print(we_data)
    print(data)
    
    reg = r'"comment-list-main comment-list-box">(.*?)\n</div>'# 最新评论所在的区域
    
    reg2 = r'"comment-text">.*?<p>(.*?)\n</p>'# 评论的文本所在区域
    
    comments1 = str(re.findall(reg,we_data,re.S))
    print('comments3 '+comments1)
    
    comments2 = re.findall(reg2,we_data,re.S) # 匹配文字内容
    print('comments4 '+str(comments2))
    for i in comments2:
        print('coment'+str(i))
    print(len(comments2))

以上代码是爬取了两页内容，如果需要下一页的需要找到id，然后调用click（）方法就可以

### 爬取结果 ###

![这里写图片描述][SouthEast 2]

**初次使用：竟然不用cookie，头文件信息之类的，懵逼了已经**

代码量不是很多，但是注释里面很清楚，都在里面，以后可以进行扩展。

下次进行好友qq空间说说or留言的爬取。采用selenium工具

[SouthEast]: /images/20210529/fd9eed9e313e4d4ebe88a7bf45aef484.png
[SouthEast 1]: /images/20210529/e0e673a4abd94e51b4097915678dc8e6.png
[SouthEast 2]: /images/20210529/fa2c59a1880d4befbba97051f9f61c0f.png