pyspider+selenium 获取js 加载内容（附源码）

朱雀 2021-10-16 01:26 782阅读 0赞

## 背景 ##

最近一直在搞论坛的爬虫。爬着爬着，突然遇到一个论坛的反爬虫机制比较强。例如：[http://bbs.nubia.cn/forum-64-1.html][http_bbs.nubia.cn_forum-64-1.html]。当访问这个页面时，第一次返回的不是html页面，而是加密后的js内容，然后写入cookie，等待设置好的时间，然后跳转到真正的页面。 如下图：

![Image 1][]

加密混淆后的js

*  想到的方案：

1.  分析加密的js，看怎么计算出的cookie，是否有规律可以生成该cookie等，然后每次访问时带上此cookie即可。
2.  使用Pypisder自带的PhantomJs脚本，以PhantomJs的方法执行这个加密的JS，然后获取html的内容。
3.  使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
4.  使用puppeteer + Headless Chrome获取html的内容。

*  分析方案：

1.  分析加密的js不是件容易的事，要破解加密方法等难度相对较大，时间成本有限，暂时放弃。
2.  本打算使用pyspider自带的phanthomjs方式，结果是phanthoms在访问上面的url时，一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了，对于bug的修复和新的js语法支持力度不够。（需要进一步分析为什么会卡死？）
3.  最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面，搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器，支持js特性比较全面，能真实的模拟用户请求，而且Chrome官方也出了针对headless chrome的api([node版本][node])，api的可靠性，支持chrome特性的力度都非常的好。
4.  puppeteer 是nodejs版本的api， 对nodejs不熟悉，暂时先忽略。

# Chrome #

Chrome浏览器从59版本之后开始支持headless模式，用户可以在无界面下进行各种操作，例如：截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome，请根据平台进行[下载][Link 1]、安装。更多headless chrome的用法可以参考：[headless chrome用法][headless chrome]

# Selenium #

Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器，但它并不是真正的浏览器，它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的，每个浏览器都有对应的WebDriver。如果我们要用Chrome，就需要下载Chrome的WebDriver。

*  [Selenium官网][Selenium]
 *  [Chromne WebDriver][]

Selenium有很多语言版本的，你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装：`pip install selenium`

下载[WebDriver][]时需要选择对应的平台，比如我是在win上跑，下载的就是windows平台的。

# 配置PATH #

把下载的WebDriver放在PATH环境变量可以加载到的位置，这样在程序中不用指定webDriver，会方便很多。

# Python版本的Headless Chrome Web Server #

*  pyspider利用phantomjs爬取js动态页面的原理：  
    pyspider搜索PATH中的phantomjs命令，然后使用phantomsjs去执行phantomjs\_fetcher.js，从而启动一个监听固定port的web server服务；当在Handler中的self.crawl(xxx)方法中带上fetch\_type='js'参数时，pyspider便发请求给这个port，利用phantomjs去转发请求，访问js动态页面，从而爬虫动态页面。

如果我想利用selenium+chrome爬取动态页面，也需要实现一个web server，以便pyspider可以访问它，利用它转发请求。python版本的实现如下：

from urllib.parse import urlparse
    import json
    import time
    import datetime
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    from flask import Flask, request
    
    app = Flask(__name__)
    
    @app.route('/', methods=['POST', 'GET'])
    def handle_post():
        if request.method == 'GET':
            body = "method not allowed!"
            headers = {
                'Cache': 'no-cache',
                'Content-Length': len(body)
            }
            return body, 403, headers
        else:
            start_time = datetime.datetime.now()
            raw_data = request.get_data()
            fetch = json.loads(raw_data, encoding='utf-8')
            print('fetch=', fetch)
    
            result = {'orig_url': fetch['url'],
                      'status_code': 200,
                      'error': '',
                      'content': '',
                      'headers': {},
                      'url': '',
                      'cookies': {},
                      'time': 0,
                      'js_script_result': '',
                      'save': '' if fetch.get('save') is None else fetch.get('save')
                      }
    
            driver = InitWebDriver.get_web_driver(fetch)
            try:
                InitWebDriver.init_extra(fetch)
    
                driver.get(fetch['url'])
    
                if InitWebDriver.isFirst:
                    time.sleep(2)
                    InitWebDriver.isFirst = False
    
                result['url'] = driver.current_url
                result['content'] = driver.page_source
                result['cookies'] = _parse_cookie(driver.get_cookies())
            except Exception as e:
                result['error'] = str(e)
                result['status_code'] = 599
    
            end_time = datetime.datetime.now()
            result['time'] = (end_time - start_time).seconds
    
            # print('result=', result)
            return json.dumps(result), 200, {
                'Cache': 'no-cache',
                'Content-Type': 'application/json',
            }
    
    def _parse_cookie(cookie_list):
        if cookie_list:
            cookie_dict = dict()
            for item in cookie_list:
                cookie_dict[item['name']] = item['value']
            return cookie_dict
        return {}
    
    
    class InitWebDriver(object):
        _web_driver = None
        isFirst = True
    
        @staticmethod
        def _init_web_driver(fetch):
            if InitWebDriver._web_driver is None:
                options = Options()
    
                if fetch.get('proxy'):
                    if '://' not in fetch['proxy']:
                        fetch['proxy'] = 'http://' + fetch['proxy']
                    proxy = urlparse(fetch['proxy']).netloc
                    options.add_argument('--proxy-server=%s' % proxy)
    
                set_header = fetch.get('headers') is not None
                if set_header:
                    fetch['headers']['Accept-Encoding'] = None
                    fetch['headers']['Connection'] = None
                    fetch['headers']['Content-Length'] = None
    
                if set_header and fetch['headers']['User-Agent']:
                    options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])
    
                if fetch.get('load_images'):
                    options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
    
                # set viewport
                fetch_width = fetch.get('js_viewport_width')
                fetch_height = fetch.get('js_viewport_height')
                width = 1024 if fetch_width is None else fetch_width
                height = 768 * 3 if fetch_height is None else fetch_height
                options.add_argument('--window-size={width},{height}'.format(width=width, height=height))
    
                # options.add_argument('--headless')
    
                InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options)
    
        @staticmethod
        def get_web_driver(fetch):
            if InitWebDriver._web_driver is None:
                InitWebDriver._init_web_driver(fetch)
            return InitWebDriver._web_driver
    
        @staticmethod
        def init_extra(fetch):
            driver = InitWebDriver._web_driver
            if fetch.get('timeout'):
                driver.set_page_load_timeout(fetch.get('timeout'))
                driver.set_script_timeout(fetch.get('timeout'))
            else:
                driver.set_page_load_timeout(20)
                driver.set_script_timeout(20)
    
                # reset cookie
                cookie_str = fetch['headers']['Cookie']
                if fetch.get('headers') and cookie_str:
                    # driver.delete_all_cookies()
                    cookie_dict = dict()
                    for item in cookie_str.split('; '):
                        key = item.split('=')[0]
                        value = item.split('=')[1]
                        cookie_dict[key] = value
                    # driver.add_cookie(cookie_dict)
    
        @staticmethod
        def quit_web_driver():
            if InitWebDriver._web_driver is not None:
                InitWebDriver._web_driver.quit()
    
    
    if __name__ == '__main__':
        app.run('localhost', 8099)
        InitWebDriver.quit_web_driver()

此实现参考pyspider源码：tornado\_fetcher.py和phantomjs\_fetcher.js。但是，实现的功能不全，只实现了我需要的功能。诸如：设置cookie, 执行js等并没有实现，您可以参考上面的实现，实现自己的需求。

# 让pyspider fetcher访问Headless Chrome Web Server #

1.  先启动chrome web server，直接运行：`python selenium_fetcher.py`即可，端口为8099
2.  在启动pyspider时，指定`--phantomjs-proxy=http://localhost:8099`参数，如：`pyspider --phantomjs-proxy=http://localhost:8099`

[http_bbs.nubia.cn_forum-64-1.html]: https://link.jianshu.com?t=http%3A%2F%2Fbbs.nubia.cn%2Fforum-64-1.html
[Image 1]: 
[node]: https://link.jianshu.com?t=https%3A%2F%2Fgithub.com%2FGoogleChrome%2Fpuppeteer
[Link 1]: https://link.jianshu.com?t=https%3A%2F%2Fwww.google.com%2Fchrome%2Fbrowser%2Fdesktop%2Findex.html
[headless chrome]: https://link.jianshu.com?t=https%3A%2F%2Fdevelopers.google.com%2Fweb%2Fupdates%2F2017%2F04%2Fheadless-chrome
[Selenium]: https://link.jianshu.com?t=http%3A%2F%2Fwww.seleniumhq.org%2F
[Chromne WebDriver]: https://link.jianshu.com?t=https%3A%2F%2Fsites.google.com%2Fa%2Fchromium.org%2Fchromedriver%2Fdownloads
[WebDriver]: https://link.jianshu.com?t=https%3A%2F%2Fchromedriver.storage.googleapis.com%2Findex.html%3Fpath%3D2.35%2F