前端神器之PuppeteerJs(Node爬虫)

墨蓝 2022-10-01 10:53 382阅读 0赞

## PuppeteerDocs ##

[中文官网][Link 1]，[Github][]

## 安装Puppeteer ##

注意点：

1.  node版本要求(官网要求至少6.4)，建议最好最低在8.x版本以上(使用nvm或nvs安装LTS版即可)，因为高版本的nodejs对一些新的js特性有很好的支持。
2.  puppeteer自动下载的chromium连接是外网链接，需要外网才能下载下来，如果没用外网去安装，会报如下错误：

这个错误告诉你设置环境变量跳过下载chromium，从而只安装模块：

# 设置环境变量跳过下载 Chromium 
    set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1 
    npm i -S puppeteer
    
    # 或者可以这样干，只下载模块而不build
    npm i --save puppeteer --ignore-scripts复制代码

不建议使用跳过下载chromium方式去下载，因为跳过以后还要[手动下载chromium][chromium](此下载地址为淘宝镜像地址，[官网][Link 2]下载地址也是外网)，如果非要用此方式安装也可以，这是[参考连接][Link 3]。

下载下来chromium后把解压后的文件夹放到你的项目目录，通过puppeteer的executablePath参数（接受一个url，可以是相对路径也可以是绝对路径）指向你解压后的文件路径下的可执行文件，如：'/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium'

手动下载chromium后的配置方式[参考][Link 3]

建议最好还是自己能拥有一个可靠的翻墙软件或者搭建自己的VPN也可以，毕竟多多少少还是要访问外网的。

当然如果没有外网也有其他解决办法：

**下载 `Chromium` 失败解决办法**

*  更换国内`Chromium`源

set PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
    npm i puppeteer复制代码

*  或者用 `cnpm` 安装

npm install -g cnpm --registry=https://registry.npm.taobao.org
    cnpm i puppeteer
    cnpm i puppeteer@1.4.0  // 本人用的1.4.0复制代码

\*\* **如果设置了跳过chromium下载安装模块的命令。想还原成不跳过chromium下载去安装模块，用：**

set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=0 复制代码

#### 初试 Puppeteer，截个图吧 ####

*  `puppeteer.launch` 启动浏览器实例
 *  `browser.newPage()` 创建一个新页面
 *  `page.goto` 进入指定网页
 *  `page.screenshot` 截图

转载于:https://juejin.im/post/5cdaccbb51882568403bf4d9

[Link 1]: https://link.juejin.im?target=https%3A%2F%2Fzhaoqize.github.io%2Fpuppeteer-api-zh_CN%2F%23%2F
[Github]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2FGoogleChrome%2Fpuppeteer
[chromium]: https://link.juejin.im?target=http%3A%2F%2Fnpm.taobao.org%2Fmirrors%2Fchromium-browser-snapshots%2F
[Link 2]: https://link.juejin.im?target=https%3A%2F%2Fdownload-chromium.appspot.com
[Link 3]: https://link.juejin.im?target=https%3A%2F%2Fcnodejs.org%2Ftopic%2F5a4d8d2299d207fa49f5cbbc