用 puppeteer 模拟人工实现网盘链接批量转存

小咪咪 2022-12-17 10:52 78阅读 0赞

### 需求分析 ###

别人分享了很多网盘链接，自己每个手动去转存很浪费时间，而且，这些操作都是重复性劳动。与Pandownload的这个功能类似，不过pandownload由于一些原因无法使用了，所以只能自己实现。

### 思路 ###

思路其实很简单，就是完全模拟人为操作，将网盘链接存起来。我们可以把网盘链接分为两种，第一种是没有提取码的，第二种是有提取码的。前者比后者少一个提交提取码的步骤。那么，我们

#### 如何区分，访问一个网盘链接的时候，究竟是哪种呢？ ####

可以通过访问页面的title来决定。 ![file][] 这种是无提取码的，后缀是**无限制** ![file][file 1] 这种是需要填写提取码的，后缀是**请输入提取码**，写代码的时候，截取后三个字儿提取码即可

#### 填写Cookie信息 ####

批量转存的前提是，我们得登录，我这里实现的方案是直接从浏览器中获取到cookie信息，复制到代码中进行使用，查看网站的cookie信息可以用插件**EditThisCookie** ![file][file 2] 点击右上角导出Cookie，cookie就放在粘贴板中了，复制到代码中，然后使用循环，将所有cookie利用page.setCookie方法，将cookie放置到当前请求上下文中

#### 填写提取码 ####

等待页面加载完毕，找到输入提取码框的元素，找到其id，然后使用page.$$eval()方法获取并写入东西 ![file][file 3] 可以看见，这里的id为accessCode。所以我们只需要写

await page.$$eval('#accessCode', writeCode, code);
    async function writeCode(nodes, code) {
        for (let node of nodes) {
            node.value = code;
        }
    }

就可以了。我这里是直接改的node.value，你也可以用puppeteer模拟人来填写。

#### 提取文件 ####

找到提取文件按钮，点击，然后等待跳转完毕。 ![file][file 4] 值得注意的是，我们点击的一定是A标签，其他标签需要进行过滤。

await page.$$eval('.g-button-blue-large', click);
    await page.waitFor(1000);
    
    async function click(nodes) {
        for (let node of nodes) {
            if (node.title === '提取文件') {
                await node.click();
            }
        }
    }

然后等待跳转即可

#### 选择要保存的文件 ####

这里简单实现为，选择全部文件，不过值得注意的是，如果是单文件，是不需要点击选择全部文件的。可以通过判断元素是否存在判断是否有复选框，是否需要进行点击 ![file][file 5] 如图，不过这里奇怪的是，class的值是一个不可读的字符串，我不确定这个值是不是与用户有关，所以这里就打码了。 既然需要做的就是找到这个元素，点击就行了，那我们照着做就行

await page.$$eval('.zbyDdwb', selectAll);
    
    async function selectAll(nodes) {
        for (let node of nodes) {
            await node.click();
            break;
        }
    }

#### 点击保存到网盘 ####

与点击提取文件一样，找到目表按钮，然后点击就行，感兴趣的朋友，可以自己试试

#### 弹出框选择保存的文件路径 ####

避免麻烦，这里写得比较简单，如果有选择跟上一次样的框，那么就点击选择跟上一次一样，如果没有，就直接存储在根目录下。（可以根据你想要的需求自己改） 选择前 ![file][file 6] 选择后 ![file][file 7] 可以发现，仅仅是改变了Class的值，所以实现的时候，也改变一下值就行

await page.$$eval('.save-path-item', chooseLocation);
    async function chooseLocation(nodes) {
        for (let node of nodes) {
            node.setAttribute('class', 'save-path-item check');
        }
    }

#### 点击确定按钮 ####

与之前几个按钮一样，我们只需要找到确认按钮，点击就行了。

await page.$$eval('[title=确定]', confirm)
    async function confirm(nodes) {
        for (let node of nodes) {
            console.log(node.tagName);
            if (node.tagName === 'A') {
                await node.click();
            }
        }
    }

这样，整个逻辑就完成了。

#### 完整代码 ####

为了程序能正常运行，需要加入一些额外的waitFor等待，避免操作太快导致的诸如IP封禁，元素未加载出来等乱七八糟的问题。同时，我这里数据都是从数据库中出来的，所以里面有与更新数据库状态的代码。

> 炒鸡辣鸡原创文章，转载请注明来源

[file]: /images/20221122/c4f18d53cfaa4b86aec417886176f381.png
[file 1]: https://img-blog.csdnimg.cn/2020102314014499.png
[file 2]: /images/20221122/d4ee2cb6940e4fbc9572903c7326634a.png
[file 3]: /images/20221122/ac5ca8d897c649379ed754b7c9da0a00.png
[file 4]: /images/20221122/7adb62c4825f44b5ba77ab6bdc71fbcb.png
[file 5]: /images/20221122/f5d0cd9b50174bd8b5e4f01f676ae681.png
[file 6]: https://img-blog.csdnimg.cn/20201023140147772.png
[file 7]: /images/20221122/2641fa11d3ba47c5bbd39c6ce379d074.png