实战用puppeteer 和puppeteer-cluster 获取某站所有有用链接

心已赠人 2022-12-16 13:05 157阅读 0赞

#### puppeteer ####

谷歌推出的用于操作无头浏览器的nodeJs框架，提供上层API用于直接操作浏览器。该框架适用于爬取web2.0页面，同时对web1.0的支持率也比较高，代码编写也很简单。 [puppeteer中文文档][puppeteer]

#### Puppeteer-cluster ####

池化思想作用于puppeteer的产物，任务分发与调度，让nodejs可以利用自身去实现整个爬虫。在使用该组件之前，我使用java来写爬虫的调度算法，然后用eureka来调用nodejs的页面抓取模块。 [puppeteer-cluster项目地址][puppeteer-cluster]

#### 首先需要获取整站的所有页面 ####

获取所有页面，并确定当url是pan.baidu.com的时候过滤掉已经失效的链接

const {Cluster} = require('puppeteer-cluster');
    const launchOptions = {
        headless: true,
        ignoreHTTPSErrors: true,        // 忽略证书错误
        waitUntil: 'networkidle2',
        defaultViewport: {
            width: 1920,
            height: 1080
        },
        args: [
            '--disable-gpu',
            '--disable-dev-shm-usage',
            '--disable-web-security',
            '--disable-xss-auditor',    // 关闭 XSS Auditor
            '--no-zygote',
            '--no-sandbox',
            '--disable-setuid-sandbox',
            '--allow-running-insecure-content',     // 允许不安全内容
            '--disable-webgl',
            '--disable-popup-blocking',
            //'--proxy-server=http://127.0.0.1:8080'      // 配置代理
        ],
        executablePath: 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe',
    };
    
    const clusterLanuchOptions = {
        concurrency: Cluster.CONCURRENCY_PAGE,  // 单Chrome多tab模式
        maxConcurrency: 20,  // 并发的workers数
        retryLimit: 2,   // 重试次数
        skipDuplicateUrls: true,  // 不爬重复的url
        monitor: true,  // 显示性能消耗
        puppeteerOptions: launchOptions,
    };
    (async () => {
        const cluster = await Cluster.launch(clusterLanuchOptions);
        const cluster2 = await Cluster.launch(clusterLanuchOptions2);
        await cluster2.task(async ({page, data: url}) => {
            let urlTrue = url.split(' ')[0];
            await page.goto(urlTrue);
            await page.waitForSelector('html');
            let title = await page.title();
            let x = "D:\\workspace\\node\\check\\bbs\\controllers\\pantrue.txt";
            if (title.indexOf('不存在') === -1) {
                let value = '';
                if (title.indexOf('分享无限制')) {
                    value = urlTrue + ' ' + title + '\n';
                } else {
                    value = url.split(' ')[1].substr(0, 20) + ' ' + url.split(' ')[2] + ' ' + urlTrue + ' ' + title + '\n';
                }
                fs.writeFile(x, value, {flag: 'a'}, function (err) {
                    if (err !== null) {
                        console.log(err);
                    }
                });
            }
        });
        await cluster.task(async ({page, data: url}) => {
            await page.goto(url);
            await page.waitForSelector('html');
            let title = await page.title();
            await page.content();
            let x = "D:\\workspace\\node\\check\\bbs\\controllers\\pan.txt";
            let y = "D:\\workspace\\node\\check\\bbs\\controllers\\outDomain.txt";
            let yuanDomain = urllib.parse(urlTrue);
            let newDomain = urllib.parse(url);
    
            if (yuanDomain.hostname !== newDomain.hostname) {
                if (!outUrlSet.has(newDomain.hostname)) {
                    fs.writeFile(y, url + ' ' + title + '\n', {
                        flag: 'a'
                    }, function (err) {
                        if (err) {
                            console.error(err);
                        }
                    });
                    outUrlSet.add(newDomain.hostname);
                }
            } else {
                let links = await page.$$eval('[src],[href],[action],[data-url],[longDesc],[lowsrc]', get_src_and_href_links);
                let res = await parseLinks(links, url);
                console.log({links: links.length}, {res: res.length});
                for (let i = 0; i < res.length; i++) {
                    let link = res[i];
                    if (link !== undefined && link.indexOf("pan.baidu.com") !== -1) {
                        // todo 存起来
                        if (!panSet.has(link)) {
                            fs.writeFile(x, link + ' ' + title + ' ' + url + '\n', {
                                flag: 'a'
                            }, function (err) {
                                if (err) {
                                    console.error(err);
                                }
                            });
                            cluster2.queue(link + ' ' + title + ' ' + url);
                            panSet.add(link);
                        }
                    } else {
                        cluster.queue(link);
                    }
                }
            }
        });
        cluster.queue('http://www.xxxxx.com/');
        await cluster.idle();
        await cluster.close();
    })();
    
    async function parseLinks(links, url) {
        let result = [];
        // 处理url
        return result;
    }
    
    function get_src_and_href_links(nodes) {
        let result = [];
        // 获取节点中的所有
        return result;
    }

#### 分析页面，获取更深的信息 ####

得到的盘链接，有些是无限制的，有些是需要tiquma的，而tiquma该如何获取呢？往往原来的页面里面会有，这个时候我们就需要分析原来的页面了。 ![file][] 在这个网站中，提取码几乎都放在strong标签中，那我们只好使用方法得到页面中的strong标签 在puppeteer中可以使用page.$$eval()方法来获取strong节点集合，然后使用treeWalker遍历整个节点得到我们想要的东西即可。

let {text,html} = await page.$$eval('strong', getTiQuMa);
    function getTiQuMa(nodes) {
        let html = '';
        let text = '';
        for (let node of nodes) {
            let treeWalker = document.createTreeWalker(
                node,
                NodeFilter.SHOW_ELEMENT,
                {
                    acceptNode: function (node1) {
                        return NodeFilter.FILTER_ACCEPT;
                    }
                },
                false
            );
            while (treeWalker.nextNode()) {
                let element = treeWalker.currentNode;
                text = text + ' ' + element.innerText;
            }
        }
        return {text: text, html: html};
    }

#### 问题展望 ####

现在，我们实现了基于一个网站的所有盘链接的获取，那么，如果现在想要实现一个通用的盘链接获取爬虫，从而实现盘链接的搜索引擎该如何完成呢？ 关注我，让我给你解答。

> 炒鸡辣鸡原创文章，转载请注明来源

[puppeteer]: https://zhaoqize.github.io/puppeteer-api-zh_CN/
[puppeteer-cluster]: https://github.com/thomasdondorf/puppeteer-cluster
[file]: /images/20221123/88e287c4560a440fae86341cdb408b3d.png