通过pyppeteer来爬取今日头条

Dear 丶 2023-08-17 16:35 139阅读 0赞

import asyncio
    from pyppeteer import launch
    
    
    async def main():
        browser = await launch()
        page = await browser.newPage()
        await page.setViewport(viewport={
        'width': 1280, 'height': 800})
    
        # 是否启用js
        await page.setJavaScriptEnabled(enabled=True)
    
        await page.goto('https://www.toutiao.com')
    
        # 打印cookie页面
        print(await page.cookies())
    
        # await asyncio.sleep(5)
        await asyncio.sleep(2)
        title_ele = await page.xpath('//div[@class="title-box"]/a')
    
        for item in title_ele:
            # title_str = await (await item.getProperty('textContent')).jsonValue()
            print(await (await item.getProperty('textContent')).jsonValue())
            title_link = await (await item.getProperty('href')).jsonValue()
            print(title_link)
            # print(await item.jsonValue())
    
        await browser.close()
    
        # # 打印页面文本
        # print(await page.content())
        #
        # # 打印当前首页的标题
        # print(await page.title())
    
    asyncio.run(main())

转载于:https://www.cnblogs.com/tulintao/p/11603263.html

发表评论取消回复

表情：

评论列表（有 0 条评论，139人围观）

还没有评论，来说两句吧...

相关阅读

相关通过pyppeteer来爬取今日头条

import asyncio from pyppeteer import launch async def main():

Dear 丶/ 2023年08月17日 16:35/ 0 赞/ 140 阅读

相关 Python爬虫 | 批量爬取今日头条街拍美图

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤浮云一别后，流水十年间。 ![8

墨蓝/ 2022年10月13日 02:15/ 0 赞/ 317 阅读

相关 Ajax数据爬取（4）分析Ajax爬取今日头条街拍美图

转载请注明：[静觅][Link 1] » [\[Python3网络爬虫开发实战\] 6.4-分析Ajax爬取今日头条街拍美图][Python3_ 6.4-_Ajax]

小鱼儿/ 2022年05月26日 03:36/ 0 赞/ 231 阅读

相关 Python | 分析 Ajax 爬取今日头条街拍美图

> 微信公众号：一个优秀的废人 > 如有问题或建议，请后台留言，我会尽力解决你的问题。 ![安吉丽娜朱莉][1240] 前言许久不见，我是阿狗。我的主业是 ja

古城微笑少年丶/ 2022年05月14日 12:36/ 0 赞/ 249 阅读

相关【Ajax+】爬去今日头条图片

文章目录使用Ajax爬去今日头条街拍图片 Ajax背景了解目的：爬去今日头条街拍图片思路

- 日理万妓/ 2022年05月09日 06:33/ 0 赞/ 258 阅读

相关博客搬家系列（六）-爬取今日头条文章

博客搬家系列（六）-爬取今日头条文章一.前情回顾博客搬家系列（一）-简介：[https://blog.csdn.net/rico\_zhou/article/de

桃扇骨/ 2022年04月22日 01:32/ 0 赞/ 451 阅读

相关今日头条面试

问题：矿泉水1块钱1瓶，喝完以后，2个空瓶子可以换一瓶新矿泉水。问：花10块钱最后最多能得多少瓶矿泉水。解答： public class Main{

﹏ヽ暗。殇╰゛Y/ 2022年04月01日 03:14/ 0 赞/ 398 阅读

相关 Ajax爬取今日头条街拍美图

运行环境：python 3.6.0 """ 抓取今日头条街拍美图，然后抓取到的图片去重后分类存放为了加快效率启动了多进程 """ i

古城微笑少年丶/ 2022年02月24日 11:36/ 0 赞/ 292 阅读

相关 python3 爬取今日头条文章（巧妙避开as,cp,_signature）

使用环境： python3 scrapy win10 爬取思路（一）关于as、cp的生成与\_signature的想法对于今日头条的爬

待我称王封你为后i/ 2021年09月15日 20:40/ 0 赞/ 1960 阅读

相关 Python爬虫——新闻热点爬取中国新闻网,今日头条，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

淡淡的烟草味﹌/ 2021年07月25日 18:25/ 0 赞/ 1189 阅读