JAVA使用webmagic爬虫获取数据

旧城等待， 2022-12-21 06:28 170阅读 0赞

<dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-core</artifactId>
                <version>0.7.3</version>
            </dependency>
            <dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-extension</artifactId>
                <version>0.7.3</version>
            </dependency>

package com.china;
    
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;
    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.pipeline.ConsolePipeline;
    import us.codecraft.webmagic.processor.PageProcessor;
    
    public class Test implements PageProcessor { 
    	// 定义重试三次，间隔1000毫秒
        private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
    
        @Override
        public void process(Page page) { 
            page.putField("city",
                    page.getHtml().xpath("//span[@class='weather2-item']/text()").toString());
            page.putField("info_today",
                    page.getHtml().xpath("//div[@data-hook='weather']/text()").toString());
            page.putField("tempera_today",
                    page.getHtml().xpath("//div[@data-hook='tempera']/text()").toString());
        }
    
        @Override
        public Site getSite() { 
            return site;
        }
    
    	// 主线程
        public static void main(String[] args) { 
            Spider.create(new Test()).addUrl("https://www.hao123.com")
            .thread(1)
            .addPipeline(new ConsolePipeline()).run();
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，170人围观）

还没有评论，来说两句吧...

相关阅读

相关 JAVA使用webmagic爬虫获取数据

<dependency> <groupId>us.codecraft</groupId> <artifa

旧城等待，/ 2022年12月21日 06:28/ 0 赞/ 171 阅读

相关 WebMagic/JMX&爬虫监控

WebMagic使用JMX实现了对爬虫的监控，可以通过Jconsole等JMX工具查看本地或者远程的爬虫信息。为爬虫添加监控：获取一个SpiderMonitor的实例S

女爷i/ 2022年08月03日 05:21/ 0 赞/ 229 阅读

相关基于WebMagic爬虫

基于WebMagic爬虫一、WebMagic简介 > WebMagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 >

╰半橙微兮°/ 2022年07月15日 14:07/ 0 赞/ 216 阅读

相关 WebMagic 爬虫框架的入门使用

代码： package test; import us.codecraft.webmagic.Page; import us.codecr

朴灿烈づ我的快乐病毒、/ 2022年06月12日 10:52/ 0 赞/ 240 阅读

相关 Webmagic网络爬虫（JAVA）

Webmagic网络爬虫（JAVA） Webmagic----JAVA爬虫框架。 [跳转至使用说明][Link 1] [Link 1]: http

旧城等待，/ 2022年06月03日 04:29/ 0 赞/ 261 阅读

相关 java 爬虫学习笔记一使用爬虫框架 WebMagic

1.WebMagic 官方文档地址 [http://webmagic.io/docs/zh/][http_webmagic.io_docs_zh] 引入WebMagic的j

逃离我推掉我的手/ 2022年05月21日 11:49/ 0 赞/ 330 阅读

相关 webmagic 爬虫

[https://blog.csdn.net/qq598535550/article/details/51287630][https_blog.csdn.net_qq59853

待我称王封你为后i/ 2022年04月23日 12:38/ 0 赞/ 263 阅读

相关（11）Java爬虫框架webmagic实战

Java爬虫框架webmagic实战本文是我关于webmagic爬虫框架的实战——爬取古诗词网站的诗词数据。此代码只用于爬虫学习，勿用于商业用途。安装webmag

r囧r小猫/ 2022年04月04日 06:10/ 0 赞/ 413 阅读

相关 webmagic爬虫自学（五）网络爬虫模拟登陆[策略一：获取cookie]

一、搭建webmagic项目环境部分代码，请参考 [https://blog.csdn.net/qq\_29914837/article/details/89309298

男娘i/ 2022年02月19日 07:15/ 0 赞/ 1731 阅读

相关 java网络爬虫框架:Webmagic学习总结

网络爬虫常用的技术(Java) 底层实现Jsoup+HttpClient 开源框架Webmagic ![在这里插入图片描述][20190504182222262

川长思鸟来/ 2022年02月05日 03:49/ 0 赞/ 364 阅读