java爬虫--step1--简单网页获取

「爱情、让人受尽委屈。」 2022-06-10 13:42 190阅读 0赞

import java.io.BufferedInputStream;
    import java.io.IOException;
    import java.io.InputStream;
    import java.net.URL;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    //爬去电影天堂的最新电影
    public class pp {
    
        public static void main(String[] args) throws IOException {
            // TODO Auto-generated method stub
            //读取网页源代码
            URL url = new URL("http://www.dytt8.net/");
            InputStream in = url.openStream();
            BufferedInputStream buff = new BufferedInputStream(in);
            byte[] bt = new byte[1024];
            int num;
            String html = "";
            while((num = buff.read(bt))!=-1) {
                String line = new String(bt,0,num,"gbk");
                html += line;
            }
            //System.out.println(html);
            //正则匹配得到需要的结果
            String regex = "<a href=\'/html/gndy/(.*?)\'>(.*?)</a><br/>";
            Pattern pattern = Pattern.compile(regex);
            Matcher matcher = pattern.matcher(html);
            while(matcher.find()){  
                System.out.println(matcher.groupCount());
                System.out.println(matcher.group(0));  
                System.out.println(matcher.group(1));
                System.out.println(matcher.group(2));  
            }  
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关【Java爬虫】006-URLConnection与HttpURLConnection（网页内容获取）

最后更新：2020年8月31日11:42:00 一、概述 URLConnection是java.net包中的一个抽象类，其主要用于实现应用程序与URL之间的通信；

曾经终败给现在/ 2023年10月05日 09:08/ 0 赞/ 47 阅读

相关简单Python爬虫获取指定网页内容示例

本文使用BeautifulSoup工具，根据网页源码字段并分析指定网页，爬取对应字段并储存到文件中，供参考。刚开始参考了一篇文章：[Python

清疚/ 2022年12月15日 06:06/ 0 赞/ 274 阅读

相关 java爬虫抓取简单网页数据_简单的java爬虫抓取网页实现代码

import java.io.IOException; import java.util.LinkedList; import java.util.List; impor

忘是亡心i/ 2022年11月09日 12:49/ 0 赞/ 316 阅读

相关（1）获取网页源代码——Java

Java版：简单获取编码格式为UTF-8的网页内容 import java.io.BufferedReader; import java.io.IOExc

旧城等待，/ 2022年08月21日 00:30/ 0 赞/ 182 阅读

相关 java爬虫--step1--简单网页获取

import java.io.BufferedInputStream; import java.io.IOException; import java.

「爱情、让人受尽委屈。」/ 2022年06月10日 13:42/ 0 赞/ 191 阅读

相关 Python爬虫1-获取指定网页源码

1、任务简介前段时间一直在学习Python基础知识，故未更新博客，近段时间学习了一些关于爬虫的知识，我会分为多篇博客对所学知识进行更新，今天分享的是获取指定网页源码的方

ゝ一世哀愁。/ 2022年05月04日 09:58/ 0 赞/ 295 阅读

相关《网页爬虫》

1.初始版本 package com.zyjl.crawler; import java.io.IOException; impo

﹏ヽ暗。殇╰゛Y/ 2022年04月21日 18:18/ 0 赞/ 223 阅读

相关 Java基于HttpClient获取网页数据，实现简单网络爬虫

Java基于Chromedriver，Phantomjs，Selenium的网页深度爬虫，参见：示例写好了，一直没时间整理，敬请期待XXXXXXXX HttpClient 是

布满荆棘的人生/ 2022年04月15日 20:47/ 0 赞/ 659 阅读

相关 Java网页爬虫--基于URLConnection的网页爬虫工具类

在这个数据为王的时代，爬虫应用地越来越广泛，对于一个萌新程序员来说如果你要做爬虫，那么Python是你的不二之选。但是对于那些老腊肉的Java程序员（亦或者你是程序媛）想使用J

àì夳堔傛蜴生んèń/ 2022年04月02日 09:10/ 0 赞/ 240 阅读

相关 Java 简单爬虫

demo1 package com.javabase; import java.io.BufferedReader; import ja

淩亂°似流年/ 2021年09月19日 15:00/ 0 赞/ 340 阅读