网络爬虫

向右看齐 2022-05-28 12:39 318阅读 0赞

package test;
    
    import java.io.BufferedReader;
    import java.io.BufferedWriter;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.io.OutputStreamWriter;
    import java.net.MalformedURLException;
    import java.net.URL;
    import java.nio.charset.Charset;
    
    public class URLTest {
    
    	public static void main(String[] args) {
    		BufferedReader br = null;
    		BufferedWriter bw = null;
    	try {
    			URL url = new URL("http://www.baidu.com");
    			 br = new BufferedReader(new InputStreamReader(url.openStream(), Charset.forName("utf-8")));
    			 bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("baidu.html",false),"utf-8"));
    			
    			 
    			 String temp = null;
    			 while((temp = br.readLine()) != null) {
    				System.out.println(temp);
    				bw.append(temp);
    				bw.newLine();
    			}
    		} catch (MalformedURLException e) {
    			e.printStackTrace();
    		} catch (IOException e) {
    			e.printStackTrace();
    		}finally {
    			try {
    				bw.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    			try {
    				br.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    		}
          }
      }

在工程根目录下会有个baidu.html文件，点击即可进入百度首页 ![大笑][laugh.gif] ![大笑][laugh.gif] ![奋斗][struggle.gif]

[laugh.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/laugh.gif
[struggle.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/struggle.gif

发表评论取消回复

表情：

评论列表（有 0 条评论，318人围观）

还没有评论，来说两句吧...

相关阅读

相关 java爬虫(本地爬虫和网络爬虫)

前言必读 > [读者手册（必读）\_云边的快乐猫的博客-CSDN博客][-CSDN] 一、本地爬虫 1.这是爬取的是本地的数据，可以按照步骤来进行，用的是正则表达式的

素颜马尾好姑娘i/ 2023年09月24日 13:35/ 0 赞/ 6 阅读

相关 Python之网络爬虫（爬虫基本认知、网络爬虫之路）

文章目录一、爬虫基本认知二、爬虫之路初级爬虫工程师中级爬虫工程师

ゝ一纸荒年。/ 2023年02月22日 05:07/ 0 赞/ 5 阅读

相关网络爬虫初探

产生背景：在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我

╰半夏微凉°/ 2022年11月28日 13:18/ 0 赞/ 214 阅读

相关网络爬虫基础！

网络爬虫最基础的就是下载文件或页面，然后利用正则表达式提取需要的数据！假如有如下一个mail.txt文件:需要从里面提取有用的邮箱地址，该怎么做呢？ skdajf

深碍√TFBOYSˉ_/ 2022年08月03日 15:43/ 0 赞/ 204 阅读

相关 Java 网络爬虫

[搜索引擎 Nutch][Nutch] <table style="margin:0px; padding:0px"> <tbody s

深碍√TFBOYSˉ_/ 2022年07月15日 03:14/ 0 赞/ 505 阅读

相关网络爬虫

1、首先是运行时的main入口： package jsoup; public class DoubanProgram { publi

雨点打透心脏的1/2处/ 2022年07月14日 09:56/ 0 赞/ 304 阅读

相关搜索引擎-网络爬虫

通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地形成互联网网页的镜像备份。它是搜索引擎

「爱情、让人受尽委屈。」/ 2022年05月30日 09:52/ 0 赞/ 275 阅读

相关网络爬虫

package test; import java.io.BufferedReader; import java.io.BufferedWri

向右看齐/ 2022年05月28日 12:39/ 0 赞/ 319 阅读

相关 0302网络爬虫

一、正则表达式 1、正则表达式：通用的字符串表达框架，简洁表达一组字符串的表达式。针对字符串表达“简洁”和“特征”思想的工具。判断某字符串的特征归属。主要应用在字符串匹配

我就是我/ 2022年03月15日 12:47/ 0 赞/ 335 阅读

相关网络爬虫技术

1、爬虫技术概述网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集

你的名字/ 2022年02月15日 15:17/ 0 赞/ 501 阅读