网络爬虫

向右看齐 2022-05-28 12:39 257阅读 0赞

package test;
    
    import java.io.BufferedReader;
    import java.io.BufferedWriter;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.io.OutputStreamWriter;
    import java.net.MalformedURLException;
    import java.net.URL;
    import java.nio.charset.Charset;
    
    public class URLTest {
    
    	public static void main(String[] args) {
    		BufferedReader br = null;
    		BufferedWriter bw = null;
    	try {
    			URL url = new URL("http://www.baidu.com");
    			 br = new BufferedReader(new InputStreamReader(url.openStream(), Charset.forName("utf-8")));
    			 bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("baidu.html",false),"utf-8"));
    			
    			 
    			 String temp = null;
    			 while((temp = br.readLine()) != null) {
    				System.out.println(temp);
    				bw.append(temp);
    				bw.newLine();
    			}
    		} catch (MalformedURLException e) {
    			e.printStackTrace();
    		} catch (IOException e) {
    			e.printStackTrace();
    		}finally {
    			try {
    				bw.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    			try {
    				br.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    		}
          }
      }

在工程根目录下会有个baidu.html文件，点击即可进入百度首页 ![大笑][laugh.gif] ![大笑][laugh.gif] ![奋斗][struggle.gif]

[laugh.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/laugh.gif
[struggle.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/struggle.gif

发表评论取消回复

表情：

评论列表（有 0 条评论，257人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫技术

网络爬虫技术作者：Ackarlix 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，

朱雀/ 2022年09月19日 13:29/ 0 赞/ 166 阅读

相关网络爬虫---htmlparser

package parser; import java.io.BufferedReader; import java.io.BufferedWriter; import

灰太狼/ 2022年08月24日 04:12/ 0 赞/ 171 阅读

相关 Java 网络爬虫

[搜索引擎 Nutch][Nutch] <table style="margin:0px; padding:0px"> <tbody s

深碍√TFBOYSˉ_/ 2022年07月15日 03:14/ 0 赞/ 443 阅读

相关网络爬虫

1、首先是运行时的main入口： package jsoup; public class DoubanProgram { publi

雨点打透心脏的1/2处/ 2022年07月14日 09:56/ 0 赞/ 238 阅读

相关 WebHubBot 网络爬虫

-------------------- [源代码地址][Link 1] PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接

ゝ一世哀愁。/ 2022年06月13日 07:53/ 0 赞/ 192 阅读

相关搜索引擎-网络爬虫

通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地形成互联网网页的镜像备份。它是搜索引擎

「爱情、让人受尽委屈。」/ 2022年05月30日 09:52/ 0 赞/ 219 阅读

相关网络爬虫

package test; import java.io.BufferedReader; import java.io.BufferedWri

向右看齐/ 2022年05月28日 12:39/ 0 赞/ 258 阅读

相关 Python网络爬虫

给大家分享一个网络爬虫的代码，可以作为我们学习Python的入门实例。代码： coding=utf-8 !/usr/bin/python

迷南。/ 2022年03月15日 15:40/ 0 赞/ 290 阅读

相关 0302网络爬虫

一、正则表达式 1、正则表达式：通用的字符串表达框架，简洁表达一组字符串的表达式。针对字符串表达“简洁”和“特征”思想的工具。判断某字符串的特征归属。主要应用在字符串匹配

我就是我/ 2022年03月15日 12:47/ 0 赞/ 266 阅读

相关 Python网络爬虫

![u=2130802192,1597028528&fm=26&gp=0.jpg][u_2130802192_1597028528_fm_26_gp_0.jpg] Pytho

清疚/ 2022年01月11日 11:11/ 0 赞/ 297 阅读