Java中置顶怎么写,[置顶] 自己写的用java实现的小爬虫

骑猪看日落 2023-01-13 09:22 80阅读 0赞

今天写了个简单的小爬虫，可以获取大部分网站的网站源代码，扒取网站上图片并下载到本地指定目录下，可以作为爬虫学习的入门的例子：

![37f6efdfb675d1c8d752b3cba5e228e5.png][]

1.获取网页源代码：

public static String getHtmlResourceByURL(String url,String encoding)

//声明一个存储网页源代码的容器——字符缓冲区

StringBuffer buffer=new StringBuffer();

//注意涉及流的地方要给其一个初始值

URL urlObj=null;

URLConnection uc=null;

InputStreamReader in=null;

BufferedReader reader=null;

//因为存在网络等原因的连接失败，所以要try,catch抛出异常

try \{

//建立网络连接

urlObj=new URL(url);

//打开网络连接

uc=urlObj.openConnection();

//建立网络的输入流

in=new InputStreamReader(uc.getInputStream(),encoding);

//缓冲写入文件流

reader=new BufferedReader(in);

//临时变量

String tempLine=null;

//一行一行的读取文件流

while((tempLine=reader.readLine())!=null)

//将数据放入缓冲区

buffer.append(tempLine+"\\n");

\} catch (Exception e) \{

// TODO Auto-generated catch block

e.printStackTrace();

System.out.println("连接超时！");

//随手关闭流

finally\{

if(in !=null)

try

in.close();

\} catch (IOException e) \{

// TODO Auto-generated catch block

e.printStackTrace();

System.out.print("关闭出错");

//将buffer(Stringbuffer类型转化为String类型)

return buffer.toString();

2.  指定编码，将图片下载到本地·指定文件夹：

/\*

\* 根据一个图片URL地址，批量下载图片到服务器磁盘filePath

\* @param imgURL 要下载的图片服务器地址

\* @param filePath 下载保存图片地址

\*/

public static void downImages(String imgURL,String filePath)

//根据指定路径创建目录

File parent = new File(filePath);

//判断文件夹是否存在

if(!parent.exists())\{

parent.mkdirs();

//获取图片名字，即截取图片路径最后一个/后面的内容

String fileName=imgURL.substring(imgURL.lastIndexOf("/"));

//获取文件的后缀名

String imgType = imgURL.substring(imgURL.lastIndexOf(".")+1);

try \{

//使用java的ImageIO读取指定URL下的图片

BufferedImage image = ImageIO.read(new URL(imgURL));

System.out.println(fileName+","+imgType+","+image);

//在parent目录下创建指定文件名称文件file

File file = new File(parent,fileName);

System.out.println(file.getAbsolutePath());

ImageIO.write(image, imgType, file);

\} catch (MalformedURLException e) \{

e.printStackTrace();

\} catch (IOException e) \{

e.printStackTrace();

3.测试代码：

public static void main (String args\[\])

String imgSrc=null;

//获取源代码

String htmlResource=

getHtmlResourceByURL("http://www.mooncollege.cn/","utf-8");

System.out.println("源代码为："+htmlResource);

//解析源代码

Document document=Jsoup.parse(htmlResource);

//获取网页图片

Elements elements=document.getElementsByTag("img");

for(Element element:elements)

//jsoup的element的attr(XX)的作用，根据属性取数据

//获取图片相对地址

imgSrc=element.attr("src");

if(imgSrc!="")

/\*System.out.println("下载图片地址："+"http://www.163.com/"+imgSrc);\*/

System.out.println("下载图片地址："+imgSrc);

downImages(imgSrc,"./img");

System.out.println("图片下载成功");

//解析我们需要下载的内容部分

[37f6efdfb675d1c8d752b3cba5e228e5.png]: /images/20221022/577d8d14682241479cb93356ef912c03.png

Java中置顶怎么写,[置顶] 自己写的用java实现的小爬虫

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关拖动排序与置顶的Java实现

相关 Elasticsearch：广告置顶

相关小红书怎么置顶评论(小红书怎么置顶自己的笔记)

相关该置顶的文章还是要置顶

相关 Java中置顶怎么写,[置顶] 自己写的用java实现的小爬虫

相关 [置顶][置顶]opencv图像处理4--opencv下鼠标事件

相关 jQuery置顶导航

相关 js实现导航条置顶

相关置顶博文

相关 word中下移置顶的表格