java jsoup实例_java采集csdn文章(jsoup爬虫示例)

偏执的太偏执、 2022-11-03 11:15 217阅读 0赞

【实例简介】

【实例截图】

![a1c4eacdfa99249249b47f644ef4042a.png][]

【核心代码】

package springboot.jsoup;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.io.\*;

import java.net.HttpURLConnection;

import java.net.URL;

public class JsoupDemo \{

private static OutputStream os;

public static void main(String\[\] args) \{

try \{

Document doc = Jsoup.connect("https://blog.csdn.net/qq\_15260315").get();

//指定文件名及路径

File file = new File("D:\\\\jsoup\\\\word\\\\csdn.txt");

if (!file.exists()) \{

file.createNewFile();

\}

//获取标题和地址的对象

Elements titles = doc.getElementsByClass("article-item-box");

//写入本地

PrintWriter pw = new PrintWriter("D:\\\\jsoup\\\\word\\\\csdn.txt","UTF-8");

for (Element e:titles) \{

Elements a = e.select("h4").select("a");

pw.println(a.attr("href"));

pw.println(a.text());

pw.println("------------------------------------------------------------------------------------------------------------------------------------");

try \{

//增加访问量

Document d = Jsoup.connect(a.attr("href")).get();

//输出文章内容

Elements view = d.getElementsByClass("htmledit\_views");

System.out.println(view.text());

//如果有图片，获取页面上的图片保存到本地

Elements imgs = view.select("img");

if (!imgs.isEmpty()) \{

for (Element img : imgs) \{

int j = 0;

//URL u = new URL(img.attr("src"));

URL u = new URL("https://avatar.csdn.net/0/B/B/2\_qq\_15260315.jpg");

HttpURLConnection connection = (HttpURLConnection) u.openConnection();

//因为服务器的安全设置不接受Java程序作为客户端访问，所以设置客户端的User Agent

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

//获取数据流

InputStream is = connection.getInputStream();

//写入本地

os = new FileOutputStream(new File("E:\\\\jsoup\\\\img", a.text() j ".png"));

byte\[\] b = new byte\[1024\];

int i = 0;

while ((i = is.read(b)) != -1) \{

os.write(b, 0, i);

\}

is.close();

os.close();

j ;

\}

\}

\}catch (Exception ex)\{

\}

\}

pw.close(); //关闭输出流

\} catch (IOException e) \{

e.printStackTrace();

\}

\}

\}

[a1c4eacdfa99249249b47f644ef4042a.png]: /images/20221024/4cc5677f2dfb4e458891a7f438496f21.png

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关 java爬虫-jsoup

文章目录内容简介主要功能内容简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供

男娘i/ 2023年02月11日 15:30/ 0 赞/ 237 阅读

相关 Java爬虫学习笔记 JSOUP

Java爬虫学习笔记 JSOUP 添加依赖解析document 从字符串解析从fragment解析从URL解析

客官°小女子只卖身不卖艺/ 2023年01月02日 05:20/ 0 赞/ 129 阅读

相关 Java爬虫框架 jsoup

目录依赖使用示例 jsoup是java的一个网页内容解析工具，可以用来写爬虫。依赖 <

男娘i/ 2022年12月11日 06:29/ 0 赞/ 201 阅读

相关 java jsoup实例_java采集csdn文章(jsoup爬虫示例)

【实例简介】【实例截图】 ![a1c4eacdfa99249249b47f644ef4042a.png][] 【核心代码】 package springboot.js

偏执的太偏执、/ 2022年11月03日 11:15/ 0 赞/ 218 阅读

相关 jsoup读取CSDN的文章目录

![Center][] 将自己CSDN的文章读取出来，放到自己的jsp页面中：[jsoup参考手册][jsoup] 目录源码： ![Center 1][] 根据c

今天药忘吃喽~/ 2022年06月14日 01:13/ 0 赞/ 206 阅读

相关 Jsoup 爬虫模拟CSDN用户登录

需要模拟登录的页面核心源码： ![Center][] 代码： package com.test; import java.io.Bu

刺骨的言语ヽ痛彻心扉/ 2022年06月12日 12:29/ 0 赞/ 270 阅读

相关 java使用jsoup爬虫入门

一、maven项目里pom添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <a

左手的ㄟ右手/ 2022年05月24日 10:13/ 0 赞/ 282 阅读

相关 Java 爬虫Jsoup解析

引包： <dependency> <groupId>org.jsoup</groupId> <artifactId>j

灰太狼/ 2022年05月16日 10:19/ 0 赞/ 242 阅读

相关爬虫Jsoup

爬虫Jsoup 简介导入jar 简单示例简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

旧城等待，/ 2021年10月06日 03:06/ 0 赞/ 535 阅读

相关 java jsoup及jsoup+HtmlUnit简单爬虫

以下是两种爬虫方式 \\ 1.Jsoup简单爬虫 \\ ![在这里插入图片描述][20200729145928191.jpg] 首先是普通jsoup爬取网页

雨点打透心脏的1/2处/ 2021年09月24日 10:52/ 0 赞/ 448 阅读