优雅地解析HTML文档-Jsoup

野性酷女 2024-03-16 22:31 42阅读 0赞

## 一、介绍 ##

Jsoup 是一个流行的 Java HTML 解析器，它主要用于用于从 Web 页面中提取并解析 HTML 数据。它提供了一种简单而优雅的方式，使得开发人员可以快速解析 HTML 并从中提取数据。

## 二、特性 ##

1. 遵循 HTML5 标准。

2. 解析速度快，灵活性强。

3. API 易于使用，并提供了丰富的文档。

4. 可以直接从UTL、文件或字符串中获取 HTML 内容。

## 三、原理 ##

Jsoup 解析 HTML 的原理是先将 HTML 文件转换成一个 Document 对象，然后使用类似于 jQuery 的 API，通过选择器语法来读取或操作 HTML。Jsoup 会根据要求从文档中查找元素或属性，并提取所需的内容。

## 四、使用场景 ##

1. 爬取网页数据

2. 分析和处理 HTML 文档

3. 抓取数据并进行处理

## 五、注意事项 ##

1. Jsoup 的 API 只能用于解析 HTML，不能解析 XML 文档。

2. 解析过程中出现异常时，需要使用异常处理机制来避免程序异常中止。

3. 在解析之前，需要确认所解析的文档是否是一份合法正确的 HTML 文档。

## 六、实际场景 ##

**1. 案例一**

**(1) 场景**

使用Jsoup进行网络爬虫的示例。该示例用于爬起博客文章内容。

**(2) 代码**

import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.io.IOException;
    
    /**
     * 使用Jsoup爬取一个简单页面
     *
     * @author wxy
     * @since 2023-05-31
     */
    public class JsoupCase1 {
        public static void main(String[] args) throws IOException {
            Document document = Jsoup
                    .connect("https://blog.51cto.com/u_15898747/6107276")
                    .get();
    
            // 获取文章标题
            Elements title = document
                    .select("div[class=title]>h1");
            System.out.println("文章标题: ");
            // 打印文章标题文本内容
            System.out.println(title.text());
    
            // 获取文章内容
            Elements contents = document
                    .select("div[id=container]");
            System.out.println("文章内容: ");
            for (Element content : contents) {
                for (Element element : content.children()) {
                    // 打印内容标签中的文本内容
                    System.out.println(element.text());
                }
            }
        }
    }

爬取结果如下:

![c0bcf79122484a32856e96af9facc191.png][]

[c0bcf79122484a32856e96af9facc191.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/59c2b0b1ca1a48bead73fea6be18b959.png