jsoup解析html 爬虫规则

╰半夏微凉° 2022-05-08 05:52 300阅读 0赞

## jsoup简介 ##

jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，

可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

## jsoup的主要功能如下 ##

*  1、从一个URL，文件或字符串中解析HTML
 *  2、使用DOM或CSS选择器来查找、取出数据
 *  3、可操作HTML元素、属性、文本

jsoup的主要类层次结构如图所示：

![这里写图片描述][20160216173959185]

## 文档输入 ##

jsoup可以从包括字符串、URL地址以及本地文件来加载HTML文档，并生成Document对象实例。

// 直接从字符串中输入 HTML 文档
    String html = "<html><head><title>learn jsoup</title></head>"
        + "<body id='body'><p>Parse and traverse an HTML document.</p></body></html>";
    Document doc = Jsoup.parse(html);
    
    // 从URL直接加载 HTML 文档
    Document doc = Jsoup.connect("http://itmyhome.com/").get();
    String title = doc.title();
    
    // 从文件中加载HTML文档
    File input = new File("D:/index.html");
    Document doc = Jsoup.parse(input, "UTF-8","http://itmyhome.com");

第三种方式parse方法也可以不指定第三个参数，因为HTML文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等，

而第三个名为baseURL的参数的意思就是当HTML文档使用相对路径方式引用外部文件时，

jsoup会自动为这些URL加上一个前缀，也就是这个 baseURL。

例如 `<a href=/project>itmyhome</a>` 会被转换成 `<a href=http://itmyhome.com/project>itmyhome</a>`。

## 数据抽取 ##

### 使用DOM方法来遍历一个文档 ###

String html = "<html><head><title>learn jsoup</title></head>"
            + "<body id='content'><a href='itmyhome.com'>hello</a>"
            + "<a href='blog.itmyhome.com'>jsoup</a></body></html>";
    
    Document doc = Jsoup.parse(html);
    Element content = doc.getElementById("content");
    Elements links = content.getElementsByTag("a");
    for (Element link : links) {
        String linkHref = link.attr("href");
        String linkText = link.text();
    
        System.out.println(linkHref + ", " + linkText);
    }

打印

itmyhome.com, hello
    blog.itmyhome.com, jsoup

**说明**

Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。具体如下：

**查找元素**

*  getElementById(String id)
 *  getElementsByTag(String tag)
 *  getElementsByClass(String className)
 *  getElementsByAttribute(String key) (and related methods)
 *  Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()
 *  Graph: parent(), children(), child(int index)

**元素数据**

*  attr(String key)获取属性 attr(String key, String value)设置属性
 *  attributes()获取所有属性
 *  id(), className() and classNames()
 *  text()获取文本内容text(String value) 设置文本内容
 *  html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
 *  outerHtml()获取元素外HTML内容
 *  data()获取数据内容（例如：script和style标签)
 *  tag() and tagName()

**操作HTML和文本**

*  append(String html), prepend(String html)
 *  appendText(String text), prependText(String text)
 *  appendElement(String tagName), prependElement(String tagName)
 *  html(String value)

### 使用选择器语法来查找元素 ###

Document doc = Jsoup.connect("http://itmyhome.com/").get();
    Elements links = doc.select("a[href]"); // 带有href属性的a元素
    Elements pngs = doc.select("img[src$=.png]");// 扩展名为.png的图片
    Element icons = doc.select("span.icon").first();// class等于icon的span标签
    Elements resultLinks = doc.select("#header p"); // id为header元素之后的p元素

从以上可以看出jsoup使用跟jQuery一模一样的选择器对元素进行检索，jsoup的选择器还支持表达式功能

[20160216173959185]: /images/20220508/3befbe7f55444913afaf005ce0dae1ea.png