Jsoup爬虫入门实战（包含页数区间进行查询）

系统管理员 2024-03-27 18:00 11阅读 0赞

## Jsoup爬虫入门实战（包含页数区间进行查询） ##

### 简介 ###

jsoup是一款Java的HTML解析器，主要用来对HTML解析。

在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容，

就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。

虽然jsoup也支持从某个地址直接去爬取网页源码，但是只支持HTTP，HTTPS协议，支持不够丰富。

### 代码讲解 ###

#### 创建项目 ####

创建一个springboot项目  
![在这里插入图片描述][a79a28182c0842efb1609cf1126a40c7.png]  
随便加一点依赖  
![在这里插入图片描述][5c4d54f7a746491baf973c17c673a2cc.png]

#### pom.xml ####

引入jsoup依赖  
![在这里插入图片描述][7f8c06a61a9a4a6da78db054a495f038.png]  
完整的pom.xml

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>2.7.8</version>
            <relativePath/> 
        </parent>
        <groupId>com.example</groupId>
        <artifactId>Jsoup</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>Jsoup</name>
        <description>Jsoup</description>
        <properties>
            <java.version>1.8</java.version>
        </properties>
        <dependencies>
    
            <dependency>
                <groupId>org.jsoup</groupId>
                <artifactId>jsoup</artifactId>
                <version>1.10.2</version>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
    
            <dependency>
                <groupId>com.mysql</groupId>
                <artifactId>mysql-connector-j</artifactId>
                <scope>runtime</scope>
            </dependency>
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                    <configuration>
                        <excludes>
                            <exclude>
                                <groupId>org.projectlombok</groupId>
                                <artifactId>lombok</artifactId>
                            </exclude>
                        </excludes>
                    </configuration>
                </plugin>
            </plugins>
        </build>
    
    </project>

#### 创建文件 ####

![在这里插入图片描述][a39314539188434ca84cca3136dad59d.png]  
在网页中寻找商品栏目

![在这里插入图片描述][840280f3aa1849968a217c48b6091abd.png]

*  项目结构  
    ![在这里插入图片描述][59133bbb41e64023b89ec8c9433abacc.png]  
    **演示代码**

**运行结果**  
这里就是把网页中`J_goodsList`中包含的内容打印出来了。  
![在这里插入图片描述][1e80a26d59924bf6ac4241b0d6148d74.png]  
![在这里插入图片描述][7a65ece4a26b468cbdb540845b0f10ed.png]  
![在这里插入图片描述][44e38b62d75841769c719808b4a0c2a0.png]

*  这里才是图片的正确存放地址  
    ![在这里插入图片描述][0f48fa081f8b491dacb67c45f1b3e3d5.png]
 *  这里是存放其他信息的地方  
    ![在这里插入图片描述][71ff3f7678b24203b0c6a354be3522d0.png]

**完整代码**

public class HtmlParseUtil {
        
        public static void main(String[] args) throws IOException {
        
            // 获取请求 https://search.jd.com/Search?keyword=java
            // 定义URL
            String url = "https://search.jd.com/Search?keyword=java";
            // 解析网页
            Document doucument = Jsoup.parse(new URL(url), 30000);
            // 对于document对象，所有js中可以使用的方法，这里都能使用
            Element element = doucument.getElementById("J_goodsList");
            // 打印整个网页的内容
    //        System.out.println(element.html());
    
            // 获取所有的li元素
            Elements elements = element.getElementsByTag("li");
    
            for (Element el: elements){
        
                // 阴暗图片会延迟加载所以这个图片的 显示位置不一定是src
                // 比如京东现在是 data-lazy-img
                String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
                String price = el.getElementsByClass("p-price").eq(0).text();
                String title = el.getElementsByClass("p-name").eq(0).text();
                System.out.println(img);
                System.out.println(price);
                System.out.println(title);
                System.out.println("==============================================");
            }
        }
    }

**运行结果**  
成功的获取了信息  
![在这里插入图片描述][0731dcf5e2ee47198dbeda2435278d36.png]

### 封装类和方法 ###

*  首先创建一个Content类存放爬取结果的基础信息

![3cd48e4d5f784418b674fd665dc816cb.png][]

*  然后封装方法并测试  
    通过指定这个parseID中的传入的参数就可以指定爬取什么方面的内容，比如这篇文章里面的`心理学`

package com.example.jsoup.utils;
    
    import com.example.jsoup.pojo.Content;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.io.IOException;
    import java.net.URL;
    import java.net.URLEncoder;
    import java.nio.charset.StandardCharsets;
    import java.util.ArrayList;
    import java.util.List;
    import java.util.Objects;
    
    public class HtmlParseUtil {
        
        public static void main(String[] args) throws IOException {
        
    
            new HtmlParseUtil().parseJD("心理学").forEach((System.out::println));
        }
        // 封装成为一个函数
        public List<Content> parseJD(String keywords) throws IOException{
        
            // 首先处理一下，防止中文报错的情况发生
            keywords = URLEncoder.encode(keywords, String.valueOf(StandardCharsets.UTF_8));
            // 获取请求 https://search.jd.com/Search?keyword=java
            // 定义URL
            String url = "https://search.jd.com/Search?keyword="+ keywords;
            // 解析网页
            Document doucument = Jsoup.parse(new URL(url), 30000);
            // 对于document对象，所有js中可以使用的方法，这里都能使用
            Element element = doucument.getElementById("J_goodsList");
    
            ArrayList<Content> goodslist = new ArrayList<>();
    
            // 获取所有的li元素
            Elements elements = element.getElementsByTag("li");
            for (Element el: elements){
        
                // 阴暗图片会延迟加载所以这个图片的 显示位置不一定是src
                // 比如京东现在是 data-lazy-img
                String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
                String price = el.getElementsByClass("p-price").eq(0).text();
                String title = el.getElementsByClass("p-name").eq(0).text();
    
                Content content = new Content();
                content.setTitle(title);
                content.setPrice(price);
                content.setImg(img);
                goodslist.add(content);
            }
            return goodslist;
        }
    }

**运行结果**  
![在这里插入图片描述][a22b6162b66342329e4a35c0cff8c4d7.png]  
很显然现在可以了，但是我们现在还差一个分页查询的功能，我们希望可以分页查询。

### 按页数查询 ###

首先我们是需要分析一下，这个分页查询，需要多观察结果这个网站的URL的格式。  
第一页这个pages是1  
![在这里插入图片描述][05d2eb0b7b024ef78d6efef21974ecc3.png]

第二页这个pages是3  
![在这里插入图片描述][76872b06098f45278336e722f71e7c21.png]

第三页是5  
![在这里插入图片描述][a461e97b03e645fe9b42687f5ca104dc.png]

然后这个pages的规律我们就找到了`2n-1`  
然后我们的代码就可以写出来了。  
在这个版本的代码中，我们就可以指定这个页数了，分页进行爬取，然后还可以优化，比如给这个函数，加上爬取多少多少页到多少多少页的数据。

**完整代码如下**

public class HtmlParseUtil {
        
        public static void main(String[] args) throws IOException {
        
    
            new HtmlParseUtil().parseJD("心理学", 2).forEach((System.out::println));
        }
        // 封装成为一个函数
        public List<Content> parseJD(String keywords, Integer num) throws IOException{
        
            // 首先处理一下，防止中文报错的情况发生
            keywords = URLEncoder.encode(keywords, String.valueOf(StandardCharsets.UTF_8));
            num = 2 * num - 1;
            // 获取请求 https://search.jd.com/Search?keyword=java
            // 定义URL
            String url = "https://search.jd.com/Search?keyword="+ keywords + "&pvid=b96720a855674429be9c864dd9bc1f25&page=" + num;
            // 解析网页
            Document doucument = Jsoup.parse(new URL(url), 30000);
            // 对于document对象，所有js中可以使用的方法，这里都能使用
            Element element = doucument.getElementById("J_goodsList");
    
            ArrayList<Content> goodslist = new ArrayList<>();
    
            // 获取所有的li元素
            Elements elements = element.getElementsByTag("li");
            for (Element el: elements){
        
                // 阴暗图片会延迟加载所以这个图片的 显示位置不一定是src
                // 比如京东现在是 data-lazy-img
                String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
                String price = el.getElementsByClass("p-price").eq(0).text();
                String title = el.getElementsByClass("p-name").eq(0).text();
    
                Content content = new Content();
                content.setTitle(title);
                content.setPrice(price);
                content.setImg(img);
                goodslist.add(content);
            }
            return goodslist;
        }
    }

### 按页数区间进行查询 ###

在这个版本中，我添加了按照页数区间的功能，这样的话，我们就可以查询的时候，不需要自己手动翻页了，自动翻页更为方便。

public class HtmlParseUtil {
        
        public static void main(String[] args) throws IOException {
        
    
            new HtmlParseUtil().parseJD("心理学", 1, 2).forEach((System.out::println));
        }
        // 封装成为一个函数
        public List<Content> parseJD(String keywords, Integer leftNum, Integer rightNum) throws IOException{
        
            // 首先处理一下，防止中文报错的情况发生
            keywords = URLEncoder.encode(keywords, String.valueOf(StandardCharsets.UTF_8));
            leftNum = 2 * leftNum - 1;
            rightNum = 2 * rightNum - 1;
            // 获取请求 https://search.jd.com/Search?keyword=java
            // 定义URL
            String url = "https://search.jd.com/Search?keyword="+ keywords + "&pvid=b96720a855674429be9c864dd9bc1f25&page=";
    
    
            ArrayList<Content> goodslist = new ArrayList<>();
    
            for (int i = leftNum; i <= rightNum; ++ i){
        
                String newUrl = url + i;
                // 解析网页
                Document doucument = Jsoup.parse(new URL(url), 30000);
                // 对于document对象，所有js中可以使用的方法，这里都能使用
                Element element = doucument.getElementById("J_goodsList");
                // 获取所有的li元素
                Elements elements = element.getElementsByTag("li");
                for (Element el: elements){
        
                    // 阴暗图片会延迟加载所以这个图片的 显示位置不一定是src
                    // 比如京东现在是 data-lazy-img
                    String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
                    String price = el.getElementsByClass("p-price").eq(0).text();
                    String title = el.getElementsByClass("p-name").eq(0).text();
    
                    Content content = new Content();
                    content.setTitle(title);
                    content.setPrice(price);
                    content.setImg(img);
                    goodslist.add(content);
                }
            }
    
            return goodslist;
        }
    }

**运行结果**  
![在这里插入图片描述][1ef43251065840189fca21a6ae1d8035.png]

[a79a28182c0842efb1609cf1126a40c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6349b39050804216a9996d492f772dc5.png
[5c4d54f7a746491baf973c17c673a2cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d33f44559f9d4ccdb5582bcc299b38ab.png
[7f8c06a61a9a4a6da78db054a495f038.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6afb51c5b78d4ab69527848ec8927f63.png
[a39314539188434ca84cca3136dad59d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2a6cbc8b9ec24720ac37af1b927364c3.png
[840280f3aa1849968a217c48b6091abd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/38e5787e65af43ed89d9dd2702bd12c3.png
[59133bbb41e64023b89ec8c9433abacc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e4e3dfdc887f461ea57c00853cec819f.png
[1e80a26d59924bf6ac4241b0d6148d74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1574e74516774047b3d7005f21edd2fc.png
[7a65ece4a26b468cbdb540845b0f10ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bba7b3a55539497aa8edca0ce834508a.png
[44e38b62d75841769c719808b4a0c2a0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/626d53094ec445c580ae1397098a097b.png
[0f48fa081f8b491dacb67c45f1b3e3d5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/882d5dd34b82469b83f82299724ecbb7.png
[71ff3f7678b24203b0c6a354be3522d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/24970465e52d45ed9e29ba5608478e7b.png
[0731dcf5e2ee47198dbeda2435278d36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e3299e70eaaa45feb12b53bdc0603c85.png
[3cd48e4d5f784418b674fd665dc816cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ed155c6af5bc475fa31aea5bb47b977e.png
[a22b6162b66342329e4a35c0cff8c4d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/efd73f6cff894eeabdc50af7e9173ae7.png
[05d2eb0b7b024ef78d6efef21974ecc3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cf2d784841944ce1ba36c3aa2fc4a5e2.png
[76872b06098f45278336e722f71e7c21.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/152845159359439289deaff7009bcfdc.png
[a461e97b03e645fe9b42687f5ca104dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9f26b98b98fd4dd79ceb5d70e3ed3c72.png
[1ef43251065840189fca21a6ae1d8035.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0cf8fef5cb0e427f841d2ccb2862c6ac.png