使用jsoup爬取网页资源（某东为例）

左手的ㄟ右手 2023-09-27 14:34 103阅读 0赞

*  Jsoup是一款java版的HTML解析器，可直接解析某个URL地址、HTML文本内容。
 *  解析网页后返回的是一个Document 对象实例，我们可以看到document中有很多类似js的方法
 *  根据相应的标签找到对象的属性，最后输出我们需要的东西即可。
 *  ![3a5b8cb9aa5d414089a15aef58b4ea83.png][]

第一步加入依赖

<dependency>
                <groupId>org.jsoup</groupId>
                <artifactId>jsoup</artifactId>
                <version>1.15.1</version>
            </dependency>

第二步，直接复制粘贴这个工具类即可

public static List<JD> getJD(String keyword) throws IOException {
            List<JD> jds=new ArrayList<>();
            String url="https://search.jd.com/Search?keyword="+keyword+"&enc=utf-8";
    
            // 连接网页
            Document document = Jsoup.connect(url).get();
            // 获取id为J_goodsList的元素
            Element element = document.getElementById("J_goodsList");
            if (!ObjectUtils.isEmpty(element)) {
                // 获取li标签所有的元素
                Elements elements = element.getElementsByTag("li");
                // 获取元素中的内容,这里的el就是每个li标签
                for (Element el : elements) {
                    String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
                    String price = el.getElementsByClass("p-price").eq(0).text();
                    String title = el.getElementsByClass("p-name").eq(0).text();
    
                    JD jd = new JD();
                    jd.setTitle(title);
                    jd.setPrice(price);
                    jd.setImg(img);
    
                    jds.add(jd);
                }
            }
            return jds;
        }

其中JD是创建的一个实体类，来接收爬取到的资源

@Data
    @AllArgsConstructor
    @NoArgsConstructor
    public class JD {
        private String title;
        private String price;
        private String img;
    }

第三步测试

public static void main(String[] args) throws IOException {
            getJD("笔记本电脑").forEach(System.out::println);
        }

结果如下：

![ecd0cc7e88df4afda71dc3ab296932dc.png][]

大家想要自定义爬取的内容，可以在工具类中设置参数，更多参数设置可以参考：

[jsoup的使用\_ThinkStu的博客-CSDN博客\_jsoup使用][jsoup_ThinkStu_-CSDN_jsoup]

[3a5b8cb9aa5d414089a15aef58b4ea83.png]: https://img-blog.csdnimg.cn/3a5b8cb9aa5d414089a15aef58b4ea83.png
[ecd0cc7e88df4afda71dc3ab296932dc.png]: https://img-blog.csdnimg.cn/ecd0cc7e88df4afda71dc3ab296932dc.png
[jsoup_ThinkStu_-CSDN_jsoup]: https://blog.csdn.net/qq_35760825/article/details/125571815?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167650905816782425664564%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167650905816782425664564&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-125571815-null-null.142%5Ev73%5Econtrol_1,201%5Ev4%5Eadd_ask,239%5Ev1%5Einsert_chatgpt&utm_term=jsoup&spm=1018.2226.3001.4187