Java爬取豆瓣电影排行Top250

我会带着你远行 2022-09-05 13:56 254阅读 0赞

### 文章目录 ###

*   *  一、准备
     *  二、引入依赖
     *  三、源代码

## 一、准备 ##

使用Java抓包要用到jsoup，来，了解一下。  
   jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

## 二、引入依赖 ##

<dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>${latest.version}</version>
    </dependency>

## 三、源代码 ##

代码并不多，通过URL地址获取HTML文本内容，并进行解析。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70]

public class JsoupTest { 
        public static void main(String[] args) throws IOException { 
            // 要爬取的网址url链接列表
            List<String> list = new ArrayList<>();
            for (int i = 0; i <= 225; i += 25) { 
                String url = "https://movie.douban.com/top250?start=" + i + "&filter=";
                list.add(url);
            }
            // 遍历url列表，爬取网页数据
            for (String urlStr : list) { 
                Document doc = Jsoup.connect(urlStr)
                        .maxBodySize(Integer.MAX_VALUE)
                        .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36")
                        .timeout(6000)
                        .get();
                Element content = doc.getElementById("content");
                Elements infos = content.getElementsByClass("info");
                for (Element element : infos) { 
                    Element links = element.getElementsByTag("a").get(0);
                    Element star = element.getElementsByClass("star").get(0);
                    // 获取电影的链接
                    String link = links.attr("href");
                    // 获取电影名称
                    String title = links.child(0).html();
                    // 获取电影评分
                    String score = star.child(1).html();
                    // 获取评价人数
                    String num = star.child(3).html();
                    System.out.println(link + " | " + title + " | 评分" + score + " | " + num);
                }
            }
        }
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70]: /images/20220829/06d5c5fa5e224fb6bd64b413c48679c5.png