jsoup爬取网站内容

╰半夏微凉° 2024-04-17 20:52 81阅读 0赞

jsoup爬取网站内容,感觉是一件很神奇的事。如果爬取的内容进行非法的传播或进行商业用途，可能会收到法院的传票（被仲裁），所以请确认你的用途，以免官司或牢狱之苦。总而言之，且爬且谨慎吧。

本例中，目标站点为喜马拉雅，这也是我最喜欢的平台（没有之一）。*喜马拉雅是一个非常不错的知名音频分享平台，内容十分丰富。不管你是学生党，......，上班族等，喜马拉雅总有你想听的内容。推荐喜马拉雅，你值得拥有。*

免责声明：喜马拉雅平台，作者爬取内容，纯属练习技术，并没有进行盈利以及商业活动。如果贵平台不想我的这个博客继续存在于互联网中，请通知我，我立即删除。谢谢！

打开网页(地址在代码中)后，按F12或者浏览器（我使用的是谷歌浏览器）页面右击检查，看到如下截图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6NTI3NjU3MTM4_size_16_color_FFFFFF_t_70][]

根据上图，分析DOM结构等信息。

其他的不多说，直接贴代码

public class JsoupTest {
    	public List<Map<String, String>> list = new ArrayList<Map<String, String>>();
    	@Test
    	public void getPageContent() throws Exception{
    		String url = "https://www.ximalaya.com/renwen/3048185/";
    		Document doc = doc(url);
    		Integer totalPages = getTotalPages(doc);
    		if(totalPages > 0){
    			for (int i = 1; i <= 43; i++) {
    				System.out.println("当前页码为: " + i);
    				if(i == 1){
    					printContent(doc,i);
    				}else{
    					String nextPageUrl = url + "p"+i+"/";
    					Document tempDoc = doc(nextPageUrl);
    					printContent(tempDoc, i);
    				}
    				Thread.sleep(5000);//爬一页,歇息5s,让目标网站认为是认为操作
    			}
    			System.out.println(list);
    			System.out.println(list.size());
    		}
    	}
    	
    	public void printContent(Document doc, int pageNum){
    		Elements divTexts = doc.select("div[class=\"text _tr\"]");
    		if (divTexts.size() > 0) {
    			int countor = 0;
    			String currentPage = "第" + pageNum + "页:\r\n";
    			Map<String, String> map = new HashMap<String, String>();//爬取内容的集合
    			StringBuffer sb = new StringBuffer();
    			for (Element element : divTexts) {
    				countor++;
    				String text = element.getElementsByTag("a").text();
    				String content = countor + ": " + text;
    				sb.append(content);
    				sb.append("\r\n");
    			}
    			map.put(currentPage, sb.toString());
    			list.add(map);
    		}
    	}
    	
    	/**
    	 * 获取一共多少页
    	 */
    	public Integer getTotalPages(Document doc) throws Exception{
    		Integer totalNum = 0;
    		if (doc != null) {
    			Elements totalPages = doc.select("span[class=\"_aTOY\"]");
    			if (totalPages.size() > 0) {
    				for (Element element : totalPages) {
    					String getNum = element.text();
    					//System.out.println("getNum : " + getNum);
    					if (getNum != null && !"".equals(getNum) && isNum(getNum)) {
    						Integer pageNum = Integer.valueOf(element.text());
    						if (pageNum > totalNum) {
    							totalNum = pageNum;
    						}
    					}
    				}
    				System.out.println("totalPageNum = " + totalNum);
    			} else {
    				System.out.println("没有获取总页数");
    			} 
    		}else{
    			System.out.println("没有爬取到任何内容");
    		}
    		return totalNum;
    	}
    	
    	/**
    	 * 爬取页面内容
    	 */
    	public Document doc(String url) throws Exception{
    		Document doc = null;
    		try {
    			doc = Jsoup.connect(url).get();
    		} catch (Exception e) {
    			e.printStackTrace();
    			System.out.println("爬取内容时异常!");
    		}
    		return doc;
    	}
    	
    	/**
    	 * 验证是否是数字
    	 */
    	public boolean isNum(String pageNum){
    		String regex = "^\\d+$";
    		boolean matches = Pattern.compile(regex).matcher(pageNum).matches();
    		return matches;
    	}
    }

学无止境！勤奋不是嘴上说说而已，而是要实际行动。加油！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6NTI3NjU3MTM4_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/9f967293392245d4879e56d515ce130f.png