java爬取百度贴吧所有用户头像

灰太狼 2020-11-01 15:17 718阅读 0赞

用户头像的工具类

如有问题，多多指教~

爬虫工具类

package com.yq.spider;
    
    import java.io.BufferedInputStream;
    import java.io.BufferedOutputStream;
    import java.io.BufferedReader;
    import java.io.Closeable;
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.net.URL;
    import java.util.ArrayList;
    import java.util.LinkedList;
    import java.util.List;
    import java.util.Queue;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    /**
     * ----爬虫工具类----
     * 用于爬取百度贴吧用户头像（爬取其他信息亦是如此）
     * 
     * @author 习惯~
     * 完成时间：2018/12/21 19:53:00
     * 欢迎交流：qq  714588944
     *   
     */
    public class SpiderUtil {
    	private static List<String> allURL = new ArrayList<>(); // 所有爬取的url集合
    	private static Queue<String> all = new LinkedList<>();  // 准备爬取的url集合 (使用队列容器，先进先出，比较方便)
    
    	/**
    	 * 爬虫入口
    	 * 
    	 * @param urlStr
    	 * @throws IOException
    	 */
    	public static void startSpider(String urlStr, String charset) {
    		String content = getURLContent(urlStr, charset);
    		String regexImg = "src=\"([\\w\\s/:.]+?)\""; // 正则表达式--匹配贴吧用户头像
    		List<String> result = getMatcherContent(content, regexImg);
    		download(result);
    
    		// ======================搜索新页面=======================//
    		String regexURL = "/home/main\\?un=([\\s\\S&=?]+?)\""; // 正则表达式--匹配贴吧用户主页
    		List<String> resultURL = getMatcherContent(content, regexURL);
    		// 拼装用户主页
    		String rule = "http://tieba.baidu.com/home/main?un=";
    		for (int i = 1; i < resultURL.size(); i++) { // i=1：过滤掉自己（访问者）
    			String otherURL = rule + resultURL.get(i);
    			// 过滤掉爬取过的用户主页
    			if (allURL.contains(otherURL))
    				continue;
    			all.add(otherURL); // 加入到所有url集合中
    			allURL.add(otherURL); // 加入到准备爬取的url集合中
    		}
    		System.out.println("正在爬取网页：" + all.peek());
    		startSpider(all.poll(), charset); // 寻找新的宿主
    	}
    	
    	/**
    	 * 指定url网页字符集，并返回网页源代码
    	 * 
    	 * @param urlStr
    	 * @param charset
    	 * @return
    	 * @throws IOException
    	 */
    	public static String getURLContent(String urlStr, String charset) {
    		StringBuilder sb = new StringBuilder();
    		BufferedReader br = null;
    		try {
    			URL url = new URL(urlStr);
    			br = new BufferedReader(new InputStreamReader(url.openStream(), charset));
    			String line = null;
    			while ((line = br.readLine()) != null) {
    				sb.append(line);
    			}
    		} catch (IOException e) {
    			e.printStackTrace();
    			closeAll(br);
    		}
    		return sb.toString();
    	}
    
    	/**
    	 * 网页源代码通过匹配正则表达式获取符合条件的信息 并封装成list返回
    	 * 
    	 * @param content
    	 * @param regex
    	 * @return
    	 */
    	public static List<String> getMatcherContent(String content, String regex) {
    		List<String> result = new ArrayList<>();
    		Pattern p = Pattern.compile(regex);
    		Matcher m = p.matcher(content);
    		while (m.find()) {
    			result.add(m.group(1));
    		}
    		return result;
    	}
    
    	/**
    	 * 下载集合中的图片
    	 * 
    	 * @param result
    	 * @throws IOException
    	 */
    	public static void download(List<String> result) {
    		for (String temp : result) {
    			if (!temp.startsWith("http")) // 测试中发现有个别抓取到的结果中前面没有带http协议，过滤掉
    				continue;
    			download(temp);
    		}
    	}
    
    	/**
    	 * 下载图片详细方法
    	 * 
    	 * @param imgURL
    	 */
    	public static void download(String imgURL) {
    		// 测试中发现有个别抓取到的结果中imgURL等于下面一行的字符串，过滤掉
    		if (imgURL.length() <= "http://tb.himg.baidu.com/sys/portrait/item/".length())
    			return;
    		BufferedInputStream bis = null;
    		BufferedOutputStream bos = null;
    		try {
    			File dest = new File("d:/spider");// 图片下载在d盘下的spider文件夹下
    			if (!dest.exists())
    				dest.mkdirs();
    			// 拼装图片名
    			String imgName = imgURL.substring(imgURL.lastIndexOf("/") + 1) + ".jpg";
    			dest = new File(dest, imgName); // 构建子文件夹
    			// 开始下载图片到本地
    			URL url = new URL(imgURL);
    			bis = new BufferedInputStream(url.openStream());
    			bos = new BufferedOutputStream(new FileOutputStream(dest));
    			byte[] flush = new byte[1024];
    			int len = 0;
    			while ((len = bis.read(flush)) != -1) {
    				bos.write(flush, 0, len);
    			}
    			bos.flush(); // 强制刷新
    		} catch (IOException e) {
    			e.printStackTrace();
    			closeAll(bis, bos);
    		}
    	}
    
    	/**
    	 * 关闭流的方法
    	 * 
    	 * @param io
    	 */
    	public static void closeAll(Closeable... io) {
    		for (Closeable temp : io) {
    			try {
    				if (temp != null)
    					temp.close();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}
    		}
    	}
    }

下面是测试类

package com.yq.spider;
    /**
     * ---爬虫测试---
     * 
     * @author 习惯~
     * 完成时间：2018/12/21 19:53:00
     * 欢迎交流：qq  714588944
     *
     */
    public class Test {
    	public static void main(String[] args) {
    		/**
    		 * 用户需要提供：
    		 *  	1.一个贴吧用户主页地址，
    		 *  		如：http://tieba.baidu.com/home/main?un=Spurs呆呆天枰（网上随便找的，非商业用途，抱歉）
    		 *  	2.url页面的字符集
    		 */
    		String url = "http://tieba.baidu.com/home/main?un=Spurs呆呆天枰";
    		String charset = "utf8";
    		
    		/**
    		 * 爬虫开始
    		 * 需要手动停止
    		 */
    		SpiderUtil.startSpider(url, charset);
    		
    	}
    }

下面是我的测试结果（控制台输出当前爬取网页）

已经爬取一万多个用户头像

爬取其他内容跟这个原理类似

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lxNzE0NTg4OTQ0_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lxNzE0NTg4OTQ0_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lxNzE0NTg4OTQ0_size_16_color_FFFFFF_t_70]: /images/1604243844982.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lxNzE0NTg4OTQ0_size_16_color_FFFFFF_t_70 1]: /images/1604243830193.png