多线程新浪新闻搜索网络爬虫-基于关键字

朴灿烈づ我的快乐病毒、 2022-06-05 06:57 166阅读 0赞

**本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)**  
源码获取请联系：1563178220@qq.com

# 简介 #

互联网有海量的新闻，如何基于关键字检索相关新闻，并将新闻内容存储到数据库呢，以新浪新闻为例，如下图所示，输入关键字爬取历史新闻，可以看到历史新闻的数量有很多，因此采用单线程的方式，无法满足需求，可采用多线程的方式采集数据。

![这里写图片描述][SouthEast]

![这里写图片描述][SouthEast 1]

# 程序框架 #

![这里写图片描述][SouthEast 2]

# 主程序 #

package main;
    /** * @author:合肥工业大学 管理学院 钱洋 * @email:1563178220@qq.com * @ */
    /* * 多线层爬取新闻id，标题，url * */
    import java.io.IOException;
    import java.sql.SQLException;
    import java.util.ArrayList;
    import java.util.List;
    import java.util.concurrent.ExecutorService;
    import java.util.concurrent.Executors;
    import org.apache.http.ParseException;
    import org.apache.http.client.HttpClient;
    import org.apache.http.impl.client.DefaultHttpClient;
    
    import db.MYSQLControl;
    import model.NewInfo;
    import utils.URLFecter;
    import utils.Utils;
    public class FirstNewsThread extends Thread{ 
        String Starturl = "";
        //构造函数，初始化使用
        public  FirstNewsThread (String Starturl){
            this.Starturl = Starturl;
        }
        public void run(){
            //针对每个url开始爬取
            HttpClient client = new DefaultHttpClient();
            System.out.println(Starturl);
            List<NewInfo> newinfo=new ArrayList<NewInfo>();
            try {
                newinfo=URLFecter.htmlFirstGet(client, Starturl);
            } catch (ParseException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } catch (SQLException e) {
                e.printStackTrace();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            for (NewInfo info:newinfo) {
                System.out.println(info.getNewsurl()+"\t"+info.getNewsid()+"\t"+info.getNewstitle());
            }
            MYSQLControl.insertnewsurl_info(newinfo);
        }
    
        public static void main(String[] args) throws SQLException{
            //提供你的关键字
            String keyword="金融";
            //转化成网页字符
            String keywordtransform=Utils.toUrlString(keyword,"gbk");
            //创建固定大小的线程池
            ExecutorService exec = Executors.newFixedThreadPool(5);
            for (int i = 1; i < 1000; i++) {
                String starturl="http://search.sina.com.cn/?q="+keywordtransform+"&range=all&c=news&sort=time&col=&source=&from=&country=&size=&time=&a=&"
                        + "page="+i+"&pf=2131425467&ps=2134309112&dpc=1";
                //执行线程
                exec.execute(new FirstNewsThread(starturl));
            }
            //线程关闭
            exec.shutdown();
        }
    }

# 程序运行结果 #

![这里写图片描述][SouthEast 3]

数据库结果展示：  
![这里写图片描述][SouthEast 4]

[SouthEast]: /images/20220605/ffde994179c14f04a5f50e18cc167842.png
[SouthEast 1]: /images/20220605/928b271592e5418aa230e5b2190dbfdc.png
[SouthEast 2]: /images/20220605/f644636733a74dd6828f21566824558c.png
[SouthEast 3]: /images/20220605/cb65f3cc4ef7469ca66ad1d03ef4079a.png
[SouthEast 4]: /images/20220605/c52e44acc2394d068a5886461f1c07f3.png