国外问答网站Quora数据的爬虫 Java

左手的ㄟ右手 2022-05-21 01:15 314阅读 0赞

**本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)**。

# Quora #

Quora是一个在线知识市场，Quora集合许多问题和答案，也容许用户协同编辑问题和答案。问题及回答的质量较高，对于科研朋友是一个很好的数据集。这篇博客主要介绍Quora数据采集的思路。其目标是给定搜索的关键词，获取关键词对应的问题id，标题，url，回复数以及问题概要。其采集思路大体如下：

1.  定义关键词，爬取数据保存的目录以及爬取的页面总数
2.  使用selenium获取关键词对应的页面
3.  根据定义的页面总数，条用JS操作滚动条下拉页面
4.  解析滚动之后的页面
5.  封装数据，存储为excel格式。  
      
    ![这里写图片描述][70]

# 部分程序 #

以下是部分程序：

/** * 合肥工业大学 管理学院 qianyang 1563178220@qq.com * 实现quora数据的采集 * 实现功能：爬取与关键字有关的问题id,标题,url,回复数以及问题概要 */
    public class QuoraKeywordsCrawlerArgs { 
        public static void main(String[] args) throws Exception {
            //开始解析命令参数
            QuoraCrawlerOptions option  = new QuoraCrawlerOptions();
            CmdLineParser parser = new CmdLineParser(option);
            try {
                if (args.length == 0){
                    showHelp(parser);
                    return;
                }
                parser.parseArgument(args);
                //参数校验并调用程序开始爬取程序
                crawlerStart(option.keyword,option.outputfile,option.pn);
            }catch (CmdLineException cle){
                System.out.println("Command line error: " + cle.getMessage());
                showHelp(parser);
                return;
            }catch (Exception e){
                System.out.println("Error in main: " + e.getMessage());
                e.printStackTrace();
                return;
            }
        }
        /** * 该方法的输入:关键字,爬取内容保存目录,爬取的页数 */
        public static void crawlerStart(String keyword,String filepath,int pagenumber) throws Exception {
    
            long start = System.currentTimeMillis();
            crawlerKeywordsPages(keyword,filepath,pagenumber);     //爬取关键词页面
            long end = System.currentTimeMillis();
            System.out.println(">>>>>>>>>爬取" + keyword + "的"+pagenumber+"页信息用时为：" + (end - start)/1000 + "秒<<<<<<<<<<<<<");
        }
        public static void crawlerKeywordsPages(String keyword,String fithpath,int pagenumber) throws Exception {
            String keywordsurl = "http://www.quora.com/search?q=" + keyword;;         //拼接地址
            QuoraKeywordsPage.crawlerQuestionbyKeywords(keywordsurl,fithpath,pagenumber);           //爬取关键词对应的页面
        }
        public static void showHelp(CmdLineParser parser){
            System.out.println("QuoraKeywordsCrawler [options ...] [arguments...]");
            parser.printUsage(System.out);
        }
    }

# 关于程序运行 #

将该程序打包成jar之后，调用windows平台下的命令行。

java -jar Crawer.jar -keyword java -outputfile D:/java.xls -pn 10

程序运行结果为:

![这里写图片描述][70 1]

以下是数据采集到excel中的结果：

![这里写图片描述][70 2]

另外，本程序的可运行.exe软件，已上传到github

[70]: /images/20220521/2ea4c8960bb74af9bc4ae83b3a84c53a.png
[70 1]: /images/20220521/41fbbffb4f474a8fae22786e43d67f8e.png
[70 2]: /images/20220521/130e9a82804b47b887a9b25b63bda1ea.png