开源爬虫

喜欢ヅ旅行 2022-08-23 12:54 173阅读 0赞

世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。

**开源爬虫汇总表**

<table style="width:100%"> 
 <tbody> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> 开发语言 </td> 
 <td style="border:solid windowtext 1.0pt"> 软件名称 </td> 
 <td style="border:solid windowtext 1.0pt"> 软件介绍 </td> 
 <td style="border:solid windowtext 1.0pt"> 许可证 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Java </td> 
 <td style="border:solid windowtext 1.0pt"> Arachnid </td> 
 <td style="border:solid windowtext 1.0pt"> 微型爬虫框架，含有一个小型HTML解析器 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> crawlzilla </td> 
 <td style="border:solid windowtext 1.0pt"> 安装简易，拥有中文分词功能 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache2 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Ex-Crawler </td> 
 <td style="border:solid windowtext 1.0pt"> 由守护进程执行，使用数据库存储网页信息 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv3 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Heritrix </td> 
 <td style="border:solid windowtext 1.0pt"> 严格遵照robots文件的排除指示和META robots标签 </td> 
 <td style="border:solid windowtext 1.0pt"> LGPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> heyDr </td> 
 <td style="border:solid windowtext 1.0pt"> 轻量级开源多线程垂直检索爬虫框架 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv3 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> ItSucks </td> 
 <td style="border:solid windowtext 1.0pt"> 提供swing GUI操作界面 </td> 
 <td style="border:solid windowtext 1.0pt"> 不详 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> jcrawl </td> 
 <td style="border:solid windowtext 1.0pt"> 轻量、性能优良，可以从网页抓取各种类型的文件 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> JSpider </td> 
 <td style="border:solid windowtext 1.0pt"> 功能强大，容易扩展 </td> 
 <td style="border:solid windowtext 1.0pt"> LGPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Leopdo </td> 
 <td style="border:solid windowtext 1.0pt"> 包括全文和分类垂直搜索，以及分词系统 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> MetaSeeker </td> 
 <td style="border:solid windowtext 1.0pt"> 网页抓取、信息提取、数据抽取工具包，操作简单 </td> 
 <td style="border:solid windowtext 1.0pt"> 不详 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Playfish </td> 
 <td style="border:solid windowtext 1.0pt"> 通过XML配置文件实现高度可定制性与可扩展性 </td> 
 <td style="border:solid windowtext 1.0pt"> MIT </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Spiderman </td> 
 <td style="border:solid windowtext 1.0pt"> 灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> webmagic </td> 
 <td style="border:solid windowtext 1.0pt"> 功能覆盖整个爬虫生命周期，使用Xpath和正则表达式进行链接和内容的提取 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Web-Harvest </td> 
 <td style="border:solid windowtext 1.0pt"> 运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，具有可视化的界面 </td> 
 <td style="border:solid windowtext 1.0pt"> BSD </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> WebSPHINX </td> 
 <td style="border:solid windowtext 1.0pt"> 由两部分组成：爬虫工作平台和WebSPHINX类包 </td> 
 <td style="border:solid windowtext 1.0pt"> Apache </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> YaCy </td> 
 <td style="border:solid windowtext 1.0pt"> 基于P2P的分布式Web搜索引擎 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Python </td> 
 <td style="border:solid windowtext 1.0pt"> QuickRecon </td> 
 <td style="border:solid windowtext 1.0pt"> 具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv3 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> PyRailgun </td> 
 <td style="border:solid windowtext 1.0pt"> 简洁、轻量、高效的网页抓取框架 </td> 
 <td style="border:solid windowtext 1.0pt"> MIT </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Scrapy </td> 
 <td style="border:solid windowtext 1.0pt"> 基于Twisted的异步处理框架，文档齐全 </td> 
 <td style="border:solid windowtext 1.0pt"> BSD </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> C++ </td> 
 <td style="border:solid windowtext 1.0pt"> hispider </td> 
 <td style="border:solid windowtext 1.0pt"> 支持多机分布式下载, 支持网站定向下载 </td> 
 <td style="border:solid windowtext 1.0pt"> BSD </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> larbin </td> 
 <td style="border:solid windowtext 1.0pt"> 高性能的爬虫软件，只负责抓取不负责解析 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Methabot </td> 
 <td style="border:solid windowtext 1.0pt"> 经过速度优化、可抓取WEB、FTP及本地文件系统 </td> 
 <td style="border:solid windowtext 1.0pt"> 不详 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Methanol </td> 
 <td style="border:solid windowtext 1.0pt"> 模块化、可定制的网页爬虫，速度快 </td> 
 <td style="border:solid windowtext 1.0pt"> 不详 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> C# </td> 
 <td style="border:solid windowtext 1.0pt"> NWebCrawler </td> 
 <td style="border:solid windowtext 1.0pt"> 统计信息、执行过程可视化 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv2 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Sinawler </td> 
 <td style="border:solid windowtext 1.0pt"> 国内第一个针对微博数据的爬虫程序，功能强大 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv3 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> spidernet </td> 
 <td style="border:solid windowtext 1.0pt"> 以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，使用sqlite存储数据 </td> 
 <td style="border:solid windowtext 1.0pt"> MIT </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Web Crawler </td> 
 <td style="border:solid windowtext 1.0pt"> 多线程，支持抓取PDF/DOC/EXCEL等文档来源 </td> 
 <td style="border:solid windowtext 1.0pt"> LGPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> 网络矿工 </td> 
 <td style="border:solid windowtext 1.0pt"> 功能丰富，毫不逊色于商业软件 </td> 
 <td style="border:solid windowtext 1.0pt"> BSD </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> PHP </td> 
 <td style="border:solid windowtext 1.0pt"> OpenWebSpider </td> 
 <td style="border:solid windowtext 1.0pt"> 开源多线程网络爬虫，有许多有趣的功能 </td> 
 <td style="border:solid windowtext 1.0pt"> 不详 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> PhpDig </td> 
 <td style="border:solid windowtext 1.0pt"> 适用于专业化强、层次更深的个性化搜索引擎 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Snoopy </td> 
 <td style="border:solid windowtext 1.0pt"> 具有采集网页内容、提交表单功能 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> ThinkUp </td> 
 <td style="border:solid windowtext 1.0pt"> 采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> 微购 </td> 
 <td style="border:solid windowtext 1.0pt"> 可采集淘宝、京东、当当等300多家电子商务数据 </td> 
 <td style="border:solid windowtext 1.0pt"> GPL </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> ErLang </td> 
 <td style="border:solid windowtext 1.0pt"> Ebot </td> 
 <td style="border:solid windowtext 1.0pt"> 可伸缩的分布式网页爬虫 </td> 
 <td style="border:solid windowtext 1.0pt"> GPLv3 </td> 
 </tr> 
 <tr> 
 <td style="border:solid windowtext 1.0pt"> Ruby </td> 
 <td style="border:solid windowtext 1.0pt"> Spidr </td> 
 <td style="border:solid windowtext 1.0pt"> 可将一个或多个网站、某个链接完全抓取到本地 </td> 
 <td style="border:solid windowtext 1.0pt"> MIT </td> 
 </tr> 
 </tbody> 
</table>