Nutch 1.6 安装过程

短命女 2021-09-22 08:04 277阅读 0赞

今天小编将要给大家简单讲解一下Nutch，Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

下面小编讲解一下如何安装Nutch，小编采用的CentOS 7 系统，Java  version 1.6.0\_45 （JDK的安装小编就不说了）。

因为Nutch官方的源代码是放在了SVN上，所以我们首先下载安装一个SVN，在通过SVN对Nutch源码进行下载。

小编使用的是 nutch1.6 版本的，比较老的版本，小编会在后面的文章中更新比较新的版本内容。

如果没有安装svn 可以使用 yum安装 命令如下:

（一）安装SVN：

使用命令：

yum -y install subversion

（二）安装完svn后可以从apache官方的版本库中下载相关nutch的源码:

svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.6/

下载后，Nutch 的配置文件放在conf 目录中。依赖包放在了ivy 文件夹中。

下载完成后，因为仅仅是源码，相关jar包是不包含在其中的，nutch是使用ivy进行依赖管理的,通过ivy来下载nutch的相关依赖jar包

（三）进入release-1.6目录下进行构建，需要liunx中安装有ant命令，没有的话需要先安装ant，安装方式同 SVN，使用yum安装

yum install ant

这个等待的时间比较长。

（四）release-1.6目录下进行构建，输入 ant 命令

ant

在ant 构建之后，会发现在release-1.6目录下新生成了runtime目录，下面有两个子文件夹：deploy ，local， 分别代表了Nutch的两种运行方式。

Deploy使用了Hadoop方式来运行，Local使用了本地文件系统来运行，对Hadoop没有依赖。

（五）在runtime local 里面建立一个新的目录 urls

vi urls/url.txt

在该文件里面加入想要爬取的url。

（六）修改本机的hostname为localhost。如下：

\#hostname  
  
　　\#cat /proc/sys/kernel/hostname  
  
　　上面两种输出结果相同。  
  
　　修改运行时Linux系统的hostname，即不需要重启系统  
  
　　hostname命令可以设置系统的hostname  
  
　　\#hostname localhost

未改成localhost 将出现错误，将hostname改为localhost 错误就将结束，运行后立即生效，但是在系统重启后会丢失所做的修改，如果要永久更改系统的hostname，就要修改相关的设置文件 /etc/hosts。这个小编就不讲解了。

（七）vi release-1.6/conf/nutch-site.xml 文件中增加http.agent.name，配置

vi release-1.6/conf/nutch-site.xml

具体的一些配置可以参考小编的这个博客内容：

[http://blog.csdn.net/shuaigexiaobo/article/details/77470837][http_blog.csdn.net_shuaigexiaobo_article_details_77470837]

（八）在回到release-1.6中，运行ant命令

ant

（九）进入runtime/local 目录，建立一个新的文件夹data

建立好新的目录之后，在命令行 输入 ：

nohup bin/nutch crawl urls -dir data -threads 20 -depth 1 &

开始对数据进行抓取。

若有报错的文件夹，删除报错的文件夹即可。

[http_blog.csdn.net_shuaigexiaobo_article_details_77470837]: http://blog.csdn.net/shuaigexiaobo/article/details/77470837

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 Ubuntu16.04安装ROS系统详细过程

Ubuntu16.04安装ROS Kinetic详细过程 1、设置sources.list 2、设置key（公钥已更新） 3、更新

你的名字/ 2022年10月22日 06:27/ 0 赞/ 272 阅读

相关 windows下安装nutch2.1

1.准备（一下版本为本人使用版本）下载JDK1.7，建议下载安装版jdk-7u15-windows-x64.exe；（安装，并配置JAVA\_HOME，PATH，CL

港控/mmm°/ 2022年09月30日 07:28/ 0 赞/ 176 阅读

相关 Nutch的安装使用

Nutch的版本是1.1，需要jdk支持，Nutch0.9版本以上的需要jdk1.5以上。安装tomcat，要求tomcat5以上。如果是Windows系统，需安装cygwi

怼烎@/ 2022年09月25日 15:30/ 0 赞/ 213 阅读

相关 ubuntu下安装nutch2.x

1、安装ant（自行百度） > 目前官方2.x只提供了源码下载，不再提供编译的版本，需要用户自己去编译。 > 2、下载 nutch 2.2.1 > 由于对n

系统管理员/ 2022年09月25日 05:20/ 0 赞/ 175 阅读

相关转：Nutch学习笔记--抓取过程简析

在上篇学习笔记中[http://www.cnblogs.com/huligong1234/p/3464371.html][http_www.cnblogs.com_huligo

淩亂°似流年/ 2022年08月09日 02:10/ 0 赞/ 152 阅读

相关 Nutch搜索引擎_ Nutch简介及安装

　Nutch是一个由Java实现的，开放源代码（open-source）的web搜索引擎。主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查

爱被打了一巴掌/ 2022年07月15日 00:19/ 0 赞/ 313 阅读

相关 Nutch搜索引擎_ Nutch简介及安装

　Nutch是一个由Java实现的，开放源代码（open-source）的web搜索引擎。主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查

小咪咪/ 2022年07月15日 00:19/ 0 赞/ 215 阅读

相关 Ubuntu16.04 环境下Tensorflow安装过程

Ubuntu16.04 环境下Tensorflow安装过程主要提供安装过程和一定的错误解决方案 -------------------- 这里提供一个安装Tenso

悠悠/ 2022年05月28日 01:51/ 0 赞/ 266 阅读

相关 Hadoop,Hbase,nutch搭建过程遇到的问题

问题如下：在使用Nutch进行抓取的时候，程序卡在Injection urlDir下面不向下走了，查看nutch下面的hadoop.log没有报任何错误。 ![SouthEa

小鱼儿/ 2021年09月22日 09:40/ 0 赞/ 340 阅读

相关 Nutch 1.6 安装过程

今天小编将要给大家简单讲解一下Nutch，Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

短命女/ 2021年09月22日 08:04/ 0 赞/ 278 阅读