nutch1.6安装使用中错误解决方法

迷南。 2021-09-22 08:04 265阅读 0赞

本文为小编在使用nutch 1.6中遇到“Nutch Fetcher: No agents listed in ‘http.agent.name’ property” 的第一个，该问题解决方法：原文网址：[http://blog.csdn.net/chaishen10000/article/details/7183382][http_blog.csdn.net_chaishen10000_article_details_7183382]

网络上大多解释是：在\{nutch\}/conf下找到nutch-default.xml

如果一开始的属性设置为：

<property> 
    <name> http.agent.name</name> 
    <value> </value> 
    </property>

则可能会抛出Fetcher: No agents listed in ‘http.agent.name’ property的错误提示。原因在于<value></value>中的值为空，自己加上一些东西（我想应该是随意的），改成 如下所示：

<property> 
    <name> http.agent.name</name> 
    <value> ZB nutch agent</value> 
    </property>

这种方法在nutch1.6中无效，仔细分析后发现，1.6中存在“/runtime/local”目录，所有运行都是在该目录下。找到该目录下的conf/nutch-default.xml，按上述办法即可解决。

第二个遇到的问题：

Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.

解决方法：nutch-default.xml中的<name>http.robots.agents</name>中加入spider,\* 。官方并不建议这么做，最好将下面的代码复制到nutch-site.xml，默认会覆盖nutch-default.xml中的配置（推荐）。

<property>
      <name>http.agent.name</name>
      <value>spider</value>
      <description>HTTP 'User-Agent' request header. MUST NOT be empty - 
      please set this to a single word uniquely related to your organization.
     
      NOTE: You should also check other related properties:
     
     http.robots.agents
     http.agent.description
     http.agent.url
     http.agent.email
     http.agent.version
     
      and set their values appropriately.
     
      </description>
    </property>
     
    <property>
      <name>http.robots.agents</name>
      <value>spider,*</value>
      <description>The agent strings we'll look for in robots.txt files,
      comma-separated, in decreasing order of precedence. You should
      put the value of http.agent.name as the first agent name, and keep the
      default * at the end of the list. E.g.: BlurflDev,Blurfl,*
      </description>
    </property>

（三个Input path doesn't exist问题：

![SouthEast][]

删除在 data/segments 报错的文件夹就可以了。

1、git 来作为版本控制工具，github作为server。bitbucket.org提供免费的私有库。

2、Nutch的提高在于 研读nutch-default.xml文件中的每一个配置项的实际含义（需要结合源代码理解）。

3、ant 根据build.xml配置文件进行执行，里面指定了如何对nutch进行编译，进行打包的，定制开发Nutch入门的方法时研读build.xml文件。

第一次获取数据失败了，失败内容通过cat nohup.out 日志文件中进行查看，发现是hostname的问题。

![SouthEast 1][]

在进行 nohup bin/nutch crawl urls -dir data -threads 20 -depth 1 &  开始对数据进行抓取，最后成功的抓取到了网页的数据，放到data目录下的文件中。

![SouthEast 2][]

PS ：学习过程中的一些知识分享。

crawlDb ：一个全局的抓取过超大的URL 文件夹

logs/hadoop.log 里面是数据抓去的详细信息。

solr ：是一个独立的企业级搜索应用服务器，对外提供类似于Web-Service的API接口。

slf4j：java 日志

1、通过nutch诞生了hadoop，tika，gora。

2、Nutch 通过ivy（1.2之后）来进行依赖管理的。

3、Nutch 是使用SVN进行源代码管理的。

4、Lucene，Nutch，Hadoop在搜索界相当有名。

5、Nutch和Hadoop是通过什么连接起来的？

通过Nutch 脚本，通过Hadoop命令把apache-nutch-1.6.job提交给Hadoop的Job Tracker。

6、Nutch入门重点在于分析nutch脚本文件。

[http_blog.csdn.net_chaishen10000_article_details_7183382]: http://blog.csdn.net/chaishen10000/article/details/7183382
[SouthEast]: /images/20210920/455050a0cd784f35abeae0884f313dab.png
[SouthEast 1]: /images/20210920/39307ecad5b8423c8776c30e16b7e5b4.png
[SouthEast 2]: /images/20210920/f163c147f6784d9483608eacc04060b7.png