nutch-default.xml配置参数解释(部分)

亦凉 2022-08-10 06:10 147阅读 0赞

*  ## http.max.delays ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p><a rel="nofollow"></a><a rel="nofollow"></a>&lt;name&gt;http.max.delays&lt;/name&gt;</p> <p>&lt;value&gt;100&lt;/value&gt;</p> <p>&lt;description&gt;Thenumber of times a thread will delay when trying to</p> <p>fetch a page. Each time it finds that a host is busy, it will wait</p> <p>fetcher.server.delay. After http.max.delays attepts, it will give</p> <p>up on the page fornow.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

爬虫的**网络延时线程等待时间**，以秒计时，默认的配时间是3秒，视网络状况而定。如果在爬虫运行的时候发现服务器返回了主机忙消息，则等待时间由fetcher.server.delay决定，所以在网络状况不太好的情况下fetcher.server.delay也设置稍大一点的值较好，此外还有一个http.timeout也和网络状况有关系。

*  ## http.content.limit ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;http.content.limit&lt;/name&gt;</p> <p>&lt;value&gt;65536&lt;/value&gt;</p> <p>&lt;description&gt;Thelength limit for downloaded content, in bytes.</p> <p>If this value isnonnegative (&gt;=0), content longer than it will be truncated;</p> <p>otherwise, notruncation at all.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

描述爬虫抓取的**文档内容长度**的配置项。原来的值是65536 ，也就是说抓取到的一个文档截取65KB左右，超过部分将被忽略，对于抓取特定内容的搜索引擎需要修改此项，比如XML文档。

*  ## db.default.fetch.interval ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;db.default.fetch.interval&lt;/name&gt;</p> <p>&lt;value&gt;30&lt;/value&gt;</p> <p>&lt;description&gt;Thedefault number of days between re-fetches of a page.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

这个功能对定期自动爬取需求的开发有用，设置**多少天重新爬**一个页面。

*  ## fetcher.server.delay ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;fetcher.server.delay&lt;/name&gt;</p> <p>&lt;value&gt;5.0&lt;/value&gt;</p> <p>&lt;description&gt;Thenumber of seconds the fetcher will delay between</p> <p>successiverequests to the same server.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  ## fetcher.threads.fetch ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;fetcher.threads.fetch&lt;/name&gt;</p> <p>&lt;value&gt;10&lt;/value&gt;</p> <p>&lt;description&gt;Thenumber of FetcherThreads the fetcher should use.</p> <p>This is alsodetermines the maximum number of requests that are</p> <p>made at once(each FetcherThread handles one connection).&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

最大抓取线程数量

1.  1.  ## fetcher.threads.per.host ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;fetcher.threads.per.host&lt;/name&gt;</p> <p>&lt;value&gt;1&lt;/value&gt;</p> <p>&lt;description&gt;Thisnumber is the maximum number of threads that</p> <p>should beallowed to access a host at one time.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

同一时刻同一网站最大抓取线程数量

1.  1.  ## fetcher.verbose ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;fetcher.verbose&lt;/name&gt;</p> <p>&lt;value&gt;false&lt;/value&gt;</p> <p>&lt;description&gt;Iftrue, fetcher will log more verbosely.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

如果是true, 打印出更多详细信息

1.  1.  ## parser.threads.parse ##

0.9版本nutch-default.xml无此参数

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;<br> &nbsp;&lt;name&gt;parser.threads.parse&lt;/name&gt;<br> &nbsp;&lt;value&gt;10&lt;/value&gt;<br> &nbsp; &lt;description&gt;Numberof ParserThreads ParseSegment shoulduse.&lt;/description&gt;<br> &lt;/property&gt;</p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

解析爬取到的文档线程数，和爬虫线程对应，因为爬虫主要的处理类是有很多地方使用到了同步，所以此配置项和爬虫线程保持一直对处理有好处。

1.  1.  ## fs.default.name ##

0.9版本nutch-default.xml无此参数

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;<br> &nbsp;&lt;name&gt;fs.default.name&lt;/name&gt;<br> &nbsp;&lt;value&gt;local&lt;/value&gt;<br> &nbsp; &lt;description&gt;Thename of the default file system.&nbsp; Either the<br> &nbsp;literal string "local" or a host:port forNDFS.&lt;/description&gt;<br> &lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

分布式文件系统使用的配置项，默认的是 local表示使用本地文件系统，如果使用host:port 的形式表示使用分布式文件系统NDFS，此处的文件系统地址是nameserver ，也就是通过bin/nutch namenode xxxx启动的主机地址和端口号。

1.  1.  ## ndfs.name.dir ##

0.9版本nutch-default.xml无此参数

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;<br> &nbsp;&lt;name&gt;ndfs.name.dir&lt;/name&gt;<br> &nbsp;&lt;value&gt;/tmp/nutch/ndfs/name&lt;/value&gt;<br> &nbsp;&lt;description&gt;Determines where on the local filesystem theNDFS name node<br> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; should store thename table.&lt;/description&gt;<br> &lt;/property&gt;</p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

分布式文件系统namenode使用的存放数据的目录，Namenode 会使用此项，另外在启动namenode 或datanode的时候也可以加上路径作为参数也可以生效。

1.  1.  ## ndfs.data.dir ##

0.9版本nutch-default.xml无此参数

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;<br> &nbsp;&lt;name&gt;ndfs.data.dir&lt;/name&gt;<br> &nbsp;&lt;value&gt;/tmp/nutch/ndfs/data&lt;/value&gt;<br> &nbsp;&lt;description&gt;Determines where on the local filesystem anNDFS data node<br> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; should store itsblocks.&lt;/description&gt;<br> &lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

分布式文件系统ndatanode使用的存放数据的目录，datanode 会使用此项，另外在启动datanode的时候也可以加上路径作为参数也可以生效。

1.  1.  ## indexer.max.tokens ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;indexer.max.tokens&lt;/name&gt;</p> <p>&lt;value&gt;10000&lt;/value&gt;</p> <p>&lt;description&gt;</p> <p>The maximum numberof tokens that will be indexed for a single field</p> <p>in a document.This limits the amount of memory required for</p> <p>indexing, so thatcollections with very large files will not crash</p> <p>the indexingprocess by running out of memory.</p> <p>&nbsp;</p> <p>Note that thiseffectively truncates large documents, excluding</p> <p>from the indextokens that occur further in the document. If you</p> <p>know your sourcedocuments are large, be sure to set this value</p> <p>high enough toaccomodate the expected size. If you set it to</p> <p>Integer.MAX_VALUE,then the only limit is your memory, but you</p> <p>should anticipatean OutOfMemoryError.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

这个配置项的功能是限制索引的时候每个文档的单个字段最大10000个Tokens，也就是说在采用默认的一元分词的情况下，最大的文档字数限制是10000，如果采用其他中文非一元分词系统，则索引的单个文档单个字段将会超过10000个，对内存有影响。

1.  1.  ## indexer.mergeFactor ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;indexer.mergeFactor&lt;/name&gt;</p> <p>&lt;value&gt;50&lt;/value&gt;</p> <p>&lt;description&gt;Thefactor that determines the frequency of Lucene segment</p> <p>merges. This mustnot be less than 2, higher values increase indexing</p> <p>speed but lead toincreased RAM usage, and increase the number of</p> <p>open file handles(which may lead to "Too many open files" errors).</p> <p>NOTE: the"segments" here have nothing to do with Nutch segments,they</p> <p>are a low-leveldata unit used by Lucene.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

合并因子，在建立索引的时候用到，表示索引多少个文档的时候回写到存储设备。

1.  1.  ## indexer.minMergeDocs ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;indexer.minMergeDocs&lt;/name&gt;</p> <p>&lt;value&gt;50&lt;/value&gt;</p> <p>&lt;description&gt;Thisnumber determines the minimum number of Lucene</p> <p>Documents bufferedin memory between Lucene segment merges. Larger</p> <p>values increaseindexing speed and increase RAM usage.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

这个配置项对内存影响巨大，功能是在建立索引的时候最小的合并文档数量，这个值设置太小一个会影响索引速度，另外一个在需要索引的文档数量很大的时候会出现Too Many Open files的错误，这个时候需要调整此配置项，有试验表明1000的时候会有比较快的索引速度，但我把此项值调整到10000，索引的时候最高内存占用到1.8G，索引创建速度是25page/sec，并且多次索引的时候有一个衰减。不过对查询的相应时间有很大提升，如果内存足够的话修改较大的值比较好。

1.  1.  ## indexer.maxMergeDocs ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;indexer.maxMergeDocs&lt;/name&gt;</p> <p>&lt;value&gt;2147483647&lt;/value&gt;</p> <p>&lt;description&gt;Thisnumber determines the maximum number of Lucene</p> <p>Documents to bemerged into a new Lucene segment. Larger values</p> <p>increase batchindexing speed and reduce the number of Lucene segments,</p> <p>which reduces thenumber of open file handles; however, this also</p> <p>decreasesincremental indexing performance.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

这个好像不需要设置，因为默认的值是Integer.MAX\_VALUE ，不会比这个更大了。

1.  1.  ## searcher.summary.context ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;searcher.summary.context&lt;/name&gt;</p> <p>&lt;value&gt;5&lt;/value&gt;</p> <p>&lt;description&gt;</p> <p>The number ofcontext terms to display preceding and following</p> <p>matching terms ina hit summary.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

这个比较有用，在前面的文章里有介绍。

1.  1.  ## searcher.summary.length ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;searcher.summary.length&lt;/name&gt;</p> <p>&lt;value&gt;20&lt;/value&gt;</p> <p>&lt;description&gt;</p> <p>The total numberof terms to display in a hit summary.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

在前面的文章里也有介绍。

1.  1.  ##  plugin.folders ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;plugin.folders&lt;/name&gt;</p> <p>&lt;value&gt;plugins&lt;/value&gt;</p> <p>&lt;description&gt;Directories where nutch plugins are located. Each</p> <p>element may be arelative or absolute path. If absolute, it is used</p> <p>as is. Ifrelative, it is searched for on the classpath.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

配置插件功能的配置项，plugin.folders制定插件加载路径

1.  1.  ## plugin.includes ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;plugin.includes&lt;/name&gt;</p> <p>&lt;value&gt;protocol-http|urlfilter-regex|parse-(text|html|js)|index-basic|query-(basic|site|url)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)&lt;/value&gt;</p> <p>&lt;description&gt;Regular expression naming plugin directorynames to</p> <p>include. Anyplugin not matching this expression is excluded.</p> <p>In any case youneed at least include the nutch-extensionpoints plugin. By</p> <p>default Nutchincludes crawling just HTML and plain text via HTTP,</p> <p>and basic indexingand search plugins. In order to use HTTPS please enable</p> <p>protocol-httpclient, but be aware of possible intermittentproblems with the</p> <p>underlyingcommons-httpclient library.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

配置插件功能的配置项，plugin.includes表示需要加载的插件列表

1.  1.  ##  parser.character.encoding.default ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;parser.character.encoding.default&lt;/name&gt;</p> <p>&lt;value&gt;windows-1252&lt;/value&gt;</p> <p>&lt;description&gt;Thecharacter encoding to fall back to when no other information</p> <p>isavailable&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

解析文档的时候使用的默认编码windows-1252好像比较少用到的一种编码，我不太熟悉。

1.  1.  ## parser.html.impl ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;parser.html.impl&lt;/name&gt;</p> <p>&lt;value&gt;neko&lt;/value&gt;</p> <p>&lt;description&gt;HTMLParser implementation. Currently the following keywords</p> <p>are recognized:"neko" uses NekoHTML, "tagsoup" uses TagSoup.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

制定解析HTML文档的时候使用的解析器，NEKO功能比较强大，后面会有专门的文章介绍Neko从HTML到TEXT以及html片断的解析等功能做介绍。

1.  1.  ## extension.clustering.hits-to-cluster ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;extension.clustering.hits-to-cluster&lt;/name&gt;</p> <p>&lt;value&gt;100&lt;/value&gt;</p> <p>&lt;description&gt;Number of snippets retrieved for the clusteringextension</p> <p>if clusteringextension is available and user requested results</p> <p>to beclustered.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

聚合功能，对搜索结果有聚合需求的应用可能会用到。

1.  1.  ## extension.ontology.extension-name ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;extension.ontology.extension-name&lt;/name&gt;</p> <p>&lt;value&gt;&lt;/value&gt;</p> <p>&lt;description&gt;Usethe specified online ontology extension. If empty,</p> <p>the firstavailable extension will be used. The "name" here refersto an 'id'</p> <p>attribute of the'implementation' element in the plugin descriptor XML</p> <p>file.&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

人工智能，这个功能在我以后的开发过程中会逐步深入，等我有相关的经验以后在给大家介绍。◎\_◎

1.  1.  ## query.url.boost ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;query.url.boost&lt;/name&gt;</p> <p>&lt;value&gt;4.0&lt;/value&gt;</p> <p>&lt;description&gt;Used as a boost for url field in Lucene query.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> <p>&nbsp;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;query.anchor.boost&lt;/name&gt;</p> <p>&lt;value&gt;2.0&lt;/value&gt;</p> <p>&lt;description&gt;Used as a boost for anchor field in Lucene query.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> <p>&nbsp;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;query.title.boost&lt;/name&gt;</p> <p>&lt;value&gt;1.5&lt;/value&gt;</p> <p>&lt;description&gt;Used as a boost for title field in Lucene query.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> <p>&nbsp;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;query.host.boost&lt;/name&gt;</p> <p>&lt;value&gt;2.0&lt;/value&gt;</p> <p>&lt;description&gt;Used as a boost for host field in Lucene query.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> <p>&nbsp;</p> <p>&lt;property&gt;</p> <p>&lt;name&gt;query.phrase.boost&lt;/name&gt;</p> <p>&lt;value&gt;1.0&lt;/value&gt;</p> <p>&lt;description&gt;Used as a boost for phrase in Lucene query.</p> <p>Multiplied byboost for field phrase is matched in.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

以上的几个关于搜索结果排序的分值计算因子在以后的搜索结果排序会专门做介绍，这几个项对垂直搜索的用处不太大。

1.  1.  ## lang.analyze.max.length ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;lang.analyze.max.length&lt;/name&gt;</p> <p>&lt;value&gt;2048&lt;/value&gt;</p> <p>&lt;description&gt;The maximum bytes of data to uses to indentify</p> <p>the language (0means full content analysis).</p> <p>The larger is thisvalue, the better is the analysis, but the</p> <p>slowest it is.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

和语言有关系，分词的时候会用到，不过我没用过这个配置项。

还有几个重要的配置项在nutch-site.xml里面配置。

1.  1.  ## searcher.dir ##

<table style="width:569px;"> 
 <tbody> 
  <tr> 
   <td style="border-color:#000000;vertical-align:top;"> <p>&lt;property&gt;</p> <p>&lt;name&gt;searcher.dir&lt;/name&gt;</p> <p>&lt;value&gt;crawl&lt;/value&gt;</p> <p>&lt;description&gt;</p> <p>Path to root ofcrawl. This directory is searched (in</p> <p>order) for eitherthe file search-servers.txt, containing a list of</p> <p>distributed searchservers, or the directory "index" containing</p> <p>merged indexes, orthe directory "segments" containing segment</p> <p>indexes.</p> <p>&lt;/description&gt;</p> <p>&lt;/property&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

可以有两种方式，如果指向的目录下面有search-servers.txt 文件，那么优先处理search-servers.txt文件中的内容，并解析其中复合hostnameport格式的内容（即分布式查询请求），解析到后就想该服务器发送查询请求，如果没有则查找segements 目录，segments是本地索引文件。  
如果两个都没有找到，她就要报错了。  
 search-servers.txt  
内容很简单 例如：  
127.0.0.1 9999  
不过需要注意的是，这个 9999的端口启动的 是查询服务器 ，是用 bin/nutchserver 9999 的命令启动的，  
和namenode 启动比较相似，我当初接触的时候就以为是namenode 的地址，郁闷的很久。  
namenode 和searchserver 结合不太好， 没有提供直接从namenode 到searchserver的文件访问接口，需要自己开发，如果大  
家知道有可以直接从namenode 到searchserver的方法或者现成的程序，请告诉我一下，我需要，要是实在找不到，那就没办法了，自己写。  
我现在从namenode到searchserver的方法比较原始，不值得推荐，所以就不作介绍了。