【Solr】- Apache SolrTM 5.3.1 Documentation

朱雀 2022-10-02 09:51 84阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

Solr Quick Start: Apache Solr官网翻译

## 概要 ##

文档主要包含Solr启动、运行Solr导入各种形式的数据源到多个集合中，近距离体验Solr管理员和搜索接口

## 要求 ##

*  系统要求
 *  Apache Solr 发布包

## 开始 ##

运行浏览器显示指南，同一台机器上的Solr服务器指南帮助正确入门Solr Server 开始解压Solr发布包，将Solr的解压目录放在工作目录下，注意基础目录名可能与下载的Solr的版本号不同，例如Unix、Cygwin或者MacOS的shell版本不同

## Linux指令 ##

:$ ls solr*
        solr-5.0.0.zip
    :$ unzip -q solr-5.0.0.zip
    :$ cd solr-5.0.0/

## Solr Cloud 结构层次图 ##

![3b06403495ef26b35934792c964eb31a4d1.jpg][]

**Solr Cloud**: Solr 基于Zookeeper构建的分布式搜索系统，zookeeper保证高可用

**Collection**: 对应standby模式下的Solr Core

**Shard(分片)**: 对应Collection逻辑划分的Core,可理解为多个Shard组成一个完整意义上的Solr Core,若是单机模式下：1 Solr Core = 1 Shard = 1 Core = 1 replica，Shard对于用户是透明的，主要通过上一层的Collection提供一个Façade接口

**Core**: Solr Core 1个包含索引和配置文件的运行实例，一个Core对应一个Replica实际提供索引服务，SolrCloud提供冗余机制，多个Replica提供的索引数据服务是相同的

**Replica**: Shard真实物理存储，可提供类似HDFS的备份机制保证冗余特性

## Solr的命令表 ##

![57788375898b6980c24cb44481cf8343179.jpg][]

### Linux: ###

*  普通solr命令：solr start -s /usr/local/hadoop/solr-5.3.1/server/solr
 *  启动Solr Cloud指令：
    
     *  bin/solr start -e cloud –noprompt

命令分析：Solr Cloud 测试样例，会在 example下创建cloud目录，并且创建两个物理节点Node01、Node02, gettingstarted是逻辑意义上的Solr Core, Solr Core通过分片包含2个备份

![1257ad09466aad313350e9ac3f23e20e54a.jpg][]

Windows启动Solr命令：solr start（默认参数启动）

Windows关闭Solr命令：solr stop –all

Solr Admin UI查看Solr运行状态：[http://localhost:8983/solr/][http_localhost_8983_solr]

SolrCloud 运行在2个节点，端口7574和端口8983，命令执行后默认自动创建的Solr Core: gettingstarted，gettingstarted由两个shard组成，每个shard存在2个replica，Solr的管理员界面Cloud Tab 很好的展示Collection

![842dc3e77ec42a215e56d99abc3941be559.jpg][]

解释：

*  SolrHome：Solr所有的索引数据集合
 *  Gettingstarted：Solr Core名称

### 索引数据 ###

Solr服务器启动、运行后不包含数据，Solr安装目录包含bin/post 工具，主要是帮助将各种类型的文档在Solr启动的时候导入Solr，这里将Post工具用于索引下面的案例。需要在Solr的安装目录下使用命令shell运行案例。

注意：bin/post工具和windows 脚本完全不一样，但是内部调用的Java程序是可获得的，详情请看：[https://cwiki.apache.org/confluence/display/solr/Post+Tool\#PostTool-Windows][https_cwiki.apache.org_confluence_display_solr_Post_Tool_PostTool-Windows]

### 索引rich 文件目录 ###

Rich是指HMTL/PDF/MSOffice/简单文本，bin/post工具支持文件目录处理(包含子目录)，并且将少量的内容导入Solr，便于查询和索引，Solr安装目录包含doc的子目录，可以很方便的通过下面命令将文件导入到Solr索引库：

bin/post -c gettingstarted docs/

**命令参数详解**：

*  \-c gettingstarted:索引导入Solr Core的名称
 *  docs/:solr安装目录下doc目录相对路径

现在可索引存储在gettingstarted的成千上万的文件并且提交索引更新,用户可以通过Solr Admin UI的Query选项卡搜索“solr”关键字，在‘q’一行使用自定义的内容取代’\*’,然后点击”Execute Query”查询相关信息

![fe6577c4fd26d7e0513422f9839d71c8f67.jpg][]

建立数据索引，重新运行导入索引命令：bin/post -c gettingstarted docs/后，重新导入同一个Collection索引数据会清空原先的数据之后才会存入索引数据。

### 索引Solr xml ###

Solr支持索引各种格式的结构化内容，结构化内容数据可以通过Solr XML格式导入Solr,通过Solr XML,solr索引工作者通常可以编码通过POST请求的形式直接去访问Solr的/update的方法将一定范围的内容写入Solr。

Solr的安装目录包example目录包含许多Solr XML格式文件，这些techproducts需特定的配置， bin/solr脚本包含支持配置，可通过bin/solr start –e 参数值，这种方式在启动solr的同时创建Collection

bin/post: 索引在example/exanplesdocs目录下的Solr XML文件：

测试命令：bin/post –c gettingstarted example/exampledocs/\*.xml

将索引数据导入gettingstarted，现在可通过默认Solr Query语法进行搜索，注意你可以通过[http://localhost:8983/solr/gettingstarted/browse][http_localhost_8983_solr_gettingstarted_browse]

浏览页面显示的索引的文档尽管是粗糙、原型化、交互式的HTML视图，但是/browse UI展示Solr技术能力（/browse视图默认gettingstarted schema和数据格式默认结构化XML、JSON、CSV样例数据和非结构化rich数据，数据可能是首先不会非理想化显示，但是可以通过模板定制）

![738e7b4105fb47aca92ca37239d38f352a3.jpg][]

### 索引库数据视图 ###

![d72f1ae433688d9d0d4c188a46525963a6a.jpg][]

### 索引JSON： ###

Solr支持索引JSON数据：任意的结构化JSON或者类似Solr XML的“Solr JSON”，Solr example目录包含Solr Json测试文件，使用bin/post，建立JSON 文件索引：

bin/post -c gettingstarted example/exampledocs/books.json
    
    windows命令：java -Durl=http://localhost:8080/solr/collection/update -jar post.jar *.json

为了扁平化(索引数据切割：类似Spark的RDD分割Partition)和索引任意的结构化JSON，可以查看ansforming and Indexing Custom JSON data.

### 索引CSV文件： ###

CSV文件是将数据导入Solr一个比较好的方式，特别是当文档是有相同一组的属性时，CSV可以很方便的从Excel或者从数据库(例如mysql)中导出。当SOlr启动时，可以很容易将结构化数据导出为CSV格式，然后将数据存入Solr，而不是需要额外的导入步骤

测试命令：bin/post -c gettingstarted example/exampledocs/books.csv

其他的索引管理技术：

*  通过Data Import Handler (DIH).从数据库将数据导入Solr
 *  通过Solr的Java客户端SolrJ管理索引
 *  通过Admin UI导入：Documents选项卡

![8817de45dd12a561d98e4bbe6e21f286d27.jpg][]

### 更新数据： ###

注意到即使索引这个指南中的内容超过1次，solr也不会出现重复的结果，因为schema.xml文件指定了名为“id”，“uniqueKey”域，无论什么时候使用POST命令以相同的uniqueKey提交文档，solr会自动提替换(类似Map属性，key相同的值总是会被最新的值替代)，我们可以通过Solr Admin UI的Overview视图的num Docs和Max Doc属性验证这个过程：

![db1ec31074335165e5313368db073ae545d.jpg][]

Num Docs:表示可检索的文档数量(可能大于XML\\JSON\\CSV文件的总和，因为一些rich 文件可能包含多个文件：例如Work文档里面内嵌文档)

Max Docs:可能比Num Docs更大，因为Max Docs包含逻辑上已删除但是物理还未从索引删除的文档

注意：可能每次我们使用post命令重复提交索引，但是Num Docs并未增长，可能是uniquekey相同时新索引取代旧索引，造成索引内容可能改变但数量不变，可以通过提交同一个样本文件，但是每次提交前修改内容，通过相同的id查询会得到不同的结果

### 删除数据： ###

可通过更新URL通过提交delete命令，并且指定文档的uniquekey域或设置查询条件去删除索引数据 测试命令：

bin/post -c gettingstarted -d "<delete><id>SP2514N</id></delete>"

验证：通过Solr Admin UI的Query Tab q栏输入：id:”key”去验证索引数据是否真正删除

### 搜索： ###

Solr查询可通过REST客户端、CURL、wget、Chrome POSTMAN等方式，可以为许多编程语言提供类似本地客户端的体验，Solr Admin UI包含一个solr查询接口：可以看Sorl Admin UI的query Tab,如果不设置筛选条件点击“Execute Query“按钮，将会获取默认的10条JSON格式的索引记录

Solr查询表达式：”域名”：”域值”：\*:\*表示匹配所有的数据

Solr默认查询10条数据由“start,rows“栏的rows指定，提供分页效果

![248c9aab641192121988c8249ddb768bcb1.jpg][]

Solr Admin UI访问的URL在结果窗口的顶端呈现灰色的效果，点击之后将会显示Solr的响应数据，也可以使用curl命令行：

curl "http://localhost:8983/solr/gettingstarted/select?q=\*%3A*&wt=json&indent=true"

![b606d91f238c516f10844806137bf252c30.jpg][]

URL参数解释：

*  q:query:查询条件：URL-encod编码
 *  wt:solr相应内容的输出格式
 *  indent:内容是否切割：主要让solr响应内容格式化显示，否则非格式化显示，全部堆在一起不美观

### 查询基础： ###

1.  单一条件限定查询 单一条件查询主要设置“q“参数，用实际的域值替换“*:*”,例如搜索“foundation”,使用curl指令：

curl http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation

Solr页面显示：

![843400f9db15b137ecfe29915ed374eb92a.jpg][]

1.  短语搜索：通俗点就是关键字组合查询 测试案例：

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=\"CAS+latency\""

Sor结果页面：

![38d19a8cf05911f150d0c688503ba140acf.jpg][]

1.  联合查询

默认使用多关键字或短语查询时，solr仅仅要求匹配的文档中存在，结果列表中包含关键字越多的信息按顺序显示，用户可以要求一个关键字以“+“或”-“作为前缀。查询的关键字包含“one”和“three”，可以通过“+”进行连接，但是URL中会使用URL Encoder进行转码传输 案例：

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=%2Bone+%2Bthree"

更多的Solr的query可参考：[https://cwiki.apache.org/confluence/display/solr/Searching][https_cwiki.apache.org_confluence_display_solr_Searching]

## Solr Faceting:垂直搜索 ##

Solr最受欢迎的功能是Faceting,Faceting运行搜索结果归档为子集/Buckets/Categories,并且提供每个子集的数量，Faceting的种类：filed values, numeric and date ranges, pivots (decision tree), and arbitrary query faceting.

Faceting: 对已经搜索出来的结果进一步的切分，例如汽车搜索，solr应该显示全部的包含汽车字样，但是可以通过faceting将汽车划分为卡车、轿车等类型，用户可以直接点击对应的汽车类型得到对应的结果,也可以查看卡车对应的数量统计等，Facating实际上相当于一个内容过滤的角色

### Field facets ###

Solr可以提供搜索结果，Solr facets可以通过查询返回搜索文档的数量，每个文档在结果集包含唯一的关键字，在Solr Admin UI选项卡，可以选中“facet”复选框，可以看到和faceted相关的可选参数

![f90b96e74c3c66ced4a9ba5f54bbaf4c5c0.jpg][]

分析：类似搜索“电脑”,solr返回电脑分类：例如联想商品数量：100,惠普电脑250情况，还可以通过时间等维度进行搜索

### Range Facets: ###

对于数字和日期经常描述facet数据在某个范围，而不是分离实际值，通俗说就是在某个区间范围内搜索结果，例如淘宝的商品价格、日期等方位搜索

![4be964b3b265b08601a2535270d885dccd0.jpg][]

测试案例：

curl http://localhost:8983/solr/gettingstarted/select?q=*:*&wt=json&indent=on&rows=0&facet=true&facet.range=price&f.price.facet.range.start=0&f.price.facet.range.end=600&f.price.facet.range.gap=50&facet.range.other=after

### Pivot Facets: ###

Priot Facets类似决策树，允许两个或以上的fields组合查询，测试案例

curl http://localhost:8983/solr/gettingstarted/select?q=*:*&rows=0&wt=json&indent=on&facet=on&facet.pivot=cat,inStock

![b39e4b127981a659556207b081591c1946e.jpg][]

结果说明：book类的关于Cat的书，仍在卖的有12本，没有在卖的有2本

## Spatial ##

Solr支持位置限制支持，在指定的位置的距离范围内搜素，结果并按照距离排序，甚至可以通过距离改善结果，类似现在的LBS服务。测试数据目录：

example/exampledocs/\*.xml，文件包含有表面Spatial能力表述的定位信息，运行测试，测试方法查看：techproducts example section,Spatial查询可以和其他类型的查询缓和使用，例如查询距离旧金山“ipod”的关键字: [http://localhost:8983/solr/techproducts/browse?q=ipod&pt=37.7752%2C-122.4232&d=10&sfield=store&fq=%7B%21bbox%7D&queryOpts=spatial&queryOpts=spatial][http_localhost_8983_solr_techproducts_browse_q_ipod_pt_37.7752_2C-122.4232_d_10_sfield_store_fq_7B_21bbox_7D_queryOpts_spatial_queryOpts_spatial]

Spatial：对匹配的结果进一步的筛选，结果更精确

## 总结： ##

通过Solr入门指南应了解：

*  在SolrClund模式下启动Solr
 *  索引富文本文件/XML文件/JSON文件/CSV文件
 *  打开Solr Admin控制台，使用查询接口获取JSON个数的输出结果
 *  打开/browse接口以更加友好的方式和熟悉的接口展示Solr显示Solr的功能

下面是开始Solr入门指南的关键指令：linux/unix脚本

bin/solr start -e cloud -noprompt ;
      open http://localhost:8983/solr ;
      bin/post -c gettingstarted docs/ ;
      open http://localhost:8983/solr/gettingstarted/browse ;
      bin/post -c gettingstarted example/exampledocs/*.xml ;
      bin/post -c gettingstarted example/exampledocs/books.json ;
      bin/post -c gettingstarted example/exampledocs/books.csv ;
      bin/post -c gettingstarted -d "<delete><id>SP2514N</id></delete>" ;
      bin/solr healthcheck -c gettingstarted ;

注意：gettingstarted是solr core的名称需要手动创建然后导入

清理： 停止Solr和恢复Solr为初始状态，可使用下面的指令

bin/solr stop -all ;   //关闭solar
    rm -Rf example/cloud/  /删除Solr的数据文件

转载于:https://my.oschina.net/yangzhiwei256/blog/3015265

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/d7e92810bb494c84925c15aa9401f041.png
[3b06403495ef26b35934792c964eb31a4d1.jpg]: /images/20220113/c8fd80647986481aa17e949cc0c78c08.png
[57788375898b6980c24cb44481cf8343179.jpg]: /images/20220113/26f3ddc4d5bd404792de122e42dade0a.png
[1257ad09466aad313350e9ac3f23e20e54a.jpg]: /images/20220113/df6557b60c8e4ecfb88b0974455542dc.png
[http_localhost_8983_solr]: http://localhost:8983/solr/
[842dc3e77ec42a215e56d99abc3941be559.jpg]: /images/20220113/ef005a42e52240dcbbb428975dad6d0c.png
[https_cwiki.apache.org_confluence_display_solr_Post_Tool_PostTool-Windows]: https://cwiki.apache.org/confluence/display/solr/Post+Tool#PostTool-Windows
[fe6577c4fd26d7e0513422f9839d71c8f67.jpg]: /images/20220113/e4aa05fc10d440649cae77c3395cd72e.png
[http_localhost_8983_solr_gettingstarted_browse]: http://localhost:8983/solr/gettingstarted/browse
[738e7b4105fb47aca92ca37239d38f352a3.jpg]: /images/20220113/f5d0ad1cc9a94e7cac8527f2efefc169.png
[d72f1ae433688d9d0d4c188a46525963a6a.jpg]: /images/20220113/ab884f664ebb4238b65ed8ed2b634690.png
[8817de45dd12a561d98e4bbe6e21f286d27.jpg]: /images/20220113/3d357b1ea1cc4918bae780ec51934efe.png
[db1ec31074335165e5313368db073ae545d.jpg]: /images/20220113/ad1415e6eb834eeda4007e3d0bcf7e87.png
[248c9aab641192121988c8249ddb768bcb1.jpg]: /images/20220113/fa0259b21b84439bab79e73cf1f7f12f.png
[b606d91f238c516f10844806137bf252c30.jpg]: /images/20220113/258aa969fee8421f94bb659bb7b9242e.png
[843400f9db15b137ecfe29915ed374eb92a.jpg]: /images/20220113/debc300a4f604245b37741716a5bb01d.png
[38d19a8cf05911f150d0c688503ba140acf.jpg]: /images/20220113/7c127f155832454f885956ab1bbe7193.png
[https_cwiki.apache.org_confluence_display_solr_Searching]: https://cwiki.apache.org/confluence/display/solr/Searching
[f90b96e74c3c66ced4a9ba5f54bbaf4c5c0.jpg]: /images/20220113/5480d1b180a8440d93be2d94f2ebcf95.png
[4be964b3b265b08601a2535270d885dccd0.jpg]: /images/20220113/ed88d47734bf411299affa821fdb1060.png
[b39e4b127981a659556207b081591c1946e.jpg]: /images/20220113/bd243b9aca2143558746aee7060a0b66.png
[http_localhost_8983_solr_techproducts_browse_q_ipod_pt_37.7752_2C-122.4232_d_10_sfield_store_fq_7B_21bbox_7D_queryOpts_spatial_queryOpts_spatial]: http://localhost:8983/solr/techproducts/browse?q=ipod&pt=37.7752%2C-122.4232&d=10&sfield=store&fq=%7B%21bbox%7D&queryOpts=spatial&queryOpts=spatial