SolrCloud6.1.0之SQL查询测试

青旅半醒 2022-07-21 01:25 61阅读 0赞

Solr发展飞快，现在最新的版本已经6.1.0了，下面来回顾下Solr6.x之后的一些新的特点：  
  
  
（1）并行SQL特性支持，编译成Streaming 表达式，可以在solrcloud集群中，并行执行  
（2）SolrCloud的Collection被抽象成关系型数据库表，现在不仅仅可以支持强大的全文检索，还通过SQL支持像数据库一样的BI分析  
（3）在SQL的where语句中，全面支持强大的Lucene/Solr语法  
（4）一些聚合操作例如Group会自动优化成并行操作，通过使用Streaming表达式来以Map-Reduce的方式运行  
（5）在（4）中运行的聚合操作，还可以以原生的JSON Facet 方式，来优化提升性能  
（6）SQL特性目前仅支持SolrCloud集群方式，单机方式并不支持  
  
  
  
有关SolrCloud的集群搭建，在这里散仙就不详细说了，有兴趣的朋友，可以参考我前面的文章  
[http://qindongliang.iteye.com/blog/2275990][http_qindongliang.iteye.com_blog_2275990]，搭建好的集群如下：  
   
  
![点击查看原始大小图片][64027894-f153-30a3-bdfa-0e8879c1b8a7.png]   
  
  
实际上像Solr或者ElasticSearch能支持SQL，这并不奇怪，因为他们底层基本上都提供了SQL能支持的大部分功能接口，比如，排序，过滤  
分组，聚合等一些操作，能支持SQL，但不意味着能取代关系型数据库，恰恰相反，NoSQL是作为SQL的有力补充，怎么样组合搭配使用，能把业务  
场景优化的更好，或者能解决某类问题，才是引入这些框架的初衷。  
  
前面说到，Solr在api层面已经有各种功能的接口，缺的就是一个SQL语法解析器，以及如何与最新的Java8的对接？ 所以在Solr6.x里面，引入两个  
最重要的东东就是：  
  
（1）引入了Facebook开源的大数据SQL检索框架Presto的SQL Parser  
（2）使用Java8的Streaming Api写的Streaming Expressions （流式表达式），支持类似shell的管道的计算方式，可以对数据流进行各种复杂操作例如各种join，  
也可以进行图谱查询  
  
  
使用Solrj通过JDBC查询Solr，目前只能查，暂不支持更新，修改，删除等操作  
依赖jar包：  
$SOLR\_HOME/dist/solrj-libs 所有的jar  
$SOLR\_HOME/dist/solr-solrj-<version>.jar solr-solrj.jar  
如果是maven项目：

Java代码 ![收藏代码][icon_star.png]

1.  
2.  <dependency> 
3.   <groupId>org.apache.solr</groupId> 
4.   <artifactId>solr-solrj</artifactId> 
5.   <version>6.1.0</version> 
6.  </dependency>

下面来看一段Solrj通过JDBC查询示例：

Java代码 ![收藏代码][icon_star.png]

1.  Connection con=**null**; 
2.   Statement stmt=**null**; 
3.   ResultSet rs=**null**; 
4.  **try**\{ 
5.   String collection="sql\_search"; 
6.   String aggregationMode="facet";// facet or map\_reduce
7.  //注意solr//:后面跟的是zk集群地址，如果有chroot path还需要加上
8.   con=DriverManager.getConnection("jdbc:solr://192.168.1.184:2181/solr6?collection="\+collection+"&aggregationMode="\+aggregationMode+"&numWorkers=2"); 
9.  //检索，排序，topN
10.  String sql1="select dtime from big\_search order by dtime desc limit 4 "; 
11. //多级分组，排序1
12.  String sql2="select t1,t2,t3 , count(\*) from big\_search group by t1,t2 ,t3 order by count(\*) desc limit 3 "; 
13. //分组，过滤，排序2 
14.  String sql21="select t1, count(\*) from big\_search group by t1 having count(\*) > 2 order by count(\*) desc "; 
15. //去重
16.  String sql221="select distinct t3 from sql\_search limit 2 "; 
17. //全文检索查询
18.  String sql15="select rowkey from big\_search where title='(你好 苏州)' limit 4 "; 
19. //聚合函数 支持max，min，avg，sum，count
20.  String sql4="select count(\*) from big\_search limit 2 "; 
21. //提取字段
22.  String sql3="select t1,t2 from big\_search "; 
23.  stmt = con.createStatement();//编译sql
24.  rs = stmt.executeQuery(sql21);//执行sql
25.  ResultSetMetaData metaData = rs.getMetaData(); //获取字段名元数据
26.  String line\_space="\\t"; //格式化打印
27. **for**(**int** i=1;i<=metaData.getColumnCount();i++)\{ 
28.  System.out.print(metaData.getColumnName(i)+line\_space);//打印表头
29.  \} 
30.  System.out.println(); 
31. **while**(rs.next()) \{ //循环从游标提取数据
32. **for**(**int** i=1;i<=metaData.getColumnCount();i++)\{ //遍历列头
33.  System.out.print(rs.getString(metaData.getColumnName(i))+line\_space);//格式化打印字段内容
34.  \} 
35.  System.out.println(); 
36.  \} 
37.  \} **finally** \{ 
38. **if**(rs!=**null**)\{ 
39.  rs.close(); 
40.  \} 
41. **if**(stmt!=**null**)\{ 
42.  stmt.close(); 
43.  \} 
44. **if**(con!=**null**)\{ 
45.  con.close(); 
46.  \} 
47.  \} 
48. 
49.  System.out.println("====end====");

下面来看一段使用流式表达式查询的操作，无须任何依赖，在Solr的Admin界面就能操作；  
图中的代码的是查询solrcloud中每个shard一条数据，然后总共返回3条数据，最后对3条数据，排序，取top1  
   
  
  
![点击查看原始大小图片][1374abdd-568d-39b1-80ae-41627761aa82.png]   
  
  
  
  
总结：  
  
（1）关于如何集成中文分词IK或者Ansj  
  
单机版的solr，如果是IK，需要在  
solr\\server\\solr-webapp\\webapp\\WEB-INF目录下，新建一个classes目录，将其词库文件全部放进去  
然后将IK的jar包，放入solr\\server\\solr-webapp\\webapp\\WEB-INF\\lib下。  
  
如果是Ansj，则需要将Ansj相关的jar包放入solr\\server\\solr-webapp\\webapp\\WEB-INF\\lib下，  
然后将Ansj的library的目录，放在solr\\server中。  
  
在SolrCloud集群模式中，是需要把某个collection下的conf下的所有文件，上传到zookeeper上的，所有的shard都会  
从zk上加载所需的文件，包括一些词库的配置，这个时候，放在本地磁盘上的词库，是不会被识别的，所以你需要把上传的词库  
文件一起上传到zk上，然后配置合理的路径即可，任何文件的更新，都需要reload整个collection才能更新（solr6之前是需要relaod所有的shard），  
否则，发生的改动不会被识别。  
  
  
（2）理解map\_reduce 和 facet两种聚合模式  
  
A： map\_reduce 模式，支持任意多字段的聚合查询，不受限制，但性能稍低  
测试环境5个shard+3个副本  
测试数据，必须大于6（shard+1）条数据，否则会报错  
  
可测 group+distict  
   
  
![点击查看原始大小图片][2390d380-ede6-313e-8ae2-b094fdedb409.png]   
  
  
执行流程如下：   
  
![6292ce4e-d8c9-3b35-b2bb-c6e4ab1aaca3.png][]   
  
  
  
B：facet 模式，使用Solr原生的Json Facet Api 操作，受一定索引的限制，但性能较高  
只要求有shard，有数据，即可测试，利用solr原生的Facet api进行聚合   
  
![点击查看原始大小图片][ca7e96ff-8bb8-321c-a9ea-da5a3debf329.png]   
  
  
  
（3）理解DocValue对SQL查询的影响  
大部分情况下在Solr中的SQL查询，是需要加上limit关键词的，如果你不加，要么你就会发现，你的查询可能会莫名其妙的报错  
这个时候问题的原因大部分是跟DocValue有关的， Solr6要求，所有不加的limit查询的字段，必须全部是DocValue激活的  
字段，如果任何一个不是，那么查询肯定报错，如果你加了limit关键词，要么可以不受这个限制影响。  
  
至于为什么必须要激活DocValue字段才能进行all字段提取查询，主要目的还是为了性能，想了解DocValue可以  
参考散仙之前的文章：[http://qindongliang.iteye.com/blog/2297280][http_qindongliang.iteye.com_blog_2297280]  
  
  
  
（4） Solr6支持客户端工具（像MySQL的NaviCat）查询链接：  
  
A：DbVisualizer （C/S客户端GUI）  
B：SQuirreL SQL （C/S客户端GUI）  
C：Apache Zeppelin （B/S web端）  
大部分都需要配置添加有关的solr的jdbc的jar包，具体安装方式参考文末链接  
  
（5）除了JDBC方式支持SQL查询，http方式也是可以的：

Shell代码 ![收藏代码][icon_star.png]

1.  \[search@h1 ~\]$ cat sql.sh 
2.  \#\# 聚合模式 map\_reduce 
3.  \#curl --data-urlencode 'stmt=SELECT t1, count(\*) FROM sql\_search GROUP BY t1 ORDER BY count(\*) desc LIMIT 10' http://192.168.1.120:8983/solr/sql\_search/sql?aggregationMode=map\_reduce 
4.  \#\# 聚合模式 facet 
5.  curl --data-urlencode 'stmt=SELECT t1, count(\*) FROM sql\_search GROUP BY t1 ORDER BY count(\*) desc LIMIT 10' http://192.168.1.120:8983/solr/sql\_search/sql?aggregationMode=facet 
6.  \[search@h1 ~\]$ sh sql.sh 
7.  \{ "result-set":\{ "docs":\[ 
8.  \{ "count(\*)":4,"t1":"01"\}, 
9.  \{ "count(\*)":2,"t1":"02"\}, 
10. \{ "count(\*)":2,"t1":"03"\}, 
11. \{ "count(\*)":2,"t1":"04"\}, 
12. \{ "count(\*)":2,"t1":"05"\}, 
13. \{ "EOF":true,"RESPONSE\_TIME":84\}\]\}\}

官网文档：  
[https://cwiki.apache.org/confluence/display/solr/Streaming+Expressions][https_cwiki.apache.org_confluence_display_solr_Streaming_Expressions]  
[https://cwiki.apache.org/confluence/display/solr/Parallel+SQL+Interface\#ParallelSQLInterface-SQLClientsandDatabaseVisualizationTools][https_cwiki.apache.org_confluence_display_solr_Parallel_SQL_Interface_ParallelSQLInterface-SQLClientsandDatabaseVisualizationTools]  
  
   
  
有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。  
技术债不能欠，健康债更不能欠， 求道之路，与君同行。  
   
![3214000f-5633-3c17-a3d7-83ebda9aebff.jpg][]

[http_qindongliang.iteye.com_blog_2275990]: http://qindongliang.iteye.com/blog/2275990
[64027894-f153-30a3-bdfa-0e8879c1b8a7.png]: /images/20220720/72c037ca4620423c9eed23d1588795d5.png
[icon_star.png]: /images/20220720/e896f1921a0142508a112e43ef57ad05.png
[1374abdd-568d-39b1-80ae-41627761aa82.png]: /images/20220720/dd6083ce6c2849e19c16c32a1e1288f8.png
[2390d380-ede6-313e-8ae2-b094fdedb409.png]: /images/20220720/97a84260e57d4600b6bcd0d262aedb94.png
[6292ce4e-d8c9-3b35-b2bb-c6e4ab1aaca3.png]: /images/20220720/514859dc911d480886aaee949b7e5b3a.png
[ca7e96ff-8bb8-321c-a9ea-da5a3debf329.png]: /images/20220720/a5c6f59bcd0e419d9569b09be4b006d5.png
[http_qindongliang.iteye.com_blog_2297280]: http://qindongliang.iteye.com/blog/2297280
[https_cwiki.apache.org_confluence_display_solr_Streaming_Expressions]: https://cwiki.apache.org/confluence/display/solr/Streaming+Expressions
[https_cwiki.apache.org_confluence_display_solr_Parallel_SQL_Interface_ParallelSQLInterface-SQLClientsandDatabaseVisualizationTools]: https://cwiki.apache.org/confluence/display/solr/Parallel+SQL+Interface#ParallelSQLInterface-SQLClientsandDatabaseVisualizationTools
[3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]: /images/20220720/753d5b3e78a542c3b5a5525b857173ca.png