elasticsearch全文检索模块

亦凉 2023-07-03 02:33 57阅读 0赞

### elasticsearch问题清单 ###

*  入门链接
 *  原理
 *  安装配置和启动
 *   *  启动运行es
     *  安装并启动kibana数据可视化工具
     *  安装IK中文分词器
 *  elasticsearch
 *  es增删改查命令
 *  相关性算分
 *  集群配置
 *  long/integer转string ：

# 入门链接 #

[为什么要使用Elasticsearch][Elasticsearch]

[非关系型数据库elasticsearch][elasticsearch]

# 原理 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70]  
倒排索引采用的是b+树实现的

# 安装配置和启动 #

1.  解压：  
    tar zxvf elasticsearch-6.3.1.tar.gz
2.  递归的给linux目录下的所有文件赋予所有权限  
    chmod 777 -R elasticsearch-6.3.1
3.  修改jvm内存参数  
    vim /opt/es/elasticsearch-6.3.1/config/jvm.options  
    ![在这里插入图片描述][20190903221701664.png]
4.  赋予权限

chmod 777 /opt/es/elasticsearch-6.3.1/config/elasticsearch.keystore
    
    logs/gc.log

linux使用curl发送http请求，测试

curl http://www.baidu.com

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 1]  
5 . 配置本机地址，方便被外界访问到 vim /opt/es/elasticsearch-6.3.1/config/elasticsearch.yml  
![在这里插入图片描述][20190903223934314.png]  
![在这里插入图片描述][2019090322493612.png]  
nofile 文件最大数目  
noproc 进程最大数目  
soft 当前系统生效的设置值  
hard 系统中所能设定的最大值

1.  修改linux配置（配合es启动需求） vim /etc/security/limits.conf (linux的\#也是有作用的)

* hard nofile 65536
    * soft nofile 131072
    * hard nproc 4096
    * soft nproc 2048

刷新一下

![在这里插入图片描述][2019090405211129.png]  
7. 配置系统内存 vim /etc/sysctl.conf

vm.max_map_count=655360
    fs.file-max=655360

sysctl -p （配置生效）

1.  总结  
    elasticSearch.yml es的启动host地址  
    jvm.options配置es的虚拟机内存  
    limits.conf配置linux的线程内存和文件  
    sysctl.conf配置系统允许的软件运行内存

## 启动运行es ##

> 启动命令  
> cd /opt/es/elasticsearch-6.3.1/bin/  
> ./elasticsearch  
> 如果报root权限不能启动，则新建一个普通linux用户，然后切换到普通用户再执行命令启动即可  
> ![在这里插入图片描述][2019090405300262.png]  
> 如果启动成功，在浏览器输入：http://192.168.0.200:9200/ 【192.168.0.200是虚拟机的访问地址】，看到如下字符串则说明启动成功：

{ 
      "name" : "KgD-wLl",
      "cluster_name" : "elasticsearch",
      "cluster_uuid" : "pMl_T6SdSSq55G4nGtuP6w",
      "version" : { 
        "number" : "6.3.1",
        "build_flavor" : "default",
        "build_type" : "tar",
        "build_hash" : "eb782d0",
        "build_date" : "2018-06-29T21:59:26.107521Z",
        "build_snapshot" : false,
        "lucene_version" : "7.3.1",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }

一个index相当于库，type–是表，document—行数据，field相当于字段  
node是es（elasearch）的实例，

nohup 控制台将(忽略的)日志信息输出到nohup.out

mysql是tcp协议  
es是http协议

## 安装并启动kibana数据可视化工具 ##

> Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。  
> 你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。  
> 你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。  
> Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。【就是一个数据可视化工具】

编辑kibana的配置文件 ，更改其es的连接地址  
vim /opt/es/kibana-6.3.1-linux-x86\_64/config/kibana.yml  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 2]

> cd /opt/es/kibana-6.3.1-linux-x86\_64/bin  
> nohup ./kibana &  
> 然后ctrl+c退出  
> 执行 ps -ef |grep node  
> 浏览器输入：http://192.168.0.200:5601/status 查看是否启动成功

![在这里插入图片描述][20190904155635995.png]  
http://192.168.0.200:5601/app/kibana  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 3]

## 安装IK中文分词器 ##

![在这里插入图片描述][20200131200032967.png]  
![在这里插入图片描述][20200131200123980.png]  
GET \_analyze  
\{  
“analyzer”: “ik\_smart”,  
“text”: \[“我是中国人”\]  
\}

红海

# elasticsearch #

es有哪些索引：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 4]  
rdbms关系型数据库管理系统

es中的数据存储方式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 5]

# es增删改查命令 #

put/delete/update/get

GET _cat/indices
    #增
    put lmj
    ##既可以增，又可以覆盖
    PUT /movie_index/movie/1
    {  "id":1,
      "name":"红海拯救",
      "doubanScore":8.5,
      "actorList":[  
    { "id":1,"name":"zhang yi"},
    { "id":2,"name":"hai qing"},
    { "id":3,"name":"zhang han yu"}
    ]
    }
    PUT /movie_index/movie/2
    { 
      "id":2,
      "name":"湄公河",
      "doubanScore":8.0,
      "actorList":[  
    { "id":3,"name":"zhang han yu"}
    ]
    }
    
    PUT /movie_index/movie/3
    { 
      "id":3,
      "name":"红海事件",
      "doubanScore":5.0,
      "actorList":[  
    { "id":4,"name":"zhang chen"}
    ]
    }
    # 查
    GET movie_index/movie/_search
    { 
      "query":{ 
        "match":{ "name":"red"}
      }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 6]

# 相关性算分 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 7]  
搜索出来的结果和关键词的相关性的分数的计算公式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][20200131201428139.png]

# 集群配置 #

[ElasticSearch5.6.1配置文件elasticsearch.yml详解][ElasticSearch5.6.1_elasticsearch.yml]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 10]  
vim /opt/es/elasticsearch-6.3.1/config/elasticsearch.yml

cluster.name: aubin-cluster
    node.name: es
    node.master: true
    node.data: true
    path.data: /opt/data
    path.logs: /opt/logs
    network.host: 192.168.0.200
    http.port: 9200
    transport.tcp.port: 9300 # 对外提供的端口
    discovery.zen.ping.unicast.hosts: ["192.168.0.201"]
    discovery.zen.minimum_master_nodes: 2

鸡蛋不能放在同一篮子里。mysql的主从复值，abcd篮子的鸡蛋是完全一样【b完全复值一次a】

mysql是一筐鸡蛋完全复值一份装在另一框里面  
es是一筐鸡蛋，分别放在几个篮子里装。然后几个篮子里的鸡蛋在各自篮子里再分片(即自我复值一份)，handoop也是一样的，这样可以提高集群的容错率（防止硬件故障导致的数据丢失）。固有主分片和副分片的差别

主分片的数量只能在索引定义时确定  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 11]  
主分片都是负责指导分发任务

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][20200203070606691.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 13]  
平时是按照热度来进行搜索排序

# long/integer转string ： #

> 1+""

这样就可以了

[Elasticsearch]: https://blog.csdn.net/weixin_39819880/article/details/82083034
[elasticsearch]: https://blog.csdn.net/aisemi/article/details/80212836
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200131105407743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20190903221701664.png]: https://img-blog.csdnimg.cn/20190903221701664.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190903223419140.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20190903223934314.png]: https://img-blog.csdnimg.cn/20190903223934314.png
[2019090322493612.png]: https://img-blog.csdnimg.cn/2019090322493612.png
[2019090405211129.png]: https://img-blog.csdnimg.cn/2019090405211129.png
[2019090405300262.png]: https://img-blog.csdnimg.cn/2019090405300262.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190904155147167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20190904155635995.png]: https://img-blog.csdnimg.cn/20190904155635995.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190904155817337.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20200131200032967.png]: https://img-blog.csdnimg.cn/20200131200032967.png
[20200131200123980.png]: https://img-blog.csdnimg.cn/20200131200123980.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200131191411595.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200131191834626.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200131194656569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200131200504316.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200131201354993.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20200131201428139.png]: https://img-blog.csdnimg.cn/20200131201428139.png
[ElasticSearch5.6.1_elasticsearch.yml]: https://blog.csdn.net/deliciousion/article/details/78072230
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200202170741317.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200202170810805.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200202180912307.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200202183324775.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70
[20200203070606691.png]: https://img-blog.csdnimg.cn/20200203070606691.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200203071319252.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx,size_16,color_FFFFFF,t_70