ELK第一篇:Elasticsearch安装

绝地灬酷狼 2022-06-05 11:53 252阅读 0赞

# 简介 #

ElasticSearch（简称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。和Apache Solr一样，它也是基于Lucence的索引服务器，而ElasticSearch对比Solr的优点在于：

*  轻量级：安装启动方便，下载文件之后一条命令就可以启动。
 *  Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构。
 *  多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置。
 *  分布式：Solr Cloud的配置比较复杂。

大事件：  
2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。

近年ElasticSearch发展迅猛，已经超越了其最初的纯搜索引擎的角色，现在已经增加了数据聚合分析（aggregation）和可视化的特性，如果你有数百万的文档需要通过关键词进行定位时，ElasticSearch肯定是最佳选择。当然，如果你的文档是JSON的，你也可以把ElasticSearch当作一种“NoSQL数据库”， 应用ElasticSearch数据聚合分析（aggregation）的特性，针对数据进行多维度的分析。

ElasticSearch一些国内外的优秀案例：

*  Github：“GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”。
 *  SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”。
 *  百度：百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据。

# 准备 #

JDK和环境变量必装，需要先下载JDK 1.7以上的版本，对于2.0来说，要求JDK1.8以上。  
Elasticsearch下载安装包：[https://www.elastic.co/downloads/elasticsearch][https_www.elastic.co_downloads_elasticsearch]

可以在MAC,WINDOWS和linunx环境安装

本文环境：centos7.0,jdk1.8.03,Elasticsearch6.0

# 安装 #

## 下载并解压 ##

1.Download and unzip Elasticsearch

[root@localhost elasticsearch-6.0.0]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
    tar -xvf elasticsearch-6.0.0.tar.gz

Note

> Elasticsearch can also be installed from our package repositories using apt or yum, or installed on Windows using an MSI installer package. See Repositories in the Guide.  
> 也可以使用yum安装，或者在windows下使用msi安装

### 目录结构 ###

home—这是Elasticsearch解压的目录  
　　bin—这里面是ES启动的脚本  
　　conf—elasticsearch.yml为ES的配置文件  
　　data—这里是ES得当前节点的分片的数据，可以直接拷贝到其他的节点进行使用  
　　logs—日志文件  
　　plugins—这里存放一些常用的插件，如果有一切额外的插件，可以放在这里使用。

## centos下创建用户并配置文件权限 ##

创建一个工作组为 elsearch用户名为els的用户，默认密码为123456  
并把该文件下所有权赋予该账号

groupadd elsearch
    [root@localhost elasticsearch-6.0.0]# useradd els -g elsearch -p 123456
    [root@localhost elasticsearch-6.0.0]# chown -R els:elasticsearch  elasticsearch-6.0.0

## 修改系统配置 ##

以下修改都使用root权限

### limits.conf ###

vi /etc/security/limits.conf

添加如下内容到文件末尾

*               soft    nofilee   65536
    *               hard    nofile    131072
    *               soft    nproc     2048
    *               hard    nproc     4096

### \*-nproc.conf ###

这里你需查看系统生成的文件名是什么（每个系统生成的数字各不一样），可以看到我这里是20-nproc.conf，然后编辑它

ls /etc/security/limits.d/
    20-nproc.conf
    vi /etc/security/limits.d/20-nproc.conf

添加如下内容：

soft nproc 2048

如果你的文件里面本身已经有了这个配置，如果比2048小则修改为2048否则不变

\#\#\#sysctl.conf

vi /etc/sysctl.conf

添加下面配置：

vm.max_map_count=655360

并执行命令：

sysctl -p

\#\#\#elasticsearch.yml  
修改elasticsearch绑定的IP地址

vi config/elasticsearch.yml

找到Network相关的配置天添加如下内容，IP修改为你自己的IP

network.host: 192.168.0.91

注：如果你是配置的计算机访127.0.0.1则不需要修改，否则如果是其他计算机浏览器打开则无法访问的到，因为它默认绑定的ip是127.0.0.1

## 后台运行 ##

3 Run bin/elasticsearch (or bin\\elasticsearch.bat on Windows)  
运行elasticsearch  
切换账号到els

su els
    bin/elasticsearch

Run curl [http://localhost:9200/][http_localhost_9200] or Invoke-RestMethod [http://localhost:9200][http_localhost_9200 1] with PowerShell  
浏览器打开如上地址，如果你使用内网或者公网ip访问则需要修改它的绑定地址，因为它默认绑定的ip是127.0.0.1

当我们ctrl+c它就停止运行了  
使用如下命令

./elasticsearch -d

若是es的后台运行，则用kill -9 进程号来停止。

$ jps
    24105 Jps
    24060 Elasticsearch
    kill -9 24060

# 说下遇到的坑 #

## 解决linux下root运行Elasticsearch异常 ##

在CentOS 7.0 上运行Elasticsearch 6.0,异常如下：

[2017-11-27T11:33:58,909][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] []                                                                                                              uncaught exception in thread [main]
    org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can no                                                                                                             t run elasticsearch as root
            at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:134                                                                                                             ) ~[elasticsearch-6.0.0.jar:6.0.0]

异常描述为不能以root权限运行Elasticsearch.

解决办法是创建一个工作组为 elsearch用户名为els的用户，默认密码为123456  
并把该文件下所有权赋予该账号

groupadd elsearch
    [root@localhost elasticsearch-6.0.0]# useradd els -g elsearch -p 123456
    [root@localhost elasticsearch-6.0.0]# chown -R els:elasticsearch  elasticsearch-6.0.0

切换账号到els

su els

运行bin/elasticsearch

## ERROR: bootstrap checks failed ##

ERROR: [2] bootstrap checks failed
    [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
    [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

这个问题是Elasticsearch需要创建大量的线程数和文件数以及mmap的内存容量受到了操作系统配置的限制的最大数量，因此需要手动修改操作系统的相关配置，具体配置参考我上面【修改系统配置】

官方给出的文档说明参考：  
[https://www.elastic.co/guide/en/elasticsearch/reference/master/bootstrap-checks.html][https_www.elastic.co_guide_en_elasticsearch_reference_master_bootstrap-checks.html]  
![这里写图片描述][SouthEast]

# ES windows下一键安装 #

第一步：本机如何安装Java8 环境，请自行baidu.

第二步：安装ElasticSearch

1、从官网下载ElasticSearch，[https://www.elastic.co/downloads/elasticsearch，下载Zip包。][https_www.elastic.co_downloads_elasticsearch_Zip]

我下载的最新版本为:elasticsearch-6.3.2

2、解压到指定目录文件夹中，我这里指定的目录文件夹目录：D:\\elasticsearch。

3、进入elasticsearch解压指定目录，进入bin 文件夹中（D:\\elasticsearch\\elasticsearch-6.3.2\\bin），执行elasticsearch.bat

4、本机启动一个elasticsearch节点，启动后如图所示：  
![在这里插入图片描述][70]

# 其他工具 #

## ES必要的插件IK、Head、kibana ##

必要的Head、kibana、IK（中文分词）、graph等插件的详细安装和使用。  
[http://blog.csdn.net/column/details/deep-elasticsearch.html][http_blog.csdn.net_column_details_deep-elasticsearch.html]

## Windows7下安装head ##

下载head插件这里是最新版本的（2018/10/11日下载）  
[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

这是一个vue项目，因此需要安装node.js进行编译（node.js具体安装过程这里直接跳过，请参看我关于vue环境搭建的篇章）

cd elasticsearch-head
    npm install
    npm run start
    open http://localhost:9100/

如果已经启动es的情况下链接会发现链接不上，浏览器控制台会报如下错误

(index):1 Failed to load [http://localhost:9200/\_cluster/state:][http_localhost_9200_cluster_state] Response to preflight request doesn’t pass access control check: No ‘Access-Control-Allow-Origin’ header is present on the requested resource. Origin ‘[http://localhost:9100][http_localhost_9100]’ is therefore not allowed access.

需要修改一下es使用的参数。编辑D:/elasticsearch-6.4.2/config/config/elasticsearch.yml：

# 增加新的参数，这样head插件可以访问es
    http.cors.enabled: true 
    http.cors.allow-origin: "*"

重新启动即可

## 性能esrally工具（推荐） ##

使用参考：[http://blog.csdn.net/laoyang360/article/details/52155481][http_blog.csdn.net_laoyang360_article_details_52155481]

[https_www.elastic.co_downloads_elasticsearch]: https://www.elastic.co/downloads/elasticsearch
[http_localhost_9200]: http://localhost:9200/
[http_localhost_9200 1]: http://localhost:9200
[https_www.elastic.co_guide_en_elasticsearch_reference_master_bootstrap-checks.html]: https://www.elastic.co/guide/en/elasticsearch/reference/master/bootstrap-checks.html
[SouthEast]: /images/20220605/a437381728224c739bb2a2359c2dd4eb.png
[https_www.elastic.co_downloads_elasticsearch_Zip]: https://www.elastic.co/downloads/elasticsearch%EF%BC%8C%E4%B8%8B%E8%BD%BDZip%E5%8C%85%E3%80%82
[70]: /images/20220605/15643b4d9b7b4e1d93b4a77d799af65d.png
[http_blog.csdn.net_column_details_deep-elasticsearch.html]: http://blog.csdn.net/column/details/deep-elasticsearch.html
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[http_localhost_9200_cluster_state]: http://localhost:9200/_cluster/state:
[http_localhost_9100]: http://localhost:9100
[http_blog.csdn.net_laoyang360_article_details_52155481]: http://blog.csdn.net/laoyang360/article/details/52155481