ELK概述、 ES集群部署、 ES常用插件、RESTFUL API操作ES 集群

迷南。 2022-02-04 08:59 476阅读 0赞

一、分布式ELK平台

1.1 ELK 简介

1.1.1 什么是ELK

ELK是一套日志管理的解决方案，是一套集中式日志收集系统。

– Elasticsearch:负责日志检索和储存  
– Logstash:负责日志的收集和分析、处理  
– Kibana:负责日志的可视化

1.1.2 ELK 能做什么

ELK组件在海量日志系统的运维中,可用于解决:  
– 分布式日志数据集中式查询和管理  
– 系统监控,包含系统硬件和应用各个组件的监控  
– 故障排查  
– 安全信息和事件管理  
– 报表功能

二、Elasticsearch概述

2.1 Elasticsearch简介

1.ElasticSearch 是一个基于 Lucene 的搜索服务器。  
它提供了一个分布式多用户能力的全文搜索引擎,基  
于 RESTful API 的 web 接口。  
2.Elasticsearch是用Java开发的,并作为Apache许可  
条款下的开放源码发布,是当前流行的企业级搜索引  
擎。设计用于云计算中,能够达到实时搜索,稳定,  
可靠,快速,安装使用方便

2.2 Elasticsearch主要特点

1.实时分析  
2.分布式实时文件存储,并将每一个字段都编入索引  
3.文档导向,所有的对象全部是文档  
4.高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)  
5. 接口友好,支持 JSON

6.Elasticsearch 是一种面向文档的数据库。

2.3 Elasticsearch相关术语

相关概念:  
1. Node: 装有一个 ES 服务器的节点。  
2. Cluster: 有多个Node组成的集群  
3. Document: 一个可被搜素的基础信息单元  
4. Index: 拥有相似特征的文档的集合  
5. Type: 一个索引中可以定义一种或多种类型  
6. Filed: 是 ES 的最小单位,相当于数据的某一列  
7. Shards: 索引的分片,每一个分片就是一个 Shard  
8. Replicas: 索引的拷贝

2.4 ES 与 关系型数据库的类比

1. 在 ES 中,文档归属于一种 类型 (type) ,而这些类型  
存在于索引 (index) 中,类比传统关系型数据库  
2.关系型数据库

DB -> Databases -> Tables -> Rows -> Columns  
– 关系型    数据库          表           行             列

3.Elasticsearch数据库

ES -> Indices -> Types -> Documents -> Fields  
– ES       索引          类型          文档        域(字段)

4.图解ES与DBMS

5.Elasticsearch架构图

三、ES 集群安装

3.1 安装第一台 ES 服务器

1.设置 ip 与主机名称对应关系  
– 配置 /etc/hosts  
192.168.5.11 node1

2.安装 JDK  
– Elasticsearch 要求至少 Java 7  
– 一般推荐使用 OpenJDK 1.8  
– 配置好安装源以后,我们先解决依赖关系  
～\] \# yum install -y java-1.8.0-openjdk

3.安装 ES  
～\] \# rpm -ivh elasticsearch-2.3.4-1.noarch

4. 修改配置文件  
~\]\# vim /etc/elasticsearch/elasticsearch.yml  
network.host: 0.0.0.0

5.启动服务,设置自启动  
～\] \# systemctl enable elasticsearch  
～\] \# systemctl start elasticsearch

6.验证服务是否正常启动

～\] \# netstat –ltunp

～\] \# curl http://192.168.4.11:9200/

3.2 ES集群安装

1.es1~es5 安装JDK8和elasticsearch

~ \] \# yum -y install java-1.8.0-openjdk  elasticsearch

2.es1~es5 集群配置文件

~\]\# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-es     //集群名称配置要求完全一致  
node.name: es1 \[..es5\]  //当前节点标识，配置本机的主机名  
network.host: 0.0.0.0     //本机IP地址  
discovery.zen.ping.unicast.hosts: \["es1", "es2","es3"\]   //集群节点机器,不需要全部配置

3.启动所有节点服务

～\] \# for i in \{1..5\} do ssh es$\{i\} systemctl start elasticsearch done

4.验证集群,使用 ES 内置字段 \_cluster/health

～\] \# curl http://192.168.5.11:9200/\_cluster/health?pretty

四、HTTP 协议简介

4.1 http请求由三部分组成

– 分别是:请求行、消息报头、请求正文  
– 请求行以一个方法符号开头,以空格分开,后面跟着  
请求的URI和协议的版本,格式如下:  
Method Request-URI HTTP-Version CRLF

4.2 http请求方法

– 常用方法 GET, POST, HEAD  
– 其他方法 OPTIONS, PUT, DELETE, TRACE 和CONNECT

4.3 RESTFUL请求中哪些是幂等操作

POST   --POST不是幂等操作，因为多次请求会产生不同的结果，因此POST不是幂等操作

DELETE  -- DELETE是幂等操作，第一次将资源删除后，后面多次进行此删除请求，最终结果是一样的。

PUT      -- PUT是幂等性，将A修改为B，它第一次请求值变为了B，再进行多次此操作，最终的结果还是B，与一次执行的结果是              一样的。

GET      --GET是幂等操作，第一次请求与多次请求得到的查询结果是一样的。

4.4 系统命令 curl

在linux中curl是一个利用URL规则在命令行下工作的  
文件传输工具,可以说是一款很强大的http命令行工  
具。它支持多种请求模式,自定义请求 头等强大功  
能,是一款综合工具

curl 常用参数介绍  
– -A 修改请求 agent  
– -X 设置请求方法  
– -i 显示返回头信息

五、ES 插件的安装与使用

5.1 ES 常用插件

5.1.1  head 插件

1. 它展现ES集群的拓扑结构,并且可以通过它来进行索  
引(Index)和节点(Node)级别的操作  
2. 它提供一组针对集群的查询API,并将结果以json和表  
格形式返回  
3. 它提供一些快捷菜单,用以展现集群的各种状态

5.1.2 kopf 插件

1. 是一个ElasticSearch的管理工具  
2. 它提供了对ES集群操作的API

5.1.3 bigdesk 插件

1.bigdesk是elasticsearch的一个集群监控工具  
2.可以通过它来查看es集群的各种状态,如:cpu、内存  
使用情况,索引数据、搜索情况,http连接数等

5.2 插件安装、查看

5.2.1 插件安装

elk软件包下载地址：elk.zip

/usr/share/elasticsearch/bin/plugin install ftp://192.168.1.254/public/bigdesk-master.zip  
/usr/share/elasticsearch/bin/plugin install ftp://192.168.1.254/public/elasticsearch-head-master.zip  
/usr/share/elasticsearch/bin/plugin install ftp://192.168.1.254/public/elasticsearch-kopf-master.zip

5.2.2 查看安装的插件

/usr/share/elasticsearch/bin/plugin list

5.2.3 插件压缩包的路径要通过url的方式指定

这里必须使用 url 的方式进行安装,如果文件在本地,我们也需要使用 file:// 的方式指定路径,例如文件在  
/tmp/xxx 下面,我们要写成 file:///tmp/xxx 删除使用 remove 指令

5.2.4 访问head、kopf、desk 插件web页面

1.ES HEAD插件   【通过它来进行索引(Index)和节点(Node)级别的操作】

http://192.168.5.15:9200/\_plugin/head/

2. ES KOPF插件

http://192.168.5.15:9200/\_plugin/kopf

3.ES bigdesk 插件   【查看集群状态】

http://192.168.5.15:9200/\_plugin/bigdesk/

六、RESTful API操作ES集群

6.1 Elasticsearch提供了一系列RESTful的API主要实现的功能

1.检查集群、节点、索引的健康度、状态和统计  
2. 管理集群、节点、索引的数据及元数据  
3. 对索引进行CRUD操作及查询操作  
4. 执行其他高级操作如分页、排序、过滤等

6.2 Rest API 的简单使用

– v 参数显示详细信息  
http://192.168.4.15:9200/\_cat/health?v  
– help 显示帮助信息  
http://192.168.4.15:9200/\_cat/health?help

– nodes 查询节点状态信息  
http://192.168.4.15:9200/\_cat/nodes?v  
– 索引信息  
http://192.168.4.15:9200/\_cat/indices?v

6.3 RESTful API增删改查的使用

6.3.1 创建索引

curl -XPUT 'http://192.168.1.13:9200/tedu/' -d \\  
'\{  
    "settings":\{  
        "index":\{  
            "number\_of\_shards": 5,  
            "number\_of\_replicas": 1  
        \}  
    \}  
\}'

6.3.2 增加数据 PUT

curl -XPUT "http://192.168.1.11:9200/nsd1804/teacher/2" -d \\  
'\{  
  "title": "dog",  
  "name": \{"first":"huang", "last":"a"\},  
  "age":2  
\}'

6.3.3 更改数据 POST

curl -XPOST "http://192.168.1.15:9200/nsd1804/teacher/3/\_update" -d \\  
'\{  
  "doc": \{ "age":18 \}  
\}'

6.3.4 查询与删除数据

～\] \# curl -XGET    "http://192.168.1.14:9200/nsd1804/teacher/1?pretty"  
～\] \# curl -XDELETE "http://192.168.1.14:9200/nsd1804/teacher/1?pretty