Windows上搭建Elasticsearch+Logstash+jdbc+Kibana

深藏阁楼爱情的钟 2022-05-17 00:23 217阅读 0赞

### [ELK介绍][ELK] ###

ElasticSearch：是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。

--------------------

Logstash： 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。）

--------------------

Kibana：是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。可以让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。

--------------------

jdbc：JDBC（Java DataBase Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。  
在这里我们主要为了使用jdbc将mysql数据库的数据同步到ElasticSearch里面。

### ELK搭建 ###

**官网：[https://www.elastic.co][ELK]**  
Linux上搭建就不多说了，自我感觉比起Windows容易太多太多了。WIndows真的是让人。。。当然Mac也是舒服的一批，开发尽量上个Mac比较好。  
本次搭建介绍：

系统：Windows7-64位
    Elasticsearch：6.3.1
    Logstash：6.3.1
    Kibana：6.3.1
    其实，官方已经表明，安装的版本要配套，所以安装的时候各个安装项版本要对应。

1.  **Elasticsearch安装**  
    进入官网点击导航栏产品按钮 选择Elasticsearch  
    ![这里写图片描述][70]  
    然后点击Download下载选择不同的包下载。当然，windows推荐使用MSI（BEAT）包下载安装图形界面安装。  
    ![这里写图片描述][70 1]  
    ![这里写图片描述][70 2]  
    官方版本也在不断更新，所以你看到的可能是6.3.2.无伤大雅，如果你依然想安装我这个6.3.1的话，可以选择这个版本进行安装。点击查看过去版本，然后找寻你想要安装的版本包：  
    ![这里写图片描述][70 3]  
    ![这里写图片描述][70 4]  
    如果你在官网下载的慢的话，我在这里提供一下6.3.1的MSI安装包：  
    [elasticsearch-6.3.1.msi][]密码：n8az  
    OK，现在可以安装了，但是有一点，安装ES的前提是你必须安装了JAVA，并且就我的安装过程和百度后的结果，JAVA版本不要超过1.8，可以下载个1.8的。我在这也提供一下JAVA包：  
    [jdk-8u171-windows-x64.exe][]密码：p3at  
    java安装后可以在cmd中查看下：  
    ![这里写图片描述][70 5]  
    安装：  
    点击运行下载elasticsearch-6.3.1.msi，然后一直往下走就行了，因为我已经安装过了，就不在这里演示了，如果你出现什么问题可以留言。**比如我安装完成后：D:\\Elasticsearch，同级还有配置config文件夹，data文件夹，日志logs文件夹，这些都是安装过程中配置的。**  
    ![这里写图片描述][70 6]  
    现在已经安装完成，**进入到：D:\\Elasticsearch\\elasticsearch6.3.1\\6.3.1\\bin目录，请注意你的安装目录可能与我的不同**在该目录下启动cmd，执行elasticsearch.exe,不过采用MSI安装的完成后该服务已经启动，并且如果你勾选了开机启动项，每次开机自启动，如下：  
    已经在运行中，这时候，在浏览器输入：**localhost:9200**  
    ![这里写图片描述][70 7]  
    出现以上界面，说明Elasticsearch安装并且启动运行成功。
    
    **2. Logstash安装**  
    Logstash的安装就比较简单了，和Elasticsearch安装类似，先找到对应版本 ，以6.3.1为例：  
    ![这里写图片描述][70 8]  
    ![这里写图片描述][70 9]  
    目前是6.3.2，点击查看其它版本  
    ![这里写图片描述][70 10]  
    ![这里写图片描述][70 11]  
    安装：  
    下载后将Logstash.zip包放在Elasticsearch文件夹下（个人建议，你也可以放在其他地方）  
    然后解压即可，如下：  
    ![这里写图片描述][70 12]  
    到这里，这一步暂时完成，Logstash看名字就知道是一个日志管理分析的工具，我门安装这个是为了接下来的将mysql数据导入Elasticsearch中。所以这个地方关于Logstash的知识可以自行百度，不做过多介绍。
    
    **3. Kibana安装**  
    Kibana是个搭配Elasticsearch使用的可视化平台，非常有必要安装学习。步骤同上，直接上图了（**还是以6.3.1为例**）：  
    ![这里写图片描述][70 13]  
    ![这里写图片描述][70 14]  
    ![这里写图片描述][70 15]  
    ![这里写图片描述][70 16]  
    ![这里写图片描述][70 17]  
    下载后，以我的为例，我将包放在：D:\\Kibana，然后解压：  
    ![这里写图片描述][70 18]  
    然后进入到：**D:\\Kibana\\kibana-6.3.1-windows-x86\_64\\bin**  
    **在该目录下进入cmd，执行：kibana.bat**，如下：  
    ![这里写图片描述][70 19]  
    很好，现在打开浏览器，输入：**localhost:5601**  
    ![这里写图片描述][70 20]  
    这个Kibana可视化平台真的是个很舒服的工具，功能很多这里只介绍了一个联系命令，执行命令的工具，你可以在这个地方联系ES语法，更多的可以到官方查阅手册或者百度一些相关帖子看看。
    
    **4. jdbc导入Mysql数据**  
    下面就要使用Logstash-jdbc将Mysql数据库的数据导入进ES中，然后进行数据分析，统计，查询等等需求。  
    以我的安装目录为例，你在使用的时候注意：  
    **4.1.在Logstash安装目录的bin目录下新建文件夹：mysql-lib（名字随意，自己理解就好），我的Logstash包放在ES里面，你的一定要注意位置。**  
    ![这里写图片描述][70 21]  
    **4.2.在该目录下放置mysql-connector-java-5.1.46.jar包，目的：帮助mysql与其他平台连接，这个包也是换了几个版本，高版本不能使用，切记，很多地方要积分，我在这里免费共享一下。**  
    [mysql-connector-java-5.1.46.jar][] 密码：zph6  
    **4.3.编写导入配置文件，在D:\\Elasticsearch\\logstash-6.3.1\\bin目录下创建mysql.conf文件，这个我刚做了个小测试，把示例贴出来：mysql.conf(名字自定义，注意配置的时候不要搞错)**
    
        #注意，注意：路径信息一定看清楚
        
        input {
        stdin {
        }
        jdbc {
          # mysql jdbc connection string to our backup databse
          jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/funcore"
          # the user we wish to excute our statement as
          jdbc_user => "root"
          jdbc_password => "root"
          # the path to our downloaded jdbc driver
          jdbc_driver_library => "D:\Elasticsearch\logstash-6.3.1\bin\mysql-lib\mysql-connector-java-5.1.46.jar"
          # the name of the driver class for mysql
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
          statement_filepath => "D:\Elasticsearch\logstash-6.3.1\bin\jdbc.sql"
          schedule => "* * * * *"  #这是进行更新的定时任务计划，有增量更新和全量更新
          type => "jdbc"
        }
        }
        filter {
        json {
            source => "message"
            remove_field => ["message"]
        }
        }
        output {
        elasticsearch {
            hosts => ["127.0.0.1:9200"] #ES的IP和端口
            index => "mysql6" #导入后ES中的节点名称，类似数据库名称
            document_id => "%{id}" 
        }
        stdout {
            codec => json_lines
        }
        }
    
    **4.4.编写sql导入文件，就是你的sql语句，要往ES中导入哪些数据，在D:\\Elasticsearch\\logstash-6.3.1\\bin目录下创建jdbc.sql文件，来个简单的例子:jdbc.sql**
    
        SELECT * FROM cms_news_es
    
    **4.5.然后在bin目录下进入cmd中，执行：logstash -f mysql.conf 等待导入：**  
    先附上我的数据表吧，简单的测试数据  
    ![这里写图片描述][70 22]  
    然后cmd中执行成功后，会看到如下界面:  
    OK,到此已经完成了数据导入。如果你不信的话，可以在Kibana中用命令查询一下：  
    ![这里写图片描述][70 23]

**注意，注意：在这儿步骤执行完成以后，你会发现。cmd中还在一直运行，不断的去导入数据，这就是因为上面我们的定时计划任务是每时每刻的。你可以修改定时任务，并且，这个是全量更新，总的来说，全量更新在第一次进行数据导入的时候比较适用，后面就需要增量更新，只需要更新导入新增加的或者改动的数据。这个地方又有一个问题出现了，如果数据库中进行了数据删除怎么办，额。。。。。。这个需要些额外的程序来实现增量更新，可以私下百度下。**

**4.6.这一步是在Kibana中配置节点，然后可以利用Kibana进行数据统计分析等。**  
![这里写图片描述][70 24]  
创建新的节点模式  
![这里写图片描述][70 25]  
这里显示ES中已存在的节点列表  
![这里写图片描述][70 26]  
![这里写图片描述][70 27]  
![这里写图片描述][70 28]  
以上步骤完成后，可以来到这个地方查看：  
![这里写图片描述][70 29]  
你也可以利用可视化视图进行数据分析：  
![这里写图片描述][70 30]  
因为数据比较少，所以生成的图比较尴尬。。。。  
![这里写图片描述][70 31]

好了，到此，这个ELK基础的搭建和使用完成了，当然还有很多没有介绍到的地方，我在下面推荐几个学习的社区或者博客。有兴趣的可以深入学习。

--------------------

Elasticsearch官网：[https://www.elastic.co][ELK]

Elasticsearch中文社区：[https://elasticsearch.cn][https_elasticsearch.cn]

Elasticsearch专家-铭毅天下博客：[https://blog.csdn.net/laoyang360][https_blog.csdn.net_laoyang360]

Elasticsearch权威指南（中文版）：[https://es.xiaoleilu.com][https_es.xiaoleilu.com]

[ELK]: https://www.elastic.co
[70]: /images/20220517/a60c7eb85d254e709dde61e3ec49354d.png
[70 1]: /images/20220517/7dfa05a0d5b8420abfc42607fe7c4c2c.png
[70 2]: /images/20220517/64e85c5feb1145eb94d5b4042423a2f8.png
[70 3]: /images/20220517/1cb81f3ec5bf4bf5837ac4b0264339b8.png
[70 4]: /images/20220517/87b8cfd33eb94bc8a494f13541ea0569.png
[elasticsearch-6.3.1.msi]: https://pan.baidu.com/s/1YNOO4wZXYk5Dtd2lnn5rdA
[jdk-8u171-windows-x64.exe]: https://pan.baidu.com/s/1VIJkBQ92kTTy6eTARG2oOA
[70 5]: /images/20220517/58e6bee3240648fe8e947a79adcc4d0f.png
[70 6]: /images/20220517/b989cb11696c41dc80fc9c4d18543931.png
[70 7]: /images/20220517/9ea0e853781a4a99b15669dc831f55ba.png
[70 8]: /images/20220517/f4c41d5438d94f6b9e3d90af5417e39a.png
[70 9]: /images/20220517/ae2720cedd9249b081e3f0574306d236.png
[70 10]: /images/20220517/894571ddaa7b4477941ee63fdfadec83.png
[70 11]: /images/20220517/1d21c5f4922d429284208b8d4db1875e.png
[70 12]: /images/20220517/1db0fd97b43f40669876219f3f168e9b.png
[70 13]: /images/20220517/b709c60f33e94833b46989fd14cffd31.png
[70 14]: /images/20220517/440f17655ce844bcb2fe8b8023fd9359.png
[70 15]: /images/20220517/92c7e53d95c44852a186cde3e67f57a1.png
[70 16]: /images/20220517/f6a54e1dc1d74174b040065f5821a83f.png
[70 17]: /images/20220517/911989e1ffe6442a94a6a47b2e259361.png
[70 18]: /images/20220517/6dce8135f373407899e6f95be72d13f1.png
[70 19]: /images/20220517/633dec0615da48579ab0ecfe1cc17e45.png
[70 20]: /images/20220517/c2561a1e27594e419bf2e0b9a13aaa1b.png
[70 21]: /images/20220517/8dbfa95321874fa69455b3d63fd86023.png
[mysql-connector-java-5.1.46.jar]: https://pan.baidu.com/s/16klIpK055BhKrBc5QiNllw
[70 22]: /images/20220517/69b900b722a047f4aef932150e78cc42.png
[70 23]: /images/20220517/5bb5c78326874625a1cf8fd53039e336.png
[70 24]: /images/20220517/eb47437d83f04c929f0b7e50ff709831.png
[70 25]: /images/20220517/946896e618e142b5a51f19f811744814.png
[70 26]: /images/20220517/ea54e534317e4306ab985fee5a2f563d.png
[70 27]: /images/20220517/b9d0ea7a86694ab980af7cd9caea812c.png
[70 28]: /images/20220517/d2a25ac3fcfa4f62a11190f594484df0.png
[70 29]: /images/20220517/9cff1118b5434a1e9a22333c51cb5c82.png
[70 30]: /images/20220517/bb921b34357c4a67afb3e9c7f0a43009.png
[70 31]: /images/20220517/83bc66b2f04f40fc99fb71577a9f091d.png
[https_elasticsearch.cn]: https://elasticsearch.cn
[https_blog.csdn.net_laoyang360]: https://blog.csdn.net/laoyang360
[https_es.xiaoleilu.com]: https://es.xiaoleilu.com