Graylog 4 离线安装一步一步验证的很稳健

叁歲伎倆 2022-08-29 12:53 866阅读 0赞

### 文章目录 ###

*   *  Graylog 离线安装
     *  Garylog简介
     *   *  Garylog平台相关组件简介
         *  Garylog和ELK对比
     *  部署
     *  整体环境
     *   *  版本问题
         *  Elasticsearch安装
         *  MongoDB安装
         *  Graylog安装
     *  Elasticsearch相关
     *   *  前言
         *  文件描述符
         *  虚拟内存
         *  线程数
         *  配置
         *  允许外网访问

## Graylog 离线安装 ##

官网地址：[https://docs.graylog.org/en/4.1/pages/getting\_started.html][https_docs.graylog.org_en_4.1_pages_getting_started.html]

下载地址：[https://docs.graylog.org/en/4.1/pages/getting\_started/download\_install.html][https_docs.graylog.org_en_4.1_pages_getting_started_download_install.html]

## Garylog简介 ##

### Garylog平台相关组件简介 ###

*  Graylog-server：Graylog**接收来自后端各种应用程序的日志**并**提供Web页面**
 *  Graylog Collector Sidecar：负责收集应用程序日志并发送至Graylog-server
 *  Elasticsearch：用于索引和保存接收到的日志，性能依赖内存及硬盘IO
 *  MongoDB：负责保存 Graylog 自身的配置信息，负载不高
 *  GeoIP\_CityDatabase：通过Graylog来分析Ngnix日志，获取访问者IP，然后使用GeoIP2数据库分析IP的地理位置

### Garylog和ELK对比 ###

**整体架构对比**:

*  Graylog：Graylog Collector Sidecar -> Graylog Server(封装ElstaicSearch) -> Graylog Web
 *  ELK：Logstash -> ElasticSearch -> Kibana

**Graylog优点**：

*  部署维护简单，上手难度小，一体化解决方案
 *  对比ES的json语法，搜索语法相对简单，搜索结果可高亮显示
 *  内置简单告警可以通过网页API或邮件提醒
 *  可直接导出搜索json文件，方便开发调用rest api的搜索脚本

## 部署 ##

## 整体环境 ##

*  Centos7 查看操作系统 *cat /etc/redhat-release*
 *  JDK1.8（自行安装）

### 版本问题 ###

**Graylog4.1，其依赖如下**

*  Java ( >= 8 )
 *  Elasticsearch（6.x 或 7.x）
 *  MongoDB（4.0、4.2 或 4.4）

> 不要将 Elasticsearch 安装或升级到 7.11 及更高版本！

### Elasticsearch安装 ###

下载地址：

*  最新版本：[https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]
 *  历史版本：[https://www.elastic.co/cn/downloads/past-releases\#elasticsearch][https_www.elastic.co_cn_downloads_past-releases_elasticsearch]

在历史页面选择了6.x版本下载的rpm包

*  [https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-8-17][https_www.elastic.co_cn_downloads_past-releases_elasticsearch-6-8-17]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70_pic_center][]

**1.安装**：`rpm -ivh elasticsearch-6.8.17.rpm`

**2.修改配置文件**：安装完毕之后，编辑`vim /etc/elasticsearch/elasticsearch.yml`，确保如下内容改动如下：

cluster.name: graylog 
    action.auto_create_index: false

**建议直接使用命令如下：**

tee -a /etc/elasticsearch/elasticsearch.yml > /dev/null <<EOT cluster.name: graylog action.auto_create_index: false EOT

**3.启动服务**：修改配置后，执行如下命令，启动服务并设置为自动启动：

systemctl daemon-reload
    systemctl enable elasticsearch.service
    systemctl restart elasticsearch.service

**4.查看启动状态**

systemctl status elasticsearch.service

**验证**：`curl http://localhost:9200`

{ 
      "name" : "SoyWBKD",
      "cluster_name" : "graylog",
      "cluster_uuid" : "AQfR0V2xRUqTPMf5FTX1tQ",
      "version" : { 
        "number" : "6.8.17",
        "build_flavor" : "default",
        "build_type" : "rpm",
        "build_hash" : "206f6a2",
        "build_date" : "2021-07-01T18:51:20.391869Z",
        "build_snapshot" : false,
        "lucene_version" : "7.7.3",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }

**问题1**

错误日志

Jul 22 14:21:10 localhost.localdomain systemd[1]: Started Elasticsearch.
    Jul 22 14:21:10 localhost.localdomain elasticsearch[16008]: which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)
    Jul 22 14:21:10 localhost.localdomain elasticsearch[16008]: warning: Falling back to java on path. This behavior is deprecated. Specify JAVA_HOME
    Jul 22 14:21:10 localhost.localdomain elasticsearch[16008]: could not find java; set JAVA_HOME
    Jul 22 14:21:10 localhost.localdomain systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE
    Jul 22 14:21:10 localhost.localdomain systemd[1]: Unit elasticsearch.service entered failed state.
    Jul 22 14:21:10 localhost.localdomain systemd[1]: elasticsearch.service failed.

**解决**

查看java安装位置

which java

建立软连接

ln -s /usr/local/java/jdk1.8.0_121/bin/java /usr/bin/java

**问题2**

错误日志

the [action.auto_create_index] setting value [false] is too restrictive. disable [action.auto_create_index] or set it to [.watches,.triggered_watches,.watcher-history-*]

从这个意思可以看出，这是说直接这样配置限制性太强了，因此不可以这样配置，应该禁用该属性，或者采用黑白名单列表，例如，设置action.autocreateindex 为 +aaa,-bbb,+ccc,-（ +表示允许，-表示不允许，这里表示以aaa或者ccc开始index可以自动创建，以bbb或者其他字符开始的index不可以自动创建）。例如，在elasticsearch.yml中添加如下配置：

action.auto_create_index: .watches,.triggered_watches,.watcher-history-*

### MongoDB安装 ###

*  下载地址：[https://docs.mongodb.com/manual/administration/install-on-linux/][https_docs.mongodb.com_manual_administration_install-on-linux]
 *  4.2版本下载地址：[https://docs.mongodb.com/v4.2/administration/install-on-linux/][https_docs.mongodb.com_v4.2_administration_install-on-linux]

**下载具体地址**：[https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.2/x86\_64/RPMS/][https_repo.mongodb.org_yum_redhat_7_mongodb-org_4.2_x86_64_RPMS]

*  mongodb-org-server-4.2.9-1.el7.x86\_64.rpm 安装 mongoDB 的服务端程序
 *  mongodb-org-shell-4.2.9-1.el7.x86\_64.rpm 用命令行连接 mongoDB，则需要安装 shell 程序包
 *  mongodb-org-tools-4.2.9-1.el7.x86\_64.rpm 附加工具，例如数据导入导出，则需要安装 tool 程序包
 *  mongodb-org-mongos-4.2.9-1.el7.x86\_64.rpm 如果要部署集群，则还需要安装 mongos 程序包(**暂时不需要**)

**1.安装**

rpm -ivh mongodb-org-server-4.2.9-1.el7.x86_64.rpm
    rpm -ivh mongodb-org-shell-4.2.9-1.el7.x86_64.rpm
    rpm -ivh mongodb-org-tools-4.2.9-1.el7.x86_64.rpm

**2.启动**：安装完毕之后，执行如下命令，启动服务并设置为自动启动：

systemctl daemon-reload
    systemctl enable mongod.service
    systemctl start mongod.service

**3.查看启动状态**

systemctl status mongod.service

### Graylog安装 ###

**这里是可选的**，如果不用pwgen生成随机的则自己随便写例如`abcdadfkdfs12345...`至少使用 64 个字符。

后面需要pwgen工具，您需要在您的系统上安装[EPEL][]并使用.

> 这里的pwgen随机密码生成**可以在开发环境生成好，复制到生成环境**

*  `sudo yum install epel-release`
 *  `sudo yum install pwgen`

下载地址：[https://packages.graylog2.org/el/stableServer/4.1/x86\_64][https_packages.graylog2.org_el_stableServer_4.1_x86_64]

*  graylog-server
 *  graylog-enterprise-plugins 企业插件、可选、**暂时不需要**
 *  graylog-integrations-plugins 集成插件、可选、**暂时不需要**
 *  graylog-enterprise-integrations-plugins 企业集成插件、可选、**暂时不需要**

如果您不想安装[集成插件][Link 1]或[企业插件][Link 2]，则只需运行`graylog-server`

**1.安装**

rpm -ivh graylog-server-4.1.1-1.noarch.rpm

**2.编辑配置文件**

vim /etc/graylog/server/server.conf

*  **password\_secret** **=** 
    
     *  您必须设置一个用于密码加密和加盐的秘密。如果未设置，服务器将拒绝启动。至少使用 64 个字符。如果您运行多个`graylog-server`节点，请确保`password_secret`对所有节点使用相同的节点！
     *  生成一个，例如 `pwgen -N 1 -s 96`
     *  如果不用pwgen生成随机的则自己随便写例如`abcdadfkdfs12345...`至少使用 64 个字符。
 *  **root\_username** **=** **admin**
    
     *  默认 root 用户名为**admin**。
 *  **root\_password\_sha2** **=** （即 admin的登录密码）
    
     *  您将用于初始登录的密码的 SHA2 哈希值。将此设置为生成的 SHA2 哈希，您将能够使用用户名**admin**和密码**yourpassword**登录到 Web 界面。
        
        `echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1`
     *  您必须为 root 用户指定一个哈希密码（您只需要在最初设置系统时以及在您失去与身份验证后端的连接的情况下）。无法使用 API 或通过 Web 界面更改此密码。如果需要更改，请在此文件中进行修改。
 *  **http\_bind\_address = 127.0.0.1:9000** 改为 **0.0.0.0:9000**，否则外面访问不到。
 *  **root\_timezone** = Asia/Shanghai 时区
 *  **allow\_highlighting** = true 搜索结果高亮（**可选配置**）
 *  **elasticsearch\_hosts** （**可选配置，单机不用管**）  
    Graylog 应连接到的 Elasticsearch 主机列表。
 *  **mongodb\_uri**（**可选配置，单机不用管**）  
    在此处输入您的 MongoDB 连接和身份验证信息。

**3.启动**

systemctl daemon-reload
    systemctl enable graylog-server.service
    systemctl start graylog-server.service

**4.查看状态**

systemctl status  graylog-server.service

其服务端日志在：**/var/log/graylog-server**

**5.浏览器访问**：`http://ip:9000`，用户名**admin**密码是上面设置的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70_pic_center 1][]

## Elasticsearch相关 ##

### 前言 ###

**使用 RPM 或 Debian 软件包时，可以在系统配置文件中指定系统设置和环境变量**，该文件位于：

/etc/sysconfig/elasticsearch

### 文件描述符 ###

Elasticsearch 使用了很多文件描述符或文件句柄。耗尽文件描述符可能是灾难性的，并且很可能会导致数据丢失。确保将运行 Elasticsearch 的用户的打开文件描述符数量限制增加到 65,536 或更高。

对于`.zip`和`.tar.gz`包，[`ulimit -n 65535`][ulimit -n 65535]在启动 Elasticsearch 之前设置为 root，或者设置`nofile`为`65535`in [`/etc/security/limits.conf`][etc_security_limits.conf]。

在 Linux 系统上，可以通过编辑`/etc/security/limits.conf`文件为特定用户设置永久限制。要将用户的最大打开文件数设置`elasticsearch`为 65,535，请将以下行添加到`limits.conf`文件中：

elasticsearch  -  nofile  65535

**RPM 和 Debian 软件包已将文件描述符的最大数量默认为 65535，不需要进一步配置。**

检查每个节点的配置

curl -X GET "localhost:9200/_nodes/stats/process?filter_path=**.max_file_descriptors&pretty"

### 虚拟内存 ###

Elasticsearch[`mmapfs`][mmapfs]默认使用一个目录来存储它的索引。操作系统对 mmap 计数的默认限制可能太低，这可能会导致内存不足异常。

在 Linux 上，您可以通过运行以下命令来增加限制 `root`：

sysctl -w vm.max_map_count=262144

要永久设置此值，请更新 `/etc/sysctl.conf` 中的`vm.max_map_count`设置。要在重新启动后进行验证，请运行`sysctl vm.max_map_count`.

**RPM 和 Debian 软件包将自动配置此设置。无需进一步配置。**

### 线程数 ###

Elasticsearch 使用多个线程池来进行不同类型的操作。重要的是它能够在需要时创建新线程。确保 Elasticsearch 用户可以创建的线程数至少为 4096。

这可以通过[`ulimit -u 4096`][ulimit -n 65535]在启动 Elasticsearch 之前设置为 root来完成，或者设置`nproc`为`4096`in [`/etc/security/limits.conf`][etc_security_limits.conf]。

作为服务运行时的包分发`systemd`将自动配置 Elasticsearch 进程的线程数。不需要额外的配置。

### 配置 ###

配置文件位置\*\*/etc/elasticsearch\*\*

1、max file descriptors \[4096\] for elasticsearch process is too low, increase to at least \[65536\]  
修改/etc/security/limits.conf,增加配置，用户退出后重新登录生效

*               soft    nofile            655350
    *               hard    nofile            655350

2、max number of threads \[3818\] for user \[es\] is too low, increase to at least \[4096\]

修改/etc/security/limits.conf,增加配置，用户退出后重新登录生效

*               hard    nproc           4096
    *               soft    nproc           4096

3、max file descriptors \[65535\] for elasticsearch process is too low, increase to at least \[65536\]

修改/etc/sysctl.conf，增加如下配置

fs.file-max=655350

保存后执行sysctl -p 生效

4、max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]  
修改/etc/sysctl.conf，增加如下配置

vm.max_map_count=262144

保存后执行sysctl -p 生效

### 允许外网访问 ###

vi conf/elasticsearch.yml  
修改 network.host 为 0.0.0.0

network.host: 0.0.0.0

配置cluster.initial\_master\_nodes为当前node，默认为注释，放开注释就行了

cluster.initial_master_nodes: ["node-1", "node-2"]

[https_docs.graylog.org_en_4.1_pages_getting_started.html]: https://docs.graylog.org/en/4.1/pages/getting_started.html
[https_docs.graylog.org_en_4.1_pages_getting_started_download_install.html]: https://docs.graylog.org/en/4.1/pages/getting_started/download_install.html
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[https_www.elastic.co_cn_downloads_past-releases_elasticsearch]: https://www.elastic.co/cn/downloads/past-releases#elasticsearch
[https_www.elastic.co_cn_downloads_past-releases_elasticsearch-6-8-17]: https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-8-17
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/e0255585adf24d0e84c866853613c02c.png
[https_docs.mongodb.com_manual_administration_install-on-linux]: https://docs.mongodb.com/manual/administration/install-on-linux/
[https_docs.mongodb.com_v4.2_administration_install-on-linux]: https://docs.mongodb.com/v4.4/administration/install-on-linux/
[https_repo.mongodb.org_yum_redhat_7_mongodb-org_4.2_x86_64_RPMS]: https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.2/x86_64/RPMS/
[EPEL]: https://fedoraproject.org/wiki/EPEL
[https_packages.graylog2.org_el_stableServer_4.1_x86_64]: https://packages.graylog2.org/el/stableServer/4.1/x86_64
[Link 1]: https://docs.graylog.org/en/4.1/pages/integrations.html#integrations-plugins
[Link 2]: https://docs.graylog.org/en/4.1/pages/enterprise/intro.html#enterprise-features
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220829/b4064f4d38d743ac906e764bfc989b87.png
[ulimit -n 65535]: https://www.elastic.co/guide/en/elasticsearch/reference/6.8/setting-system-settings.html#ulimit
[etc_security_limits.conf]: https://www.elastic.co/guide/en/elasticsearch/reference/6.8/setting-system-settings.html#limits.conf
[mmapfs]: https://www.elastic.co/guide/en/elasticsearch/reference/6.8/index-modules-store.html#mmapfs