内网域安全入侵感知系统watchAD

心已赠人 2024-03-31 11:38 51阅读 0赞

#### 一、前言介绍 ####

WatchAD收集所有域控上的事件日志和kerberos流量，通过特征匹配、Kerberos协议分析、历史行为、敏感操作和蜜罐账户等方式来检测各种已知与未知威胁，功能覆盖了大部分目前的常见内网域渗透手法。该项目在360内部上线运行半年有余，发现多起威胁活动，取得了较好的效果。现决定开源系统中基于事件日志的检测部分。

目前支持的具体检测功能如下：

*  信息探测：使用SAMR查询敏感用户组、使用SAMR查询敏感用户、蜜罐账户的活动、PsLoggedOn信息收集
 *  凭证盗取：Kerberoasting (流量)、AS-REP Roasting、远程Dump域控密码
 *  横向移动：账户爆破、显式凭据远程登录、目标域控的远程代码执行、未知文件共享名、Kerberos票据加密方式降级(流量)、异常的Kerberos票据请求(流量)
 *  权限提升：ACL修改、MS17-010攻击检测、新增组策略监控、NTLM 中继检测、基于资源的约束委派权限授予检测、攻击打印机服务 SpoolSample、未知权限提升、MS14-068攻击检测(流量)、Kerberos约束委派滥用(流量)
 *  权限维持：AdminSDHolder对象修改、DCShadow攻击检测、DSRM密码重置、组策略委派权限授予检测、Kerberos约束委派权限授予检测、敏感用户组修改、域控新增系统服务、域控新增计划任务、SIDHistory属性修改、万能钥匙-主动检测、万能钥匙-被动检测(流量)、黄金票据(流量)
 *  防御绕过：事件日志清空、事件日志服务被关闭

> 项目架构简图：
> 
> ![edfef8610fb594c3900c287e7e74c54a.png][]

#### 二、部署服务器端watachAD ####

本次在测试环境中部署，准备了一台centos7 部署服务器端watchAD,另一台centos7部署前端watchAD-web。

1.更新centos7系统(前提已添加yum源，国内建议用阿里云源)

[root@guest yum.repos.d]# yum -y update

![e92904ee95f29edd55637c147a847dfa.png][]

![Image 1][]

2.安装net-tools网络工具

[root@guest yum.repos.d]# yum install net-tools

![63a7e2029dc557600a6fc2ab01a0cd8c.png][]

![Image 1][]

3.安装git命令工具

[root@guest opt]# yum install git -y

![25eb8c843bc6e9f38a39bf184ebf8157.png][]

![Image 1][]

4.从github下载watachAD服务器端源码

[root@guest opt]# git clone https://github.com/0Kee-Team/WatchAD.git

![7bd13a1a5db73e74579a355ca68fa4a3.png][]

![Image 1][]

5.进入WatchAD目录

[root@guest opt]# cd WatchAD/

6.由于该项目需要python3环境运行，需要安装python3以及pip3

[root@guest WatchAD]# yum install -y python36  #安装python3.6

![445347820588ecbefd43b104a7e3ed3a.png][]

![Image 1][]

[root@guest WatchAD]# yum -y install epel-release  #添加源

![efe3b513b04b94170647b3aedb96bdb0.png][]

![Image 1][]

[root@guest WatchAD]# yum install -y python36-setuptools  #安装python tools插件

![c0474c083a855b349ccb7b4625eb170e.png][]

![Image 1][]

[root@guest WatchAD]# yum install -y python36-pip  #安装pip3

![abb09e70c50b552bfa1fb3d54d8f13bd.png][]

![Image 1][]

8.安装项目所需要的python包

[root@guest WatchAD]# pip3 install -r requirements.txt

![95340ae2658bc7a54bab986a29a61cd9.png][]

![Image 1][]

9.安装docker

[root@guest WatchAD]# yum -y install docker     #使用yum安装dokcer

![Image 1][]

systemctl start docker.service  #启动dokcer
    systemctl enable docker.service  #设置为开机自启动

![Image 1][]

10.安装docker-compose

[root@guest WatchAD]# curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose       # 下载docker-compose
     [root@guest WatchAD]#chmod +x /usr/local/bin/docker-compose    # 添加可执行权限 
     [root@guest WatchAD]#docker-compose --versio                # 查看docker-compose版本

![82f1fd5796f18b01a4006a32c7e062d3.png][]

![Image 1][]

11.本地单机一建安全watchAD测试环境

WatchAD需要的数据存储依赖较多，这里推荐使用项目中已经配置好的Docker一键启动脚本.(测试环境可以使用dokcer一建安装，正式环境需要每台服务单独安装)

[root@guest WatchAD]#docker-compose up                   
    #将在本地启动 rabbitmq、logstash、elasticsearch、redis、mongo服务，测试环境最好修改下dokcer-comse的docker-compose.yaml配置文件中所涉及到默认的用户名和密码
    #生产环境部署：WatchAD依赖了rabbitmq、logstash、elasticsearch、redis和mongo，如果你想使用现有的存储服务和MQ等，请直接修改 {project_home}/settings/database_config.py 配置信息，数据管道Logstash的配置可参考 {project_home}/settings/logstash/logstash.conf ，实际的配置需要根据你的架构环境更改。

![Image 1][]

注意：

1.执行以上操作时，需要先打开一命令窗口，运行docker-compose up，把基础数据库环境运行起来，好观察输入日志。如果后期服务稳定了，可以执行docker-compose up -d后台运行。

2.使用docker启动的环境只能用于临时测试，单机可能无法承担较大的数据量。如果需要线上部署，请修改配置\{project\_home\}/settings/database\_config.py将各个服务地址替换为你的实际内网服务地址。

#### 三、部署客服端watchAD agnet ####

1.客服端开启策略审核(域控制器上配置)

我们的分析基础是所有域控的所有事件日志，所以首先需要打开域控上的安全审核选项，让域控记录所有类型的事件日志。这里以 windows server 2008为例，在 本地安全策略 -> 安全设置 -> 本地策略 -> 审核策略，打开所有审核选项：

![1fc7f337a9c363602743e5f6fe3b5529.png][]

2.安装agnet winlogbeat

首先，打开我们提供的配置文件 \{project\_home\}/settings/winlogbeat/winlogbeat.yml ，修改output.logstash 的 hosts字段值为你所安装的LogstashIP和端口(默认5044)

\[root@guest winlogbeat\]\# vi /opt/WatchAD/settings/winlogbeat/winlogbeat.yml \#修改hosts字段中的ip地址

winlogbeat.event_logs:
      - name: Security
      ignore_older: 1h
    
    output.logstash:
      hosts: ["本地IP地址:5044"]

![Image 1][]

3.安装和配置winlogbeat(在域控主机上安装)

前往[下载][Link 1]对应版本的winlogbeat，建议版本为6.2，其它版本的字段可能有变动，存在不兼容的可能性。WatchAD要求下载6.2版本，其下载地址为：[https://artifacts.elastic.co/downloads/beats/winlogbeat/winlogbeat-6.2.0-windows-x86\_64.zip][https_artifacts.elastic.co_downloads_beats_winlogbeat_winlogbeat-6.2.0-windows-x86_64.zip]，

解压之后，使用刚才修改的配置文件 winlogbeat.yml 替换掉原本默认的配置文件 winlogbeat.yml.

![8a83082eed312e50d6b4d0b532d7abef.png][]

接下来按照官网的[教程][Link 2]正常安装即可([https://www.elastic.co/guide/en/beats/winlogbeat/current/winlogbeat-installation.html][Link 2])。

(1).把下载的winlogbeat 6.2压缩包，解压到中C:\\Program Files

(2).将winlogbeat-<version>目录重命名为Winlogbeat

(3).打开安装目录下Winlogbeat目录下的winlogbeat.yml文件，把内容都删除了，然后复制测试服务器上项目watchAD下winlogbat.yml文件覆盖该文件目录下。

![155f16ae02783588bac0c92d7c2b0bf5.png][]

(4).以管理员身份打开PowerShell提示符(右键单击PowerShell图标，然后选择“以管理员身份运行”)

![ddfa85e467d6507e978de1a3586a0f1a.png][]

![Image 1][]

(5).在PowerShell提示符下，运行以下命令以安装服务

PS C:\Users\Administrator> cd  "C:\Program Files\Winlogbeat"
       PS C:\Program Files\Winlogbeat> .\install-service-winlogbeat.ps1

![Image 1][]

(6).如果在系统上禁用了脚本执行，则需要为当前会话设置执行策略以允许脚本运行。例如：

set-executionpolicy remotesigned

![a31ba0b8c7e9ce9613f5e25d3b08fb6e.png][]

![Image 1][]

注意:事件日志并不会在各个域控之间同步，所以我们必须收集所有域控的所有事件日志，否则会产生误报和漏报。

#### 四、初始化watchAD引擎 ####

1.wachchAD的帮助命令：

Usage:  WatchAD.py <options> [settings]
    
    Options:
      -h, --help            显示帮助信息
      --install             执行WatchAD初始化安装，在次之前请确保已完整环境安装和配置。
      -d DOMAIN, --domain=DOMAIN
                            A FQDN domain name of detection.AD服务器的域名
      -s SERVER, --ldap-server=SERVER
                            Server address for LDAP search. e.g: dc01.corp.com，服务器地址，如果域名解析了，可以域名，其实就是AD的全称主机名
      -u USERNAME, --domain-user=USERNAME
                            Username for LDAP search. e.g: CORP\peter，连接AD的账户，格式：域名\\账户或者 域名\账号 
      -p PASSWORD, --domain-passwd=PASSWORD   
                            Password for LDAP search.管理员密码
      --check               检查各个数据库连接状态、消息队列状态
      --start               启动检测引擎
      --restart             重启检测引擎
      --stop                停止引擎 (删除现有消息队列，防止数据量过大造成积压)
      --status              查看当前引擎状态

![388e22ef23120f33f6fa805eb135488b.png][]

![Image 1][]

2.进行初始化安装

python3 WatchAD.py --install -d bks.com  -s dc.bks.com  -u bks\administrator  -p *********

![4eeade026ffa8af12ded6a3688cca409.png][]

![Image 1][]

正常初始化安装成功WatchAD，需要满足以下要求：

(1).所有存储相关的依赖都正确安装和配置

(2).能够访问安装时指定的LDAP Server

(3).supervisor正确安装可使用

(4).正确安装python3.6，且存在 /usr/bin/python3 软连接

3.启动watchAD

python3 WatchAD.py --start

完成之后，会使用supervisor对python进程进行托管，WatchAD的命令行只是对supervisor的命令进行了一个简单封装，引擎的启动关闭本质上是supervisor任务的启动关闭。

![edfb318835b542e7a2b111b7fe242e01.png][]

![Image 1][]

#### 五、部署Web监控端服务WatchAD-web ####

1.下载WatchAD-Web源码

[root@guest opt]# git clone https://github.com/0Kee-Team/WatchAD-Web.git

![bcc9fc1ace1682f38b0964a2ecfbe6e8.png][]

![Image 1][]

2.修改配置

修改连接数据库的配置：修改 WatchAD-web/Server/config/database\_config.py文件中的数据库配置与WatchAD一致;

![aad4fe6350a5e4fa8b3ad6129d5fb4f8.png][]

![Image 1][]

修改前端页面配置：把WatchAD-Web/frontend/.env.production\`和\`WatchAD-Web/frontend/.env.development此文件中的127.0.0.1改为WatchAD-Web所在服务器的IP。我的WatchAD和WatchAD-Web搭建在一个服务器了，所以IP一样。

![2eb38da17d161ff38c53016c48d63141.png][]

![Image 1][]

3.进行编译

进到下载WatchAD-Web目录，执行：docker-compose build，如果上一步的配置有修改或者代码有变动，需要重新执行此命令，下一步的docker-compose up才会对其修改生效

![56578de086f84eb3511425e0c736a690.png][]

![Image 1][]

4.进行安装

执行命令：

docker-compose up -d

![3ff762249eceb57d7899f965cb294f85.png][]

![Image 1][]

启动后，就可以访问WatchAD-Web前端页面了，地址：http://服务器ip/activity\_timeline.html

#### 六、自定义修改 ####

**1.项目结构说明**

WatchAD  		    根目录
    ├─libs                      引用的部分外部库
    ├─models                    封装的数据对象
    ├─modules                   主模块目录
    │  ├─alert        	    告警处理的相关代码
    │  ├─detect        	    威胁检测代码
    │  │  ├─event_log           基于事件日志的检测代码
    │  │  │  ├─ ... ...         分类的检测代码
    │  │  │  └─record           用于记录域内实体的各种活动，不告警
    │  │  └─traffic_kerberos    基于kerberos流量的检测代码(本次不开源，移除)
    │  └─record_handle          分析时用到的其它信息操作文件
    ├─scripts                   安装、定时任务等用到的脚本
    ├─settings                  各种配置文件，获取配置信息的操作文件
    ├─tools                     工具函数
    ├─start.py                  检测引擎启动入口代码
    ├─WatchAD.py                项目主程序入口代码，可进行安装、启动、停止等操作
    └─supervisor.conf           supervisor的配置文件，WatchAD使用它托管进程

2.自定义开发检测模块

WatchAD支持自定义编写添加检测模块，下面用 敏感用户组修改 作为示例来讲解如何编写自定义模块。

(1).新建文件

在目录 \{project\_home\}/modules/detect/event\_log下，按照威胁分类为了六个目录，record目录是用于记录域内实体的相关活动，和告警无关，暂时不用关注。

我们根据当前威胁类别，敏感用户组修改一般用于权限维持添加控制的账户，所以我们在 \{project\_home\}/modules/detect/event\_log/persistence目录下新建文件 ModifySensitiveGroup.py。

(2). 创建检测类

新建了文件之后，首先我们定义一下当前模块需要分析的事件日志ID列表、威胁类别代号、标题 和 简要描述模板。通过测试环境本地复现以及查阅[相关文档][Link 3] ，我们知道往安全组中添加用户会触发 4728、4732、4756三种事件，分别对应不同的范围。威胁类别代号和现有的不重复，且按照分类来定义，比如权限维持是以5开头。简要描述模板用于大致说明威胁活动的情况，其中用\[\]包裹起来的字段名对应后面的告警内容字段，在Web平台显示时会自动替换。

EVENT_ID = [4728, 4732, 4756]
    
    ALERT_CODE = "506"
    TITLE = "Modification of sensitive groups"
    DESC_TEMPLATE = "来自于 [source_ip]([source_workstation]) 使用身份 [source_user_name] 将目标用户 [target_user_name] 添加到了敏感组 [group_name] 中。"

接下来引入DetectBase类，并创建一个和文件名相同的类，继承DetectBase，实现 \_generate\_alert\_doc 和 \_get\_level 方法。

from settings.config import main_config
    from models.Log import Log
    from modules.detect.DetectBase import DetectBase, HIGH_LEVEL
    from tools.common.common import get_cn_from_dn
    
    EVENT_ID = [4728, 4732, 4756]
    
    ALERT_CODE = "506"
    TITLE = "Modification of sensitive groups"
    DESC_TEMPLATE = "来自于 [source_ip]([source_workstation]) 使用身份 [source_user_name] 将目标用户 [target_user_name] 添加到了敏感组 [group_name] 中。"
    
    
    class ModifySensitiveGroup(DetectBase):
        def __init__(self):
            super().__init__(code=ALERT_CODE, title=TITLE, desc=DESC_TEMPLATE)
    
        def run(self, log: Log):
            # 初始化检测模块，必需
            self.init(log=log)
    
            group_name = log.target_info.user_name
            
            # 动态配置的敏感组列表
            sensitive_groups = list(map(lambda x: x["name"], main_config.sensitive_groups))
            # 如果修改的组存在于敏感组中，则告警
            if group_name in sensitive_groups:
                return self._generate_alert_doc()
    
        def _generate_alert_doc(self, **kwargs) -> dict:
            # 通过登录名和登录ID查找登录时的IP
            source_ip = self._get_source_ip_by_logon_id(self.log.subject_info.logon_id,
                                                        self.log.subject_info.full_user_name)
            form_data = {
                # 建议必填字段内容
                "source_ip": source_ip,
                "source_workstation": self._get_workstation_by_source_ip(source_ip),
                "source_user_name": self.log.subject_info.user_name,
                "group_name": self.log.target_info.user_name,
                "target_user_name": get_cn_from_dn(self.log.event_data["MemberName"]),
                # 以下字段内容可选
                ... ...
            }
            doc = self._get_base_doc(
                level=self._get_level(),
                # 根据威胁活动代号和来源用户名唯一确定一个告警
                unique_id=self._get_unique_id(self.code, self.log.subject_info.user_name),
                form_data=form_data
            )
            return doc
    
        def _get_level(self) -> str:
            # 返回危害等级高
            return HIGH_LEVE

简单解释一下上面的代码:

*  models.Log ：这是引擎简单封装的日志对象，将字典对象变成对象属性来访问，减少拼写错误，具体可查看Log类的代码内容。
 *  \_get\_level：顾名思义是返回当前威胁活动的危害等级，\_generate\_alert\_doc 是返回告警内容的文档。
 *  \_generate\_alert\_doc的内容比较固定：
    
     *  form\_data ：用于自定义保存当前威胁活动的相关信息，比如 来源IP(source\_ip)，来源主机名(source\_workstation)，来源用户名(source\_user\_name)，目标用户名(target\_user\_name)等等，根据每种威胁活动会有区别，但表达相同含义的字段名必须一致，比如你不能填来源用户名的字段名为：source\_user。但有一些内容是必填的，可以通过以下思路去决定填写哪些字段：”哪个来源IP和主机，谁，做了什么，目标是谁。“，具体可参考其它检测模块的写法。
     *  unique\_id： 用于合并重复的告警，一般是威胁活动代号 + 来源用户名或来源IP
     *  level： 危害等级
 *  run： 运行的主入口，参数log是当前需要分析日志，因为我们指定了 4728, 4732, 4756三种日志，所以这里出现的日志也只会有这三种类型。
    
     *  self.init(log=log)：这行代码必须在该函数最开始的地方，用于初始化当前的检测模块环境，每一个新的日志，都会重新运行一遍run函数。
     *  返回值：如果没有任何异常，返回空即可。如果发现了威胁，返回 self.\_generate\_alert\_doc()告警文档，引擎会自动执行接下来的入库合并等操作。

[edfef8610fb594c3900c287e7e74c54a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/61eeda8e731d4a2783c97ffa47f28d6e.png
[e92904ee95f29edd55637c147a847dfa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/8e81d22a5cda479199dd4c74194f4b08.png
[Image 1]: 
[63a7e2029dc557600a6fc2ab01a0cd8c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/8a52de8d73224c8bb4ef5806e48b2e3f.png
[25eb8c843bc6e9f38a39bf184ebf8157.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b12e28ee98c841b1822c6a04c5f6a66e.png
[7bd13a1a5db73e74579a355ca68fa4a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/d24dcebe8ee84737a5902db55d026e73.png
[445347820588ecbefd43b104a7e3ed3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c53ce8dc0c9549e2adc21aa7c47bf5be.png
[efe3b513b04b94170647b3aedb96bdb0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b58ae61d8e9f4551a04a970f6afdf89b.png
[c0474c083a855b349ccb7b4625eb170e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/9cb4561c9c104f92b75d07a39aecafda.png
[abb09e70c50b552bfa1fb3d54d8f13bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4a356082117c41b4a4d1138f8b016029.png
[95340ae2658bc7a54bab986a29a61cd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/1f38d04806a4493888db7bfb282bac18.png
[82f1fd5796f18b01a4006a32c7e062d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/68bc40763b3048bebbb8721cac2e4261.png
[1fc7f337a9c363602743e5f6fe3b5529.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f44138ff13144ada8627e442710c1dbb.png
[Link 1]: https://www.elastic.co/cn/downloads/beats/winlogbeat
[https_artifacts.elastic.co_downloads_beats_winlogbeat_winlogbeat-6.2.0-windows-x86_64.zip]: https://artifacts.elastic.co/downloads/beats/winlogbeat/winlogbeat-6.2.0-windows-x86_64.zip
[8a83082eed312e50d6b4d0b532d7abef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/0f02d50b458e457d82285405cd9f9ec1.png
[Link 2]: https://www.elastic.co/guide/en/beats/winlogbeat/current/winlogbeat-installation.html
[155f16ae02783588bac0c92d7c2b0bf5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4ad88d6aa3864c3694835a48c456e5f3.png
[ddfa85e467d6507e978de1a3586a0f1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b00063875ac8467299c7456f394618a7.png
[a31ba0b8c7e9ce9613f5e25d3b08fb6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5ac88ce993af488f8599d1fd1bda8231.png
[388e22ef23120f33f6fa805eb135488b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/539cce71a8684cadb0fb087993f36157.png
[4eeade026ffa8af12ded6a3688cca409.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f87e879d000447619e86e7c83e6fe871.png
[edfb318835b542e7a2b111b7fe242e01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/2e83bb4be4df4216bcf16c97d3acf878.png
[bcc9fc1ace1682f38b0964a2ecfbe6e8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/874e8f6bfa6f4b14b54cb4af9640ce9f.png
[aad4fe6350a5e4fa8b3ad6129d5fb4f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5653cd4fc7e4495e81f6da4b505f0c65.png
[2eb38da17d161ff38c53016c48d63141.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/fa6236962c46444dae4d9729f8b506e7.png
[56578de086f84eb3511425e0c736a690.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c94120dbe18545d5a519cc6462e381a2.png
[3ff762249eceb57d7899f965cb294f85.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f579a4ae46dc48c58741c09e20b41ff5.png
[Link 3]: https://www.ultimatewindowssecurity.com/securitylog/encyclopedia/default.aspx?i=j