安全态势_交互发现 —— 基于阿里云轻松搭建安全大屏

ゝ一世哀愁。 2022-06-12 15:08 309阅读 0赞

[原文链接][Link 1]

摘要： 使用DataV大屏展现态势感知 DNS 会话日志，从而实现交互式安全威胁发现。

2017年，阿里云启动[MVP（Most Valuable Professional）][MVP_Most Valuable Professional]项目。顾名思义，MVP正在寻找阿里云最有价值专家，那些能够，并且愿意帮助他人，充分了解和使用阿里云技术的意见领袖。

本文是[阿里云MVP 傅奎][MVP]的实践分享，今天和大家讲讲 “安全态势，交互发现 —— 基于阿里云轻松搭建安全大屏 ”

*  [一句话概述][Link 2]
 *  [背景介绍][Link 3]
 *  [产品介绍][Link 4]
 *  [需求分析][Link 5]
 *  [实现方法][Link 6]
    
     *  [导出态势感知 DNS 日志][DNS]
     *  [定制返回 JSON 串的数据源API][JSON _API]
     *  [定制 DataV 大屏，指定 API 数据源][DataV _ API]
     *  [发布监控大屏，看效果][Link 7]
 *  [交互式发现][Link 8]
 *  [补充说明][Link 9]
    
     *  [替你踩过的坑][Link 10]
     *  [Show you the code][]
 *  [一些期待][Link 11]
    
     *  [关于“交互式”][Link 12]
     *  [鸣谢][Link 13]

# 一句话概述 #

使用DataV大屏展现态势感知 DNS 会话日志，从而实现交互式安全威胁发现。

剧透一下最终效果，绝对值得试试：

所有 DNS 日志的节点（源地址、DNS服务器地址、要解析的域名）关系图。点选其中任一节点，关联点自动高亮，非关联节点则进入蒙版状态，要是有什么可疑的节点、关系、类目，一眼就看出来！

![17832701373e921529f104332f73c4282cfa58ca][]![73416e298d5ab918af89f5c8eeb26b08d509d2fb][]

# 背景介绍 #

自打“态势感知”上线了新版的“日志”功能，团队成员就在摩拳擦掌寻思如何充分挖掘日志信息的价值，而不仅仅是用于故障诊断或事件调查。其中，通过图形化展现不同网络资源节点的相互关系，进而实现交互式安全威胁发现，是最为理想的实现方式。此前尝试过 Graphviz、yEd、NetworkX 等方式，后来都因配置复杂，使用繁琐等问题放弃。

直到MVP 技术群里[李文毅][Link 14]向大家推荐了 DataV，我想：是时候“make it true ”了！

# 产品介绍 #

以下材料援引自官方介绍，描述不准与我无关：

*  [态势感知][Link 15]

“态势感知提供的是一项SAAS服务，即在大规模云计算环境中，对那些能够引发网络安全态势发生变化的要素进行全面、快速和准确地捕获和分析，并提供一个体系化的安全解决方案。”

*  [DataV 数据可视化][DataV]

“DataV旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用。DataV提供丰富的可视化模板，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。”

# 需求分析 #

态势感知的日志功能非常强大，目前支持查询：所有入站的7层数据、出入站栈的4层会话以及DNS双向日志。其中 DNS 日志有助于安全团队分析服务器是否遭受入侵，被植入木马病毒，存在异常请求等问题。

我们最关心的是：哪台服务器，通过哪个 DNS Server，解析了哪个域名？

针对该需求，如果有可视化的节点关系图辅助分析，那么威胁识别的效率将大幅提升。在没有使用 DataV 之前，通常的办法是使用一些图表工具进行展现，而且少不了定制化开发的工作量。DataV 的出现，大大解放了数据分析人员的双手，从而可以用于拖动进度条。仅仅通过少量的鼠标点击和基本的 API 配置，就能瞬间让你的数据充满活力，开口说话。DataV 自带节点关系图，并内嵌原生ECharts ，完全可以满足此类需求。

# 实现方法 #

你一定很期待强劲的态势感知与性感的 DataV强强联合会是什么样子。期待不如行动，我们一起动手去实现吧。

## 导出态势感知 DNS 日志 ##

登录阿里云控制台，进入`安全（云盾）|态势感知`功能页，通过子菜单选择`日志 new`项目。  
![79868ff030c4143e1ea0c41718ef8820146a2ef5][]

设置DNS 日志查询条件，分别是：

*  日志源：DNS
 *  字段：qtype
 *  判断条件：包含（目前只能选包含）
 *  关键字：A

再设置好查询时间，点击`搜索`就可以啦。  
![32e4409d2c1421e18a808bb7aa85849919dba71a][]

系统很快就能返回查询结果，通过右上角`导出结果`将当前页（没错，，是当前页，，一次100条-\_-）日志导出到Excel 中。如果需要更多数据，得依次翻页导出-\_-。当然也有程序化解决方案，请往后看。

![37b9661975617ecf553c9a3184ff1c8eaf8959af][]

## 定制返回 JSON 串的数据源API ##

对导出的 Excel 文件进行数据抽取，关键是：

*  源地址：src\_ip
 *  DNS Server：dst\_ip
 *  尝试解析的域名：qname

![dec7b6fdd794365fda16886c6420aa9afcb7d985][]

将源地址、DNS 地址、域名三项都纳入节点范畴，同时将源地址->DNS 地址、DNS 地址->域名纳入关系范畴，通过 HTTP 将节点 nodes 和关系 links 输出为 JSON 就是一个可用的API数据输入源。

别着急，作为良心分享，怎么能少了技术细节呢？为了不影响阅读，我把数据格式化和 API 相关的具体内容放在后面环节。

## 定制 DataV 大屏，指定 API 数据源 ##

通过阿里云控制台`大数据（数加）|DataV数据可视化`进入定制界面，直接选择`新建可视化`。

![06f71fe7327b7d0384d9f1b86123c272e1a3feec][]

创建大屏模板，设置一个你喜欢的名字。  
![4ad7f38b57e50d3e90c2e57c1edf8c8260107992][]

向大屏图层添加数据展示组件， 这里可以选择关系网络或原生的 Echarts 网络图。

![bf0bbc7d5b0ddfae17909f2fab3f43b4ec80fd9f][]

点选图表组件，进入右侧`数据`选项卡，修改默认的数据源类型`静态数据`为 `API`。

![7afa1438c7508972837e86ca23be57f50160585f][]

填写满足系统要求的 API，如：`http://www.test.com/datav.json`，鼠标离开输入框，左侧设计区会即时展现效果。  
![6d7da3fdba59a4f5ea043407422ffd4abb5ac00c][]

## 发布监控大屏，看效果 ##

数据调试和预览成功后，可通过右上角的`发布`按钮，正式发布报表。DataV 考虑得很周到，为报表提供了密码和 Token 两种安全保护机制。  
![8d4d7faad5f1ff87873a290008f6d1cf11560689][]

访问发布后的报表链接：[http://datav.aliyun.com/share/ef9aa\*\*\*\*\*\*\*\*\*\*a3fd8][http_datav.aliyun.com_share_ef9aa_a3fd8]（这是他们的秘密不可访问的哈）

![ddfb119fb66d11fb430f4f9126352aae9770ed50][]

# 交互式发现 #

好吧，放一些我在测试环境模拟出来的数据。下面是一段时间内，所有 DNS 日志的节点（源地址、DNS服务器地址、要解析的域名）关系图。  
![f13ef7d34bb9ada88fe091d05776a10d94733d34][]

点选其中任一节点，关联点自动高亮，非关联节点则进入蒙版状态，相当炫酷啊！

![Center][]

[原文链接][Link 1]

[Link 1]: http://click.aliyun.com/m/26676/
[MVP_Most Valuable Professional]: https://mvp.aliyun.com/
[MVP]: https://mvp.aliyun.com/mvp/detail/1
[Link 2]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_0
[Link 3]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_1
[Link 4]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_2
[Link 5]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_3
[Link 6]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_4
[DNS]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_5
[JSON _API]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_6
[DataV _ API]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_7
[Link 7]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_8
[Link 8]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_9
[Link 9]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_10
[Link 10]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_11
[Show you the code]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_12
[Link 11]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_13
[Link 12]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_14
[Link 13]: https://yq.aliyun.com/articles/141397?utm_content=m_26676#toc_15
[17832701373e921529f104332f73c4282cfa58ca]: https://yqfile.alicdn.com/17832701373e921529f104332f73c4282cfa58ca.jpeg
[73416e298d5ab918af89f5c8eeb26b08d509d2fb]: /images/20220612/5accbefceca548f5a089da93a51609cc.png
[Link 14]: https://yq.aliyun.com/users/1008909725746270
[Link 15]: https://www.aliyun.com/product/sas
[DataV]: https://data.aliyun.com/visual/datav
[79868ff030c4143e1ea0c41718ef8820146a2ef5]: /images/20220612/09fc982c3aa744d390fa52ecdedb1479.png
[32e4409d2c1421e18a808bb7aa85849919dba71a]: /images/20220612/844500375e3a4c2ba5e37321ded0c945.png
[37b9661975617ecf553c9a3184ff1c8eaf8959af]: /images/20220612/43548c58e4124c088b94ecbe2126893a.png
[dec7b6fdd794365fda16886c6420aa9afcb7d985]: /images/20220612/16040b44552e4d3c9c86ed4f919b08be.png
[06f71fe7327b7d0384d9f1b86123c272e1a3feec]: /images/20220612/f01e1a44390c4d85aae33815eed5b162.png
[4ad7f38b57e50d3e90c2e57c1edf8c8260107992]: /images/20220612/64e0d329f41a469bb43446ac601de8fd.png
[bf0bbc7d5b0ddfae17909f2fab3f43b4ec80fd9f]: /images/20220612/4b5dd7551d1e4151b1ebc5076704d861.png
[7afa1438c7508972837e86ca23be57f50160585f]: /images/20220612/f62c008bc27b4fae936c7a2be2ebf81f.png
[6d7da3fdba59a4f5ea043407422ffd4abb5ac00c]: /images/20220612/3cd7026ab03b47f58ff438d6eadfd847.png
[8d4d7faad5f1ff87873a290008f6d1cf11560689]: /images/20220612/e7980b4bace54a70970c17e93f57220b.png
[http_datav.aliyun.com_share_ef9aa_a3fd8]: http://datav.aliyun.com/share/ef9aa**********a3fd8
[ddfb119fb66d11fb430f4f9126352aae9770ed50]: /images/20220612/688923ee3c0948299f279e877efc4bd3.png
[f13ef7d34bb9ada88fe091d05776a10d94733d34]: /images/20220612/5feeb7ad470f4fde8d369cefb4a3c2f2.png
[Center]: /images/20220612/c164e758acc146fe8ee7c96d2079156c.png