架构：WAF流量清洗。

我就是我 2022-12-08 01:54 239阅读 0赞

> 本篇文章从WAF产品研发的角度来YY如何实现一款可靠的WAF，灵感来自ModSecurity等，感谢开源。

**本片文章包括三个主题**

*  WAF实现

WAF包括哪些组件,这些组件如何交互来实现WAF防御功能

*  wAF规则（策略）维护

规则(策略)如何维护，包括获取渠道，规则测试方法以及上线效果评测 (3)

*   WAF支撑

WAF产品的完善需要哪些信息库的支撑

# WAF实现 #

WAF一句话描述，就是解析HTTP请求（协议解析模块），规则检测（规则模块），做不同的防御动作（动作模块），并将防御过程（日志模块）记录下来。不管硬件款，软件款，云款，核心都是这个，而接下来围绕这句话来YY WAF的实现。WAF的实现由五个模块(配置模块、协议解析模块、规则模块、动作模块、错误处理模块）组成

## 配置模块 ##

设置WAF的检测粒度，按需开启,如图所示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VuX2pva2Vy_size_16_color_FFFFFF_t_70][]

## 协议解析模块（重点） ##

协议解析的输出就是下一个模块规则检测时的操作对象，解析的粒度直接影响WAF防御效果。对于将WAF模块寄生于web 服务器的云WAF模式，一般依赖于web 服务器的解析能力。

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ -]

## 规则模块（重点） ##

重点来了，这块是WAF的核心，我将这块又细分为三个子模块。

### 规则配置模块 ###

IP黑白名单配置、 URL黑白名单配置、以及挑选合适的规则套餐。

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 1]

### 规则解析模块 ###

主要作用是解析具体的规则文件，规则最好采用统一的规则描述语言，便于提供给第三方定制规则，ModSecurity这方面做得非常优秀。

规则文件由四部分组成，分为变量部分、操作符部分，事务函数部分与动作部分。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VuX2pva2Vy_size_16_color_FFFFFF_t_70 1][]

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 2]

### 规则检测模块 ###

上一步我们设置了各种变量，接下来就是按照一定的逻辑来做加减乘除了。

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 3]

## 动作模块（重点） ##

通过规则检测模块，我们识别了请求的好恶，接下来就是做出响应，量刑处理，不仅仅是拦截。

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 4]

## 日志模块（重点） ##

日志处理，非常重要，也非常火 热，内容丰富到完全可以从WAF独立出来形成单独的安全产品（e.g.日志宝）而采用提供接口的方式来支撑WAF。对于数据量巨大的云WAF，都会有单独 的大数据团队来支撑架构这一块，包括数据存储（e.g. hdfs) ，数据传输(kafka)，数据离线分析（hadoop/spark），数据实时分析（storm），数据关联分析（elasticsearch)等等， 以后另开一篇单独说明。

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 5]

## 错误处理模块 ##

以上模块运行错误时的异常处理

# WAF规则(策略)维护 #

WAF需要修炼一图以蔽之

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 6]

# WAF支撑信息库 #

WAF需要修炼一图以蔽之

![WAF的实现 - 碳基体 - 碳基体][WAF_ - _ - 7]

以上支撑库几乎所有的安全人员都在重复地做，而资源没有共享的原因，一是内部不可说；二是没有采取统一的描述语言无法汇合，唉，安全从业人员的巴别塔。

# 补充知识（包括文章与代码） #

## WAF相关 ##

[WAF防御能力评测及工具][WAF]

[ssdeep检测webshell][ssdeep_webshell]

ModSecurity相关文章（我就是ModSecurity的死忠粉）

[\[科普文\]ubuntu上安装Apache2+ModSecurity及自定义WAF规则][ubuntu_Apache2_ModSecurity_WAF]

[ModSecurity SecRule cheatsheets][]

[ModSecurity CRS 笔记、WAF防御checklist,及WAF架构的一些想法][ModSecurity_CRS _WAF_checklist_WAF]

[ModSecurity 晋级-如何调用lua脚本进行防御快速入门][ModSecurity _-_lua]

[ModSecurity 白名单设置][ModSecurity]

## 指纹识别 ##

[Web应用指纹识别][Web]

[FingerPrint][]

## IP相关 ##

[使用免费的本地IP地理库来定位IP地理位置－GeoIP lookup][IP_IP_GeoIP lookup]

[获得IP的地理位置信IP Geolocation及IP位置可视化][IP_IP Geolocation_IP]

[IP地理信息离线获取脚本][IP]

[IP地理信息在线获取脚本][IP 1]

[识别搜索引擎脚本][Link 1]

[判断使用哪家CDN脚本][CDN]

[代理类型判断脚本 Proxy探测脚本与HTTP基本认证暴力破解脚本][Proxy_HTTP]

## CDN架构 ##

[网站负载均衡技术读书笔记与站长产品的一点想法][Link 2]

## 正则优化 ##

[NFA引擎正则优化TIPS、Perl正则技巧及正则性能评测方法][NFA_TIPS_Perl]

## HTTP发包工具 ##

[HTTP.pl——通过HTTP发包工具了解HTTP协议][HTTP.pl_HTTP_HTTP]

[HTTP发包工具 －HTTPie][HTTP_ _HTTPie]

[WAF实现的思维导图][WAF 1]

# 参考 #

《[ModSecurity  Handbook][ModSecurity _Handbook]》

第八、九、十，十一我是反复看，每次都有新的灵感，第14、15章是当成新华字典看的，以免遗忘。

《[Web Application Defenders Cookbook Battling Hackers and Protecting Users][]》 (红宝书，还在看)

# FreeBuf推荐 #

[http://weibo.com/tanjiti][http_weibo.com_tanjiti]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VuX2pva2Vy_size_16_color_FFFFFF_t_70]: /images/20221123/2f69ed0159694c229990ac1c8b0a53a1.png
[WAF_ - _ -]: /images/20221123/e4abc51855644d0099ba4019ff4b92f1.png
[WAF_ - _ - 1]: /images/20221123/f61a874b1d84476ba23e80be8d85fe6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VuX2pva2Vy_size_16_color_FFFFFF_t_70 1]: /images/20221123/cbf0f0de9532434c80eaaa5dfc2573ea.png
[WAF_ - _ - 2]: /images/20221123/636496c1529943d18a91c4c0d2b2cde6.png
[WAF_ - _ - 3]: /images/20221123/67fffa59a7144a758f155ffefbc10614.png
[WAF_ - _ - 4]: /images/20221123/474d3fdb60c54599a01fc5cab91c0873.png
[WAF_ - _ - 5]: /images/20221123/88197472a1a7440b9fec7cfdb9dc09b6.png
[WAF_ - _ - 6]: /images/20221123/484f46639f434a49a64aeff9741fd243.png
[WAF_ - _ - 7]: /images/20221123/7df40792eb9549e691927e71dcf3c7d1.png
[WAF]: http://danqingdani.blog.163.com/blog/static/1860941952014101462723470/
[ssdeep_webshell]: http://danqingdani.blog.163.com/blog/static/1860941952014111291954550/
[ubuntu_Apache2_ModSecurity_WAF]: http://danqingdani.blog.163.com/blog/static/186094195201481562831737/
[ModSecurity SecRule cheatsheets]: http://danqingdani.blog.163.com/blog/static/18609419520146296181531/
[ModSecurity_CRS _WAF_checklist_WAF]: http://danqingdani.blog.163.com/blog/static/186094195201472304841643/
[ModSecurity _-_lua]: http://danqingdani.blog.163.com/blog/static/1860941952014101862337903/
[ModSecurity]: http://danqingdani.blog.163.com/blog/static/1860941952014111203945164/
[Web]: http://danqingdani.blog.163.com/blog/static/186094195201493121834603/
[FingerPrint]: https://github.com/tanjiti/FingerPrint
[IP_IP_GeoIP lookup]: http://danqingdani.blog.163.com/blog/static/186094195201423135017632/
[IP_IP Geolocation_IP]: http://danqingdani.blog.163.com/blog/static/1860941952013102111224152/
[IP]: https://github.com/tanjiti/perl_tools/blob/master/getIPinfoOffline.pl
[IP 1]: https://github.com/tanjiti/perl_tools/blob/master/getIPinfoOnline.pl
[Link 1]: https://github.com/tanjiti/perl_tools/blob/master/isRealSpider.pl
[CDN]: https://github.com/tanjiti/perl_tools/blob/master/whichCDNUser.pl
[Proxy_HTTP]: https://github.com/tanjiti/perl_tools/blob/master/isProxyOK.pl
[Link 2]: http://danqingdani.blog.163.com/blog/static/18609419520144267531306/
[NFA_TIPS_Perl]: http://danqingdani.blog.163.com/blog/static/18609419520144523853586/
[HTTP.pl_HTTP_HTTP]: http://danqingdani.blog.163.com/blog/static/18609419520144202591392/
[HTTP_ _HTTPie]: http://danqingdani.blog.163.com/blog/static/18609419520145145647253/
[WAF 1]: http://pan.baidu.com/s/1o5lV4
[ModSecurity _Handbook]: http://book.douban.com/subject/4312741/
[Web Application Defenders Cookbook Battling Hackers and Protecting Users]: http://book.douban.com/subject/11545558/
[http_weibo.com_tanjiti]: http://weibo.com/tanjiti