离线安装开源WAF:VeryNginx

r囧r小猫 2023-06-23 03:59 45阅读 0赞

VeryNginx是github上很火的一个项目，地址为：[https://github.com/alexazhou/VeryNginx][https_github.com_alexazhou_VeryNginx]，它基于OpenResty，具备一个功能强大的Web配置界面，可以在这个页面上查看当前服务器的负载量和网络流量，可以动态的配置URL路径的跳转规则，反向代理规则，而无需重启nginx。最重要的是，VeryNginx兼容普通的nginx配置，在本文的案例中，我使用VeryNginx作为网站流量的监控器和静态资源缓存服务器。

![format_png][]

作者已经在github上给出了安装方法，大体就是编译两次，一次是编译VeryNginx，一次是编译OpenResty。给了一个python文件，我使用python 2.7运行没有问题。这个文件名为install.py，位于git项目的根目录下。

在编译之前，我们要准备好nginx的基本编译环境，包括gcc，pcre-dev，openssl-dev，zlib-dev等，以ubuntu为例，安装方法如下

sudo apt-get install openssl libssl-dev
    sudo apt-get install libpcre3 libpcre3-dev
    sudo apt-get install zlib1g-dev

因为是离线安装，我们假设服务器不能连接互联网，但是还好，该脚本内只有一处需要下载，就是OpenResty的安装包，代码如下

#最新版openresty
    
    openresty_pkg_url = 'https://openresty.org/download/openresty-1.15.8.1.tar.gz'
    openresty_pkg = 'openresty-1.15.8.1.tar.gz'
    
    work_path = os.getcwd()
    
    def install_openresty( ):
    ......
        #download openresty
        down_flag = True
        if os.path.exists( './' + openresty_pkg ):
            ans = ''
            while ans not in ['y','n']:
                ans = common_input(' Found %s in current directory, use it?(y/n)'%openresty_pkg)
            if ans == 'y':
                down_flag = False
    
        if down_flag == True:
            print('### start download openresty package...')
            exec_sys_cmd('rm -rf ' + openresty_pkg)
            exec_sys_cmd( 'wget ' + openresty_pkg_url )
        else:
            print('### use local openresty package...')

我们可以看出 ,该脚本会使用wget自动到[https://openresty.org/download/openresty-1.15.8.1.tar.gz][https_openresty.org_download_openresty-1.15.8.1.tar.gz]下载OpenResty的源码包，而且还会在下载之前检测一下是否存在，所以我们只需手动下载这个源码包，然后放置到verynginx的根目录，也就是install.py所在的目录下，那么该安装脚本就可以直接解压，无需再下载一次，运行如下：

![2019121714525885.png][]

在编译之前，我们还需要自己定义下编译选项，因为我的这个VeryNginx不光用作WAF和负载情况观察，还需要作为静态资源服务器使用，以减少被反向代理服务器的压力，所以我还需要添加一个nginx模块ngx\_chache\_purge-master(VeryNginx使用的OpenResty1.15本身就可以实现缓存功能，但是添加ngx\_chache\_purge-master模块之后就可以动态的控制缓存文件的删除操作，在更新静态文件时比较有用)

首先看下原版的编译配置命令

#configure && compile && install openresty
        print('### configure openresty ...')
        os.chdir( openresty_pkg.replace('.tar.gz','') )
        exec_sys_cmd( './configure --prefix=/opt/verynginx/openresty --user=nginx --group=nginx --with-http_v2_module --with-http_sub_module --with-http_stub_status_module --with-luajit' )
        
        print('### compile openresty ...')
        exec_sys_cmd( 'make' )

然后我只是在configure语句里添加了--add-moudle，并把ngx\_chache\_purge-master的源码包放置在相应的目录下，另外还有一点需要注意，那就是需要指定--prefix，也就是nginx默认的log、conf存放路径和make install的bin文件放置路径。默认为/opt/verynginx目录，但是我这里没有root权限，所以放到了当前用户家目录下，并修改了--user和--group参数。注意，install.py中除了--prefix这里需要修改默认目录之外，这个文件中还有好多需要修改的位置，比如好多的chmod命令，建议搜索“/opt/verynginx”进行批量替换。

#configure && compile && install openresty
        print('### configure openresty ...')
        os.chdir( openresty_pkg.replace('.tar.gz','') )
        exec_sys_cmd( './configure --prefix=/home/alex/verynginx/openresty --user=alex --group=alex --with-http_v2_module --with-http_sub_module --with-http_stub_status_module --with-luajit  --add-module=/home/alex/ngx_cache_purge-master' )
        
        print('### compile openresty ...')
        exec_sys_cmd( 'make' )
        
        print('### install openresty ...')
        exec_sys_cmd( 'make install' )

其实光改了--prefix参数还不够，verynginx默认的配置文件和include的文件也需要修改目录，这些文件再源码包的verynginx/nginx\_conf 目录中后面会细说。

改好install.py文件之后，我们就可以直接运行了。

像编译普通nginx一样，只是需要编译两遍。

python install.py install

编译好之后，就可以看到成功标志:

\*\*\* All work finished successfully, enjoy it~

安装好之后，我们可以看到默认的nginx.conf配置文件

user  nginx;
    worker_processes  auto;
    
    #error_log  logs/error.log;
    #error_log  logs/error.log  notice;
    #error_log  logs/error.log  info;
    
    #pid        logs/nginx.pid;
    
    
    events {
        worker_connections  1024;
    }
    
    include /opt/verynginx/verynginx/nginx_conf/in_external.conf;
    
    http {
        include       mime.types;
        default_type  application/octet-stream;
    
        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';
    
        #access_log  logs/access.log  main;
        sendfile        on;
        #tcp_nopush     on;
    
        #keepalive_timeout  0;
        keepalive_timeout  65;
    	client_body_buffer_size 128k;
    
        #gzip  on;
    	
    	#this line shoud be include in every http block
        include /opt/verynginx/verynginx/nginx_conf/in_http_block.conf;
    
        server {
            listen       80;
            
            #this line shoud be include in every server block
            include /opt/verynginx/verynginx/nginx_conf/in_server_block.conf;
    
            location = / {
                root   html;
                index  index.html index.htm;
            }
        }
    
    }

按照官方说明，配置文件的最外层要写

include /opt/verynginx/verynginx/nginx_conf/in_external.conf;

这个文件在起初是空的，没有内容。

但是别忘了，由于前面编译的时候修改了--prefix参数，所以/opt/verynginx这个目录是不存在的，需要改为--prefix参数中的地址。

然后在http\{\}模块中要写上

include /opt/verynginx/verynginx/nginx_conf/in_http_block.conf;

注意在这个文件中引用了几个lua文件，这些文件的路径也需要根据--prefix进行修改，不然默认是/opt/verynginx目录下。

同样需要注意修改目录

最后，每个server\{\}段落都要添加上

include /opt/verynginx/verynginx/nginx_conf/in_server_block.conf;

只需这三行，就可以把VeryNginx引入普通的nginx配置文件当中了。

同时还需要注意user nginx;这一行，如果你的nginx不以root用户启动，则该行会报出Warn，所以不是root直接删掉这行就好。下面就是我把VeryNginx结合静态资源缓存的配置文件融合。

注意此处，根据我的--prefix参数，我的默认配置文件路径是/home/alex/verynginx/openresty/nginx/conf/nginx.conf，nginx程序路径是/home/alex/verynginx/openresty/nginx/sbin/nginx，而不修改prefix的话，nginx默认为/opt/verynginx/openresty/nginx/sbin/nginx

我的配置文件如下

#user  nobody;
    worker_processes  1;
    
    error_log  logs/error.log;
    #error_log  logs/error.log  notice;
    #error_log  logs/error.log  info;
    
    #pid        logs/nginx.pid;
    
    
    events {
        worker_connections  1024;
    }
    
    include /home/alex/verynginx/verynginx/nginx_conf/in_external.conf;
    
    http {
        include       mime.types;
        default_type  application/octet-stream;
    
        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
    
        access_log  logs/access.log  main;
    
        sendfile        on;
        #tcp_nopush     on;
    
        #keepalive_timeout  0;
        keepalive_timeout  65;
    
        #gzip  on;
    	#this line shoud be include in every http block
        include /home/alex/verynginx/verynginx/nginx_conf/in_http_block.conf;
    	
        proxy_cache_path /home/alex/nginx_cache levels=1:2 keys_zone=mycache:30m max_size=10g inactive=2m use_temp_path=off;
        server {
            listen       8080;
    		
    		#this line shoud be include in every server block
            include /home/alex/verynginx/verynginx/nginx_conf/in_server_block.conf;
    		
            server_name  localhost;
            #charset koi8-r;
    		proxy_intercept_errors on;
    		fastcgi_intercept_errors on;
    		server_tokens  off;
    		proxy_hide_header X-Powered-By;
    		client_max_body_size 100m;
    		keepalive_timeout  60;
    		proxy_http_version 1.1;  
            proxy_set_header Upgrade $http_upgrade;  
            proxy_set_header Connection "upgrade";
            access_log  logs/host.access.log  main;
    
            #error_page  404              /404.html;
    
            # redirect server error pages to the static page /50x.html
            #
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
    
    
            location / {
                proxy_pass   http://192.168.1.2:8080;
                proxy_set_header Host $host;
    			proxy_set_header X-Forwarded-For $remote_addr;
    			proxy_set_header X-Real-IP $remote_addr;
    			proxy_connect_timeout 30s;
                proxy_send_timeout 30s;
                proxy_read_timeout 30s;
    			
            }
    		
    		location ~ \.(gif|jpg|jpeg|png|bmp|ico|webp|mp3|svg)$ {
    		    proxy_cache mycache;
    			proxy_cache_valid 200 302 304 30m;
                proxy_cache_key $host$uri$is_args$args;
    			expires 3d;
    			
    			proxy_pass   http://192.168.1.2:8080;
                proxy_set_header Host $host;
    			proxy_set_header X-Forwarded-For $remote_addr;
    			proxy_set_header X-Real-IP $remote_addr;
    			proxy_connect_timeout 30s;
                proxy_send_timeout 30s;
                proxy_read_timeout 30s;
    			access_log logs/cache.log  main;
    			error_log  logs/cache_err.log;
    		}
    		
    		
    		location ~ /purge(/.*) {
                allow 127.0.0.1;
                allow 192.168.0.0/16;
                deny all;
                proxy_cache_purge mycache $host$1$is_args$args;
            }
    
    
            # deny access to .htaccess files, if Apache's document root
            # concurs with nginx's one
            #
            #location ~ /\.ht {
            #    deny  all;
            #}
        }

实际上，我是先写的反向代理和静态文件缓存的nginx配置文件，然后编译的VeryNginx并添加了上面的三个include，以实现URL过滤和负载监控的功能。

由于我再配置文件里面使用了nginx的文件缓存功能，所以建立了nginx缓存文件夹之后mkdir /home/alex/nginx\_cache，就可以直接执行/home/alex/verynginx/openresty/nginx/sbin/nginx来启动nginx

启动nginx
    /home/alex/verynginx/openresty/nginx/sbin/nginx
    重启nginx
    /home/alex/verynginx/openresty/nginx/sbin/nginx -s reload
    停止nginx
    /home/alex/verynginx/openresty/nginx/sbin/nginx -s stop

此时，我们就可以访问http://127.0.0.1/verynginx/index.html  用户名verynginx 密码verynginx来访问后台监控配置页面。

[https_github.com_alexazhou_VeryNginx]: https://github.com/alexazhou/VeryNginx
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jYW1vLmdpdGh1YnVzZXJjb250ZW50LmNvbS82YTFjNDM1OGEzNmY1MjQyZTU0ZGJmZDAzMzEyYTc2NmUxNTFkZGIyLzY4NzQ3NDcwM2EyZjJmNzc3NzMyMmU3MzY5NmU2MTY5NmQ2NzJlNjM2ZTJmNmQ3NzM2MzkzMDJmMzM2NjYzNjQzMDY1NjQzMzZhNzczMTY2MzEzNzY1NmUzNzZmNjMzMTc5NmEzMjMwN2EzMDMwNmY2YzMwNzc2YzJlNmE3MDY3?x-oss-process=image/format,png
[https_openresty.org_download_openresty-1.15.8.1.tar.gz]: https://openresty.org/download/openresty-1.15.8.1.tar.gz
[2019121714525885.png]: https://img-blog.csdnimg.cn/2019121714525885.png