系统设计以及javascript笔记：用户行为分析研究之数据采集

比眉伴天荒 2022-08-20 06:18 107阅读 0赞

原文URL： http://www.cnblogs.com/sharpxiajun/archive/2012/06/26/2563509.html

1.1用户行为分析的重要性

用户行为分析的重要性，我想做个网站的人都会用很清晰的认识，本来我想谈谈自己想法，但感觉自己毕竟还是做技术的，很难清晰的从商业价值的角度来分析它的重要性，因此放弃了想阐述自己意见的想法。当我第一次见到百度统计，和谷歌分析网站，就有那种惊鸿一瞥的激动，很想自己也能写出一套这样的网站，这也是我持续研究用户行为分析的初衷。

我估计还是有很多童鞋对“用户行为分析”的概念比较陌生，这里将百度百科里的解释在这里贴出来，抛砖引玉，希望能有更多的志同道合者跟我一起研究这个主题，百度百科的地址如下：

[　　http://baike.baidu.com/view/2330219.htm][http_baike.baidu.com_view_2330219.htm]

好了，废话不多说了，马上就进入正题。

## 1.2     设计优秀的数据采集系统 ##

对于大型网站而言，网站响应速度是网站是否优秀一个重要衡量标准，下面我引用一些权威机构的统计数据来说明网站响应速度的重要性：

![2012062612475965.png][]

用户行为分析的前提就是能准确的采集到用户的相关数据，这就需要我们在网站页面里添加采集数据的代码，如果我们的采集代码写的不好，一定会对网站的性能产生一定的影响，更有甚者还会影响到网站的稳定性。因此设计一套性能卓越，安全性好，耦合度很低的日志采集程序是非常重要的。

这里我提供一套采集数据方案，方案详情如下：

![2012062612485254.png][]

我是做java的程序员，经常使用到的web应用服务器是tomact，jboss，weblogic等等，我这里为什么不使用这些我非常熟悉的web应用服务器，而去选择功能相对单一的apache或者是nginx呢？理由非常简单，因为apache和nginx速度更快，更加轻量级，这个经验来源于我做网站的经验，大型网站的服务端设计是很复杂的，但基本都有一个共同的原则：当用户一个请求提交到了服务端，服务端会先判断这个请求，如果请求的是一些对静态资源的访问（比如图片，不会变化的文字等），请求会直接提交到响应的静态资源服务器集群，这样速度会更快，而这些静态资源服务器基本都是apache或者是像nginx这样的轻量级web服务器集群。

## 1.3    采集系统之服务端 ##

本地开发，我就不去搭建集群了，有兴趣的童鞋可以在网上查查相关的资料。本地开发我就搭建一个apache服务器。

服务器的开发非常简单，只要修改下apache下的conf文件（注意：我的开发平台是window7），代码如下：

![复制代码][copycode.gif]

<IfModule log_config_module>
        LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
        LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b" common
    
        <IfModule logio_module>
          # You need to enable mod_logio.c to use %I and %O
          LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
        </IfModule>

![复制代码][copycode.gif]

在htdocs文件夹里添加如下文件：

1)         a.gif。（1\*1像素的透明文件）

2)         click.html。（用于记录点击日志）

3)         error.html。（记录错误信息日志）

启动apache服务器，我们在浏览器录入如下地址：

[http://127.0.0.1/a.gif?name=sharpxiajun&msg=test][http_127.0.0.1_a.gif_name_sharpxiajun_msg_test]

在logs文件夹里找到2012\_06\_26.access.log文件，打开文件，我们会看到如下日志：

127.0.0.1 - - [26/Jun/2012:11:37:07 +0800] [2012-06-26 11:37:07] "GET /a.gif?name=sharpxiajun&msg=test HTTP/1.1" [?name=sharpxiajun&msg=test] [/a.gif] 200 43

访问请求被完整的记录下来了。

## 1.4     采集系统之客户端 ##

采集系统的核心还是客户端的采集脚本，这里我会贴出完整的采集脚本以及测试页面，代码的详细解析我会在以后的博客里进行阐述。

我的采集脚本可以记录用户访问的日志，还能记录用户的点击日志，不过点击日志一般包含业务含义需要用户根据自己的需求去定义。代码如下：

up\_beacon.js:

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

![复制代码][copycode.gif]

install\_up\_beacon.js文件，这个文件对外提供：

![复制代码][copycode.gif]

![复制代码][copycode.gif]

下面是测试页面;

第一个测试页面：testbeacon.html，代码如下：

![复制代码][copycode.gif]

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>beacon test page</title>
    </head>
    <script type="text/javascript" src="install_up_beacon.js"></script>
    <body>
    <h1>日志测试</h1>
    <input type="button" value="Click Button" id="clickBtn" name="clickBtn" οnclick="clickLog('testClickBtn','MyTest')"/>
    </body>
    </html>
    <script type="text/javascript">
    // 用户行为统计代码
    function recordStaticLogerr(authId,type,msg){
        if (window.upLogger){
            upLogger.authId = authId;
            upLogger.clickLog('type=' + type + '&clickTarget=' + msg);    
        }
    }
    
    // 记录click日志的方法
    function clickLog(clog_msg,clog_type){
        var clog_authId    = 'sharpxiajun';
        recordStaticLogerr(clog_authId,clog_type,clog_msg);    
    }
    </script>

![复制代码][copycode.gif]

第二个测试页面：parent.html，代码如下：

![复制代码][copycode.gif]

## 1.5     测试结果 ##

测试地址：

[http://localhost/testbeacon.html][http_localhost_testbeacon.html]

[http://localhost/parent.html][http_localhost_parent.html]

我们查看cookies信息，如下图：

![2012062612535965.png][]

日志信息如下：

![复制代码][copycode.gif]

127.0.0.1 - - [26/Jun/2012:10:01:52 +0800] [2012-06-26 10:01:52] "GET /parent.html HTTP/1.1" [] [/parent.html] 304 -
    127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /testbeacon.html HTTP/1.1" [] [/testbeacon.html] 304 -
    127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /install_up_beacon.js HTTP/1.1" [] [/install_up_beacon.js] 304 -
    127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /up_beacon.js?140675524644 HTTP/1.1" [?140675524644] [/up_beacon.js] 304 -
    127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /a.gif?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791 HTTP/1.1" [?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791] [/a.gif] 200 43
    127.0.0.1 - - [26/Jun/2012:10:02:01 +0800] [2012-06-26 10:02:01] "GET /click.html?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252 HTTP/1.1" [?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252] [/click.html] 200 310

![复制代码][copycode.gif]

大家看到了吧，请求都被记录下来，下面我们只要好好分析这些日志文件的信息就行了。

pdf下载地址：

[http://files.cnblogs.com/sharpxiajun/%E7%94%A8%E6%88%B7%E8%A1%8C%E4%B8%BA%E5%88%86%E6%9E%90%E7%A0%94%E7%A9%B6%E4%B9%8B%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86.pdf][http_files.cnblogs.com_sharpxiajun_E7_94_A8_E6_88_B7_E8_A1_8C_E4_B8_BA_E5_88_86_E6_9E_90_E7_A0_94_E7_A9_B6_E4_B9_8B_E6_95_B0_E6_8D_AE_E9_87_87_E9_9B_86.pdf]

[http_baike.baidu.com_view_2330219.htm]: http://baike.baidu.com/view/2330219.htm
[2012062612475965.png]: /images/20220731/08a1f4cceb3648a7b20fd71f3fbd7178.png
[2012062612485254.png]: /images/20220731/78228d7da1334f4c894e54ec6a429368.png
[copycode.gif]: /images/20220731/3088fa01fe8c4f9db1262b8e04e5e8b0.png
[http_127.0.0.1_a.gif_name_sharpxiajun_msg_test]: http://127.0.0.1/a.gif?name=sharpxiajun&msg=test
[ExpandedBlockStart.gif]: /images/20220731/3a70478755324dffafdadad29cad9523.png
[http_localhost_testbeacon.html]: http://localhost/testbeacon.html
[http_localhost_parent.html]: http://localhost/parent.html
[2012062612535965.png]: /images/20220731/89df9a33b84049d1a47f0ddaae633cc1.png
[http_files.cnblogs.com_sharpxiajun_E7_94_A8_E6_88_B7_E8_A1_8C_E4_B8_BA_E5_88_86_E6_9E_90_E7_A0_94_E7_A9_B6_E4_B9_8B_E6_95_B0_E6_8D_AE_E9_87_87_E9_9B_86.pdf]: http://files.cnblogs.com/sharpxiajun/%E7%94%A8%E6%88%B7%E8%A1%8C%E4%B8%BA%E5%88%86%E6%9E%90%E7%A0%94%E7%A9%B6%E4%B9%8B%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86.pdf