【电商日志项目之二】数据收集一

「爱情、让人受尽委屈。」 2021-10-19 16:54 221阅读 0赞

环境  
　　js  
　　java

一、埋点分析，是网站分析的一种常用的数据采集方法。数据埋点是一种良好的私有化部署数据采集方式。

二、页面数据收集事件的分析和设计  
1、针对不同分析模块，需要不同的数据，来设计页面事件：  
(1)用户基本信息就是用户的浏览行为信息分析，只需要pageview事件就可以了；  
(2)浏览器信息分析以及地域信息分析其实就是在用户基本信息分析的基础上添加浏览器和地域这个维度信息，其中浏览器信息我们可以通过浏览器的window.navigator.userAgent来进行分析，地域信息可以通过nginx服务器来收集用户的ip地址来进行分析，也就是说pageview事件也可以满足这两个模块的分析。  
(3)外链数据分析以及用户浏览深度分析我们可以在pageview事件中添加访问页面的当前url和前一个页面的url来进行处理分析，也就是说pageview事件也可以满足这两个模块的分析。  
(4)订单信息分析要求客户端发送一个订单产生的事件，那么对应这个模块的分析，我们需要一个新的事件chargeRequest。  
(5)对于事件分析我们也需要一个客户端发送一个新的事件数据，我们可以定义为event。  
(6)除此之外，我们还需要设置一个launch事件来记录新用户的访问。  
客户端的各种不同事件发送的数据url格式如下,其中url中后面的参数就是我们收集到的数据：http://wjy.com/log.gif?requestdata  
经过上面的分析我们需要设计四类页面事件如下：

<table> 
 <tbody> 
 <tr> 
 <td> 最终分析模块 </td> 
 <td> 客户端js sdk事件 </td> 
 </tr> 
 <tr> 
 <td> 用户基本信息分析 </td> 
 <td> pageview事件 </td> 
 </tr> 
 <tr> 
 <td> 浏览器信息分析 </td> 
 </tr> 
 <tr> 
 <td> 地域信息分析 </td> 
 </tr> 
 <tr> 
 <td> 外链数据分析 </td> 
 </tr> 
 <tr> 
 <td> 用户浏览深度分析 </td> 
 </tr> 
 <tr> 
 <td> 订单信息分析(订单成功、订单失败) </td> 
 <td> chargeRequest事件 </td> 
 </tr> 
 <tr> 
 <td> 事件分析 </td> 
 <td> event事件 </td> 
 </tr> 
 <tr> 
 <td> &nbsp; </td> 
 <td> launch事件 </td> 
 </tr> 
 </tbody> 
</table>

2、页面处理流程如下：

![650365-20190601151439576-274728383.png][]

数据参数：

<table> 
 <tbody> 
 <tr> 
 <td> 参数名称 </td> 
 <td> 类型 </td> 
 <td> 描述 </td> 
 </tr> 
 <tr> 
 <td> en </td> 
 <td> string </td> 
 <td> 事件名称, eg: e_pv </td> 
 </tr> 
 <tr> 
 <td> ver </td> 
 <td> string </td> 
 <td> 版本号, eg: 0.0.1 </td> 
 </tr> 
 <tr> 
 <td> pl </td> 
 <td> string </td> 
 <td> 平台, eg: website </td> 
 </tr> 
 <tr> 
 <td> sdk </td> 
 <td> string </td> 
 <td> Sdk类型, eg: js </td> 
 </tr> 
 <tr> 
 <td> b_rst </td> 
 <td> string </td> 
 <td> 浏览器分辨率，eg: 1800*678 </td> 
 </tr> 
 <tr> 
 <td> b_iev </td> 
 <td> string </td> 
 <td> 浏览器信息useragent </td> 
 </tr> 
 <tr> 
 <td> u_ud </td> 
 <td> string </td> 
 <td> 用户/访客唯一标识符 </td> 
 </tr> 
 <tr> 
 <td> l </td> 
 <td> string </td> 
 <td> 客户端语言 </td> 
 </tr> 
 <tr> 
 <td> u_mid </td> 
 <td> string </td> 
 <td> 会员id，和业务系统一致 </td> 
 </tr> 
 <tr> 
 <td> u_sd </td> 
 <td> string </td> 
 <td> 会话id </td> 
 </tr> 
 <tr> 
 <td> c_time </td> 
 <td> string </td> 
 <td> 客户端时间 </td> 
 </tr> 
 <tr> 
 <td> p_url </td> 
 <td> string </td> 
 <td> 当前页面的url </td> 
 </tr> 
 <tr> 
 <td> p_ref </td> 
 <td> string </td> 
 <td> 上一个页面的url </td> 
 </tr> 
 <tr> 
 <td> tt </td> 
 <td> string </td> 
 <td> 当前页面的标题 </td> 
 </tr> 
 <tr> 
 <td> ca </td> 
 <td> string </td> 
 <td> Event事件的Category名称 </td> 
 </tr> 
 <tr> 
 <td> ac </td> 
 <td> string </td> 
 <td> Event事件的action名称 </td> 
 </tr> 
 <tr> 
 <td> kv_* </td> 
 <td> string </td> 
 <td> Event事件的自定义属性 </td> 
 </tr> 
 <tr> 
 <td> du </td> 
 <td> string </td> 
 <td> Event事件的持续时间 </td> 
 </tr> 
 <tr> 
 <td> oid </td> 
 <td> string </td> 
 <td> 订单id </td> 
 </tr> 
 <tr> 
 <td> on </td> 
 <td> string </td> 
 <td> 订单名称 </td> 
 </tr> 
 <tr> 
 <td> cua </td> 
 <td> string </td> 
 <td> 支付金额 </td> 
 </tr> 
 <tr> 
 <td> cut </td> 
 <td> string </td> 
 <td> 支付货币类型 </td> 
 </tr> 
 <tr> 
 <td> pt </td> 
 <td> string </td> 
 <td> 支付方式 </td> 
 </tr> 
 </tbody> 
</table>

3、js sdk：

三、程序后台事件分析

1、程序后台事件设计  
比如订单成功和订单退款事件只能在后台程序中触发，页面是无法触发的：

http://wjy.com/log.gif?requestdata

<table> 
 <tbody> 
 <tr> 
 <td> 最终分析模块 </td> 
 <td> PC端js sdk事件 </td> 
 </tr> 
 <tr> 
 <td> 订单信息分析 </td> 
 <td> chargeSuccess事件 chargeRefund事件 </td> 
 </tr> 
 </tbody> 
</table>

数据参数：

<table> 
 <tbody> 
 <tr> 
 <td> 参数名称 </td> 
 <td> 类型 </td> 
 <td> 描述 </td> 
 </tr> 
 <tr> 
 <td> en </td> 
 <td> string </td> 
 <td> 事件名称, eg: e_cs </td> 
 </tr> 
 <tr> 
 <td> ver </td> 
 <td> string </td> 
 <td> 版本号, eg: 0.0.1 </td> 
 </tr> 
 <tr> 
 <td> pl </td> 
 <td> string </td> 
 <td> 平台, eg: website,javaweb,php </td> 
 </tr> 
 <tr> 
 <td> sdk </td> 
 <td> string </td> 
 <td> Sdk类型, eg: java </td> 
 </tr> 
 <tr> 
 <td> u_mid </td> 
 <td> string </td> 
 <td> 会员id，和业务系统一致 </td> 
 </tr> 
 <tr> 
 <td> c_time </td> 
 <td> string </td> 
 <td> 客户端时间 </td> 
 </tr> 
 <tr> 
 <td> oid </td> 
 <td> string </td> 
 <td> 订单id </td> 
 </tr> 
 </tbody> 
</table>

2、后台程序处理流程：

![650365-20190601151511667-245996861.png][]

3、程序示例

事件定义代码：

package com.sxt.client;
 
 import java.io.UnsupportedEncodingException;
 import java.net.URLEncoder;
 import java.util.HashMap;
 import java.util.Map;
 import java.util.logging.Level;
 import java.util.logging.Logger;
 
 /**
 * 分析引擎sdk java服务器端数据收集
 * 
 * @author root
 * @version 1.0
 *
 */
 public class AnalyticsEngineSDK {
 // 日志打印对象
 private static final Logger log = Logger.getGlobal();
 // 请求url的主体部分
 public static final String accessUrl = "http://node2/log.gif";
 private static final String platformName = "java_server";
 private static final String sdkName = "jdk";
 private static final String version = "1";
 
 /**
 * 触发订单支付成功事件，发送事件数据到服务器
 * 
 * @param orderId
 * 订单支付id
 * @param memberId
 * 订单支付会员id
 * @return 如果发送数据成功(加入到发送队列中)，那么返回true；否则返回false(参数异常&添加到发送队列失败).
 */
 public static boolean onChargeSuccess(String orderId, String memberId) {
 try {
 if (isEmpty(orderId) || isEmpty(memberId)) {
 // 订单id或者memberid为空
 log.log(Level.WARNING, "订单id和会员id不能为空");
 return false;
 }
 // 代码执行到这儿，表示订单id和会员id都不为空。
 Map<String, String> data = new HashMap<String, String>();
 data.put("u_mid", memberId);
 data.put("oid", orderId);
 data.put("c_time", String.valueOf(System.currentTimeMillis()));
 data.put("ver", version);
 data.put("en", "e_cs");
 data.put("pl", platformName);
 data.put("sdk", sdkName);
 // 创建url
 String url = buildUrl(data);
 // 发送url&将url加入到队列
 SendDataMonitor.addSendUrl(url);
 return true;
 } catch (Throwable e) {
 log.log(Level.WARNING, "发送数据异常", e);
 }
 return false;
 }
 
 /**
 * 触发订单退款事件，发送退款数据到服务器
 * 
 * @param orderId
 * 退款订单id
 * @param memberId
 * 退款会员id
 * @return 如果发送数据成功，返回true。否则返回false。
 */
 public static boolean onChargeRefund(String orderId, String memberId) {
 try {
 if (isEmpty(orderId) || isEmpty(memberId)) {
 // 订单id或者memberid为空
 log.log(Level.WARNING, "订单id和会员id不能为空");
 return false;
 }
 // 代码执行到这儿，表示订单id和会员id都不为空。
 Map<String, String> data = new HashMap<String, String>();
 data.put("u_mid", memberId);
 data.put("oid", orderId);
 data.put("c_time", String.valueOf(System.currentTimeMillis()));
 data.put("ver", version);
 data.put("en", "e_cr");
 data.put("pl", platformName);
 data.put("sdk", sdkName);
 // 构建url
 String url = buildUrl(data);
 // 发送url&将url添加到队列中
 SendDataMonitor.addSendUrl(url);
 return true;
 } catch (Throwable e) {
 log.log(Level.WARNING, "发送数据异常", e);
 }
 return false;
 }
 
 /**
 * 根据传入的参数构建url
 * 
 * @param data
 * @return
 * @throws UnsupportedEncodingException
 */
 private static String buildUrl(Map<String, String> data)
 throws UnsupportedEncodingException {
 StringBuilder sb = new StringBuilder();
 sb.append(accessUrl).append("?");
 for (Map.Entry<String, String> entry : data.entrySet()) {
 if (isNotEmpty(entry.getKey()) && isNotEmpty(entry.getValue())) {
 sb.append(entry.getKey().trim())
 .append("=")
 .append(URLEncoder.encode(entry.getValue().trim(), "utf-8"))
 .append("&");
 }
 }
 return sb.substring(0, sb.length() - 1);// 去掉最后&
 }
 
 /**
 * 判断字符串是否为空，如果为空，返回true。否则返回false。
 * 
 * @param value
 * @return
 */
 private static boolean isEmpty(String value) {
 return value == null || value.trim().isEmpty();
 }
 
 /**
 * 判断字符串是否非空，如果不是空，返回true。如果是空，返回false。
 * 
 * @param value
 * @return
 */
 private static boolean isNotEmpty(String value) {
 return !isEmpty(value);
 }
 }

事件发送代码：

package com.sxt.client;
 
 import java.io.BufferedReader;
 import java.io.IOException;
 import java.io.InputStreamReader;
 import java.net.HttpURLConnection;
 import java.net.URL;
 import java.util.concurrent.BlockingQueue;
 import java.util.concurrent.LinkedBlockingQueue;
 import java.util.logging.Level;
 import java.util.logging.Logger;
 
 /**
 * 发送url数据的监控者，用于启动一个单独的线程来发送数据
 * 
 * @author root
 *
 */
 public class SendDataMonitor {
 // 日志记录对象
 private static final Logger log = Logger.getGlobal();
 // 队列，用户存储发送url
 private BlockingQueue<String> queue = new LinkedBlockingQueue<String>();
 // 用于单列的一个类对象
 private static SendDataMonitor monitor = null;
 
 private SendDataMonitor() {
 // 私有构造方法，进行单列模式的创建
 }
 
 /**
 * 获取单列的monitor对象实例
 * 
 * @return
 */
 public static SendDataMonitor getSendDataMonitor() {
 if (monitor == null) {
 synchronized (SendDataMonitor.class) {
 if (monitor == null) {
 monitor = new SendDataMonitor();
 
 Thread thread = new Thread(new Runnable() {
 
 @Override
 public void run() {
 // 线程中调用具体的处理方法
 SendDataMonitor.monitor.run();
 }
 });
 // 测试的时候，不设置为守护模式
 // thread.setDaemon(true);
 thread.start();
 }
 }
 }
 return monitor;
 }
 
 /**
 * 添加一个url到队列中去
 * 
 * @param url
 * @throws InterruptedException
 */
 public static void addSendUrl(String url) throws InterruptedException {
 getSendDataMonitor().queue.put(url);
 }
 
 /**
 * 具体执行发送url的方法
 * 
 */
 private void run() {
 while (true) {
 try {
 String url = this.queue.take();
 // 正式的发送url
 HttpRequestUtil.sendData(url);
 } catch (Throwable e) {
 log.log(Level.WARNING, "发送url异常", e);
 }
 }
 }
 
 /**
 * 内部类，用户发送数据的http工具类
 * 
 * @author root
 *
 */
 public static class HttpRequestUtil {
 /**
 * 具体发送url的方法
 * 
 * @param url
 * @throws IOException
 */
 public static void sendData(String url) throws IOException {
 HttpURLConnection con = null;
 BufferedReader in = null;
 
 try {
 URL obj = new URL(url); // 创建url对象
 con = (HttpURLConnection) obj.openConnection(); // 打开url连接
 // 设置连接参数
 con.setConnectTimeout(5000); // 连接过期时间
 con.setReadTimeout(5000); // 读取数据过期时间
 con.setRequestMethod("GET"); // 设置请求类型为get
 
 System.out.println("发送url:" + url);
 // 发送连接请求
 in = new BufferedReader(new InputStreamReader(con.getInputStream()));
 // TODO: 这里考虑是否可以
 } finally {
 try {
 if (in != null) {
 in.close();
 }
 } catch (Throwable e) {
 // nothing
 }
 try {
 con.disconnect();
 } catch (Throwable e) {
 // nothing
 }
 }
 }
 }
 }

转载于:https://www.cnblogs.com/cac2020/p/10959707.html

[650365-20190601151439576-274728383.png]: /images/20211019/6f17dd4391a94e508cde0114006fd6ca.png
[650365-20190601151511667-245996861.png]: /images/20211019/3e10dc4819de42e98f7fcee4a65c9507.png