Galaxy数据统计平台---数据上报格式

太过爱你忘了你带给我的痛 2022-05-27 13:14 163阅读 0赞

# 数据上报格式 #

## event实体 ##

简单来说，就是描述了一个用户在某个时间，某个地方，以某种方式完成了具体事情。这是一个完整的envent

### 主要包含 ###

*  who  
    
    
     *  参与这个事件的是谁，目前使用（userNam作为唯一id，该字段必须存在）
 *  when  
    
    
     *  事件发生的事件，使用timestamp字段（精确到毫秒值）
 *  where  
    
    
     *  时间发生地点，（目前使用area字段表示地区，存储之前一定要确定地区表是否统一）
 *  how  
    
    
     *  触发这个事件的方式（用户登录的终端类型使用terminal字段，沿用传统统一使用1234）
 *  what  
    
    
     *  具体事件的内容
     *  如购买（可能需要商品id，商品名称，商品类型，购买数量，购买金额等）
     *  如点击（可能需要点击的接口的地址，点击位置‘直播/录播/只能刷题/模考大赛……’）

## user实体 ##

简单来说，每一个user实体对应一个真实的user用户（使用userName进行标识）主要存放一些固定的用户信息，如注册信息

## 其他实体 ##

如模考id名臣对应列表，直播录播房间列表等用于完成统计平台基础业务的数据。

## 用户行为(各种操作事件) ##

*  接口  
    
    
     *  [http://galaxy.htexam.com/galaxy-index/user/data/storm][http_galaxy.htexam.com_galaxy-index_user_data_storm]
 *  请求头拼接

try {
            HttpHeaders headers = new HttpHeaders();
            MediaType type = MediaType.parseMediaType("application/json; charset=UTF-8");
            headers.setContentType(type);
            headers.add("Accept", MediaType.APPLICATION_JSON.toString());
            //添加密码验证
            headers.add("Authorization", "Basic amJ6bTp6aGVuZ3lpd29haW5p");
            //拼装
            DataStorm dataStorm = DataStorm.builder().data(JSON.toJSON(collect)).dataType("elasticsearch").index("galaxy_active").type("user_active").build();
            HttpEntity<DataStorm> formEntity = new HttpEntity<>(dataStorm, headers);
            Object responseBody = restTemplate.postForObject(searchUserActiveIpAddress + "/user/data/storm", formEntity, Object.class);
    
        } catch (Exception e) {
            log.error("~~~~~~~~~调用数据平台接口异常~~~~~~~~~~", e);
        }
    }

*  上报格式  
    
    
     *  时间必须为毫秒值(时间字段名必须包含time)
     *  单次上传数据长度不得超过2000(具体长度待定)
     *  字段均已驼峰命名
     *  接受类如下格式

public class DataStorm { 
        /** * 索引名称 */
        private String index;
        /** * 索引类型 */
        private String type;
        /** * 接收数据 */
        private List<Map<String, Object>> data;
        /** * 数据存储位置 */
        private String dataType;
        /** * 偏移量类型 */
        private int offsetType;
    }

*  数据json示例

{
      "data": [ { "userId": 4540084, "userName": "015339432244", "productId": 50251, "title": "直播峰会之细说言语中的关键词", "moneyReceipt": "0", "payDate": "2016-01-02T08:28:00.000Z", "origin": "m", "type": 3, "payType": 4, "classType": 1 }, { "userId": 4540084, "userName": "015339432244", "productId": 50251, "title": "直播峰会之细说言语中的关键词", "moneyReceipt": "0", "payDate": "2016-01-02T08:28:00.000Z", "origin": "m", "type": 3, "payType": 4, "classType": 1 } ],
      "index": "galaxy",
      "type": "user_active",
      "dataType": "elasticsearch" }

*  索引介绍  
    
    
     *  上传数据之前需要和jbzm联系,确定index和type的命名.

# 关于清洗后的数据接入 #

对于接入清洗后的数据需要按量接入，接入前需要联系管理员，对数据进行审核，需要提交清洗后数据的上传字段报表。

## 按量接入 ##

### 换取偏移量 ###

[http://galaxy.htexam.com/galaxy-index/index/findCursor?type=1][http_galaxy.htexam.com_galaxy-index_index_findCursor_type_1]

改接口用来换取偏移量，换取偏移量的type字段需要和管理员商定。  
返回值index表示当前偏移量所处位置，long表示本次传输的长度

{"index":"1050441","long":"1000"}

在对数据清洗和转化之后需要按量发送到数据收集接口，需要提供一以几个字段  
\- offsetType  
\- 联系管理员获取，为永久字段，用来换取偏移量。  
\- offsetId  
\- 联系管理员定义，该字段为数据清洗后标识单条数据的唯一字段，用来确定每次存储的位置。  
\- dataType  
\- 联系管理员获取，该字段标识接收数据接后存储的位置。  
\- index  
\- 联系管理员获取，该字段标识数据索引位置。  
\- type  
\- 联系管理员获取，该字段标识数据索引类型。

[http_galaxy.htexam.com_galaxy-index_user_data_storm]: http://galaxy.htexam.com/galaxy-index/user/data/storm
[http_galaxy.htexam.com_galaxy-index_index_findCursor_type_1]: http://galaxy.htexam.com/galaxy-index/index/findCursor?type=1