spark项目实战：电商分析平台之项目概述

桃扇骨 2022-01-23 10:49 244阅读 0赞

# spark项目实战：电商分析平台之项目概述 #

--------------------

## 目录 ##

1.  项目概述
2.  程序架构分析
3.  需求解析
4.  初始代码和完成代码存放在github上面

--------------------

### 1. 项目概述 ###

--------------------

1.  在访问电商网站时，我们的一些访问行为会产生相应的埋点日志（例如点击、搜索、下单、购买等），这些埋点日志会被发送给电商的后台服务器，大数据部门会根据这些埋点日志中的数据分析用户的访问行为，并得出一系列的统计指标，借助这些统计指标指导电商平台中的商品推荐、广告推送和网站优化等工作。
2.  上报到服务器数据采集、过滤、存储、分析、可视化这一完整流程，电商平台通过对海量用户行为数据的的埋点日志数据会经过分析，可以对用户建立精准的用户画像，同时，对于用户行为的分析，也可以帮助电商网站找到网站的优化思路，从而在海量用户数据的基础上对网站进行改进和完善。

--------------------

### 2. 程序架构分析 ###

--------------------

1.  日志采集框架  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]

--------------------

### 3. 需求解析 ###

--------------------

1.  离线数据解析  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]  
    对应数据形式  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 2]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 3]

--------------------

### 4. 初始代码和完成代码存放在github上面 ###

初始代码： [https://github.com/githubIMrLi/spark-commerce\_basic][https_github.com_githubIMrLi_spark-commerce_basic]  
完整代码：[https://github.com/githubIMrLi/spark-commerce][https_github.com_githubIMrLi_spark-commerce]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]: /images/20220123/961cd15ff3b14340a54f608694425e32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]: /images/20220123/8db6b7e12bb748049d6ac6b11d1627e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 2]: /images/20220123/c856ac9fe8874a9ea58967baa2cf694c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 3]: /images/20220123/46629b7d09be4219b2e78162d8c086a1.png
[https_github.com_githubIMrLi_spark-commerce_basic]: https://github.com/githubIMrLi/spark-commerce_basic
[https_github.com_githubIMrLi_spark-commerce]: https://github.com/githubIMrLi/spark-commerce