Flink 统计页面点击量
前言
在一些大型的电商网站上,对于产品经理或线上推广的营销人员来说,经常需要对页面的点击量进行分析统计,从而为页面的广告投放做更精确的数据支撑;
在实际的业务场景中,大致是这样的一个流程,页面先做用户行为的日志数据埋点,然后由实时或准实时应用将行为数据经过ETL落盘(HDFS或大数据存储引擎),之后再由下游应用对这些行为日志的数据根据业务指标进行统计分析,输出并展示成相关的大屏或报表;
如下,为一个经过ETL之后的页面点击行为的CSV文件,对于每一行数据来说,按照逗号进行分割的话,从左到右,每个字段的含义依次表示:用户ID,广告ID,省份,城市,以及时间戳;
业务实现的需求:
- 从埋点日志中,统计每小时页面广告的点击量,5秒刷新一次,并按照不同省份进行划分;
- 对于“刷单”式的频繁点击行为进行过滤,并将该用户加入黑名单;
解决思路分析:
- 根据省份进行分组,创建长度为1小时、滑动距离为5秒的时间窗口进行统计
还没有评论,来说两句吧...