电影推荐系统

红太狼 2024-04-17 15:17 12阅读 0赞

**目录：**

1.  **项目时间**：2016-09 - 2017-09
2.  **技术架构**：Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
3.  **项目描述：**
    
    1.  新区注册人数和时段的关系
    2.  区组金钱充值和合区的分析
    3.  游戏的日志产生消息。
    4.  该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去  
        分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据  
        支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务  
        参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线  
        程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量  
        数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,  
        利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。
    5.  这是一个基于hadoop生态圈的离线数据分析平台，使用CM搭建并部署了Hadoop HA高可用集群，通过Ngnix服务器生成用户行为日志，使用Flume周期性收集日志数据并上传至HDFS文件系统，使用MapReduce进行数据清洗，通过Hive从时间、地域、浏览器等多个维度对活跃用户数、新注册用户数、二跳率进行多维度分析统计；并将这些指标使用Hcharts表进行图表化展示给产品经理和甲方决策者看，借此指标分析进行女性商品精准营销与推荐；
4.  **责任描述：**
    
    1.  审核数据平台项目总体技术方案，对各项目进行质量评估；参与应用分析系统的系统分析、设计以及实施工作负责分析数据采集需求，全局设计数据处理的技术流程和规范；负责设计改良数据质量根据实际情况解决核心数据质量问题；研究与跟踪大数据新技术发展方向，主持制定大数据平台技术发展战略规划；负责大数据部门的技术研究、技术知识培训要求拥有5年以上Hadoop开发设计和实施经验，有分布式系统架构设计的经验，有Hadoop系统架构设计经验，至少1个以上大型成熟项目的经验；2对Hadoop相关的技术和组件HDFS，MR，Hase，Hive，Spark，Storm等有全面深入了解，能够熟练安装、配置、部署和优化大型Hadoop的。
    2.  1、参与产品需求分析，技术方案选型，hadoop等开发环境的搭建；  
        2、编写、测试、优化MR程序对Flume收集上传到HDFS的数据进行清洗与过滤；  
        3、通过编写Hive HQL程序从时间、地域、浏览器等多个维度对pv，uv，活跃用户数、新注册用户数、二跳率等指标进行多维度分析统计;  
        4、编写Sqoop命令周期性或采用增量方式将处理好的结果表数据导入到MySQL中。
    3.  负责从Kafka导入数据分析各个时段的各个站点的客流量，  
        运用spark-streaming计算，并输出到数据库。
5.  参考网址
    
    1.  [大数据项目（三）————电商模块四（五][Link 1]
    2.  [架构（B站尚硅谷大数据项目实践 电影推荐系统概述）][B_]
    3.  [电影推荐系统代码详细解释][Link 2]

[Link 1]: https://blog.csdn.net/Jorocco/article/details/81368457
[B_]: https://blog.csdn.net/qq_41853536/article/details/88866367
[Link 2]: https://blog.csdn.net/appleyuchi/article/details/72462518