怎么做好网站分析这个项目，大数据行业必读 朱雀 2021-09-15 14:24 256阅读 0赞 导读： 网站分析也称Web分析(web analytics)。一言以蔽之，对于网站分析，个人的理解是：网站分析通过对网站各项数据指标进行解读与分析，从而了解和归纳网站浏览者的行为及洞察行为背后的需求，有针对性地对网站进行整体或细节的改善，提升网站运营水平和更好的满足网站用户需求。总之，网站分析是网站运营的一个核心模块。网站运营人员通过网站分析来改善网站和提高业绩。 下面就简单介绍一下在网站分析项目中用到的几个知识点简介 # 1，HDFS简介 # HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。 ![1529487039969bd2fc0b713][] 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 1，NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； 2，SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。 3， DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。 4，热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。 5，冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。 6， fsimage:元数据镜像文件（文件系统的目录树。） 7， edits：元数据的操作日志（针对文件系统做的修改操作记录） 8，namenode内存中存储的是=fsimage+edits。 SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。减少namenode的工作量。 # 2，flume概述 # Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。我们选用flume对内部多个系统的日志进行信号的采集、管理和查询，目前仅实现了信息管理功能，进一步会对报警、统计等功能进行开发。 flume的主要组件包括： Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等 工作流程包含两个部分： source->channel，数据由source写入channel，主动模式，主要步骤如下： 一个SourceRunner包含一个Source对象，一个Source对象包含一个ChannelProcessor对象，一个ChannelProcessor对象包含多个Interceptor对象和一个ChannelSelector对象 1）SourceRunner启动Source，Source接收Event 2) Source调用ChannelProcessor 3）ChannelProcessor调用Interceptor进行过滤Event操作 4）ChannelProcessor调用ChannelSelector对象根据配置的策略选择Event对应的Channel（replication和multiplexing两种） 5）Source将Event发送到对应的Channel中 channel->sink，数据由sink主动从channel中拉取（将压力分摊到sink,这一点类似于kafka的consumer） 一个SinkRunner对象包含一个SinkProcessor对象,一个SinkProcessor包含多个Sink或者一个SinkSelector 1）SinkRunner启动SinkProcessor(DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor 3种) 2）如果是DefaultSinkProcessor的话，直接启动单个Sink 3）FailoverSinkProcessor，LoadBalancingSinkProcessor对应的是SinkGroup 4）FailoverSinkProcessor从SinkGroup中选择出Sink并启动 5）LoadBalancingSinkProcessor包含SinkSelector，会根据SinkSelector在SinkGroup中选择Sink并启动 6)Sink 从Channel中消费Event信息 # 3，MapReduce简介 # MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。 MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段： 1. Map:把一个操作Map到集合中的每一个文档 2. Shuffle: 根据Key分组对文档，并且为每个不同的Key生成一系列(>=1个)的值表(List of values)。 3. Reduce: 处理值表中的元素，直到值表中只有一个元素。然后将值表返回到Shuffle过程，循环处理，直到每个Key只对应一个值表，并且此值表中只有一个元素，这就是MR的结果。 4. Finalize：此步骤不是必须的。在得到MR最终结果后，再进行一些数据“修剪”性质的处理。 MongoDB中使用emit函数向MapReduce提供Key/Value对。 Reduce函数接受两个参数：Key,emits. Key即为emit函数中的Key。 emits是一个数组，它的元素就是emit函数提供的Value。 Reduce函数的返回结果必须要能被Map或者Reduce重复使用，所以返回结果必须与emits中元素结构一致。 Map或者Reduce函数中的this关键字，代表当前被Mapping文档。 # 4，Spark简介 # 什么是 Spark Spark 是一个针对大规模数据处理的快速通用引擎 Spark 是 MapReduce 的替代方案，而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统，弥补 MapReduce 的不足 Spark核心： RDD(Resilient Distributed Datasets 弹性分布式数据集） RDD 可简单理解为： 一个提供了很多操作接口的数据集合，分布式存储于集群环境中的存储设备中（内存或硬盘），其中包括容错，并行处理等功能 ==> Spark 特点 \---> 快 \---- 优点：与Mapreduce 相比，Spark 基于内存运算，运算速度要快100倍，基于硬盘计算，运算速度要快 10 倍 \---- 缺点：没有对内存进行管理，把所有的内存管理都交给应用程序，以弥补MapReduce的不足， 容易出现 OOM（out of memory）, 可使用 Java Heap Dump 工具分析 Java 程序的内存溢出 \---> 易用 \---- Spark 支持 Java ，Python, Scala 的 API \---- 支持80多种算法 \---- 支持交互式，可以在shell 中使用Spark 验证解决问题的方法 通用（生态圈） \---- 批处理 \---- 交互式查询 （Spark SQL） \---- 实时流处理 （Spark Streaming） \---- 机器学习 ( Spark MLlib ) \---- 图计算 ( GraphX ) \---- 与 Hadoop 很好的融合， 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 还不成熟） 兼容性 可以非常方便的与其它开源产品进行融合 \---- 可以使用 Hadoop 的 YARN 和 Apache Mesos 作为它的资源管理调度器 \---- 可以处理所有 Hadoop 支持的数据：HDFS， HBase， Cassandra 等 \---- 不需要做任何的数据迁移就可以使用 Spark 的强大处理能力 \---- 可以不依赖第三方的资源管理和调度器，实现 Standalone 作为它的内置的资源管理和调试框架，降低部署的复杂性 \---- 提供了在 EC2 上部署 Standalone 的Spark 集群工具 Spark 生太圈 \---> Spark Core \---> Spark SQL \---> Spark Streaming \---> Spark MLLib: 机器学习 \---> Spark GraphX: 图计算 上面这四种知识点在我们这个网站分析项目里面是需要用到的，那么这个网站分析项目具体有哪些内容呢？下面我就大家介绍一下这个项目的制定框架。可以加我扣扣3300863615 来学习下面这个项目，我这里会有视频资料。 网站分析项目： # 1，项目介绍 # ![15294949358525cb8815a08][] 1 # 2，业务数据存储：HDFS # ![152949515261101e4fadde3][] 2 # 3,业务数据采集：Flume # ![1529495331855ea0e121e9c][] 3 # 4,数据清洗与加工：MapReduce # ![1529495417756ba2927282f][] 4 # 5,数据清洗与加工：Spark # ![15294956590908672abadf2][] 5 # 6，项目代码讲解及项目总结 # ![152956523304726fc7c076d][] 以上这些内容你了解完了这个项目也就可以完整的做好，有需要学习的可以关注我，我这里有整个完整的项目的视频，学完以后就可以做好这个项目了！ [1529487039969bd2fc0b713]: /images/20210724/3d59b1f88d5e46e9b95baf1067b60ae8.png [15294949358525cb8815a08]: /images/20210724/3817a8ddf03b4dc489cf5d3b3fced652.png [152949515261101e4fadde3]: /images/20210724/6aecb0f7d7194b84bc7d59f3426989be.png [1529495331855ea0e121e9c]: /images/20210724/45cc7c0bb7e944fbb9a921413141db35.png [1529495417756ba2927282f]: /images/20210724/459e0e895d264033861fc6d433260421.png [15294956590908672abadf2]: /images/20210724/1e4bc28c3f7f47dfb4d90547a2af7ed7.png [152956523304726fc7c076d]: /images/20210724/73489c5d88c04b368a3ecf1c719870a1.png
还没有评论，来说两句吧...