如何搭建大数据分析平台

ゝ一纸荒年。 2022-02-25 14:54 449阅读 0赞

最热门的大数据技术：hadoop

大数据平台搭建：

①通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集（如集成flume），提供灵活、可配置的数据采集能力。

②利用spark和hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求。同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时指标体系。

③为了更好的满足的数据获取需求，通过RDBMS，提供企业高度汇总的统计数据，满足企业常规的统计报表需求，降低使用门槛。对大数据明细查询需求，则通过构建HBase集群，提供大数据快速查询能力，满足对大数据的查询获取需求。

--------------------

名词解释：

①[Hadoop][]是一个由Apache基金会所开发的[分布式系统][Link 1]基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个[分布式文件系统][Link 2]（Hadoop Distributed File System），简称HDFS。HDFS有高[容错性][Link 3]的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问[应用程序][Link 4]的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

--------------------

名词解释：

②**Kafka**是由[Apache软件基金会][Apache]开发的一个开源流处理平台，由[Scala][]和[Java][]编写。Kafka是一种高吞吐量的[分布式][Link 5]发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像[Hadoop][]一样的[日志][Link 6]数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过[Hadoop][]的并行加载机制来统一线上和离线的消息处理，也是为了通过[集群][Link 7]来提供实时的消息。

--------------------

名词解释：

③**Apache Spark** 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

--------------------

名词解释：

④**Flume（日志收集系统）**是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

--------------------

名词解释：

⑤**RDBMS**即关系数据库管理系统(Relational Database Management System)，是将数据[组织][Link 8]为相关的行和列的[系统][Link 9]，而管理关系数据库的计算机软件就是[关系][Link 10]数据库管理系统，常用的[数据库][Link 11]软件有[Oracle][]、[SQL Server][]等。

--------------------

名词解释：

⑥**HBase**是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的[分布式存储系统][Link 12]”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

[Hadoop]: https://baike.baidu.com/item/Hadoop
[Link 1]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E7%BB%9F/4905336
[Link 2]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F/1250388
[Link 3]: https://baike.baidu.com/item/%E5%AE%B9%E9%94%99%E6%80%A7/9131391
[Link 4]: https://baike.baidu.com/item/%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F/5985445
[Apache]: https://baike.baidu.com/item/Apache%E8%BD%AF%E4%BB%B6%E5%9F%BA%E9%87%91%E4%BC%9A
[Scala]: https://baike.baidu.com/item/Scala
[Java]: https://baike.baidu.com/item/Java/85979
[Link 5]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F/19276232
[Link 6]: https://baike.baidu.com/item/%E6%97%A5%E5%BF%97/2769135
[Link 7]: https://baike.baidu.com/item/%E9%9B%86%E7%BE%A4/5486962
[Link 8]: https://baike.baidu.com/item/%E7%BB%84%E7%BB%87/10200
[Link 9]: https://baike.baidu.com/item/%E7%B3%BB%E7%BB%9F/479832
[Link 10]: https://baike.baidu.com/item/%E5%85%B3%E7%B3%BB/4546
[Link 11]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%BA%93
[Oracle]: https://baike.baidu.com/item/Oracle
[SQL Server]: https://baike.baidu.com/item/SQL%20Server
[Link 12]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F/6608875