Spark（Python版）——大数据技术

红太狼 2023-01-18 04:08 118阅读 0赞

## 大数据关键技术 ##

*  **分布式存储**  
    解决数据存储问题  
    GFS  
    HDFS  
    BigTable  
    HBase  
    NoSQL
 *  **分布式处理**  
    解决数据高效计算问题  
    MapReduce  
    Spark

## 大数据计算模式 ##

不同的计算模式需要使用不同的产品

*  批处理计算：MapReduce、Spark
 *  流计算：需要实时处理，给出实时响应（Storm，Flume）
 *  图计算：如社交网络数据
 *  查询分析计算：Dremel、Hive

## Hadoop ##

它不是单一产品，是一个完整的生态系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70]

*  **HDFS** 是一个分布式文件系统，用来海量分布式文件存储。
 *  **YARN** 是用来提供资源调度和管理服务。
 *  **MapReduce** 是分布式计算框架。
 *  **Hive** 是编程接口，将SQL语句自动转换对HDFS查询分析，得到结果。
 *  **Pig** 是数据流处理  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 1]
 *  **Mahout** 是常用数据挖掘算法分类、聚类、回归等。
 *  **HBase** 是分布式数据库。
 *  **Flume** 做日志采集。
 *  **Sqoop** 完成Hadoop系统组件之间的互通。

## Spark ##

Spark也是一个完备生态系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 2]

*  Spark Core：满足企业批处理
 *  Spark SQL：满足查询分析
 *  Spark Streaming：满足流计算
 *  MLlib：机器学习算法库
 *  GraphX：满足图计算

MapReduce缺点：

*  表达能力有限  
    MapReduce将复杂业务逻辑抽象为Map函数和Reduce函数，其限制了表达能力。并非所有问题都能抽象为Map和Reduce
 *  磁盘IO开销大，迭代次数大的话就会不断读磁盘写磁盘
 *  延迟大

Spark本质上计算模式也是MapReduce，但是操作不局限于Map和Reduce两个操作，提供了更多的操作类型。而且Spark会存储在内存中，磁盘IO开销很小。

而Spark单纯是一种计算框架，等价于MapReduce。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 3]

## Flink和Beam ##

Flink是和Spark类似的计算框架。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 4]

Spark社区更好！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70]: /images/20221021/4e65a5848be34ff99f2937346280202d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 1]: /images/20221021/96cdd8a24e2b4c7d9a32ffc0c25d2af2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 2]: /images/20221021/5d2ee96d427c4da6834c0d508a9444c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 3]: /images/20221021/bfc91a8813f64c74a5a26298c765134f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 4]: /images/20221021/9d9bb3bddd824362a83dff630770af8e.png