Spark SQL概述及特点详解

╰+攻爆jí腚メ 2022-12-10 01:21 216阅读 0赞

### 目录 ###

*   *  一、Spark SQL概念
     *  二、Spark SQL的特点
     *  三、Spark SQL 与 Hive 的区别

## 一、Spark SQL概念 ##

它主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。一般来说，Spark每支持一种新的应用开发，都会引入一个新的Context及相应的RDD，对于SQL这一特性来说，引入的就是SQLContext和SchemaRDD。注意：在Spark1.3之后，SchemaRDD已经更名为DataFrame，但它本质就类似一个RDD，因为可以将DataFrame无缝的转换成一个RDD。

## 二、Spark SQL的特点 ##

*  提供标准化的SQL支持和子查询支持
 *  支持多种数据源： Hive、 RDD、Parquet、 JSON、 JDBC等。
 *  多种性能优化技术： in memory columnar storage、byte code generation、cost model动态评估等。
 *  组件扩展性：对于SQL的语法解析器、分析器以及优化器，用户都可以自已重新开发，并且动态扩展。

1、内存列存储（in-memory columnar storage）  
内存列存储意味着，Spark SQL的数据，不是使用Java对象的方式来进行存储，而是使用面向列的内存存储的方式来进行存储。也就是说，每一列，作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后，减少了对内存的消耗，也就避免了gc大量数据的性能开销。

2、字节码生成技术（byte code generation）  
Spartk SQL在其catalyst模块的expressions中增加了codegen模块，对于SQL语句中的计算表达式，比如select num +num from t这种的sql，就可以使用动态字节码生成技术来优化其性能。

3、Scala代码编写的优化  
对于Scala代码编写中，可能会造成较大性能开销的地方，自己重写，使用更加复杂的方式，来获取更好的性能。比如Option样例类、for循 环、map/filter/foreach等高 阶函数，以及不可变对象，都改成了用null、while循 环等来实现，并且重用可变的对象。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]

## 三、Spark SQL 与 Hive 的区别 ##

前面介绍了spark sql的基本概念，下面介绍一下Spark SQL 与 Hive 的区别。  
***什么是Spark SQL***

*  Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息建表时表的字段及其类型）的一个模块
 *  提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象
 *  其实之上是一个分布式的 SQL 引擎

***什么是 Hive***

*  数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集
 *  结构可以映射到已经存储的数据上
 *  用户连接 Hive 可以使用命令行工具和 JDBC 驱动

***两者的区别***

**都支持ThriftServer服务，为JDBC提供解决方案，区别如下：**  
**Spark SQL**

*  是Spark的一个库文件
 *  Spark SQL 元数据可有可无
 *  Spark SQL 中 schema 是自动推断的
 *  支持标准 SQL 语句，也支持 HQL 语句等
 *  从开发角度来讲，即支持SQL方式开发，也支持HQL开发，还支持函数式编程（DSL）实现SQL语句

**Hive**

*  是一个框架
 *  Hive中必须有元数据，一般由 MySql 管理，必须开启 metastore 服务
 *  Hive 中在建表时必须明确使用 DDL 声明 schema
 *  只支持 HQL 语句

Hive：处理海量数据，比如一个月、一个季度、一年的数据量，依然可以处理，虽然很慢；  
Spark SQL：这种情况下 Spark SQL 不支持，无法处理；

参考文章：  
[https://blog.csdn.net/weixin\_44196083/article/details/92404776][https_blog.csdn.net_weixin_44196083_article_details_92404776]

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/de76f183059e4c83ba933575ef282fa1.png
[https_blog.csdn.net_weixin_44196083_article_details_92404776]: https://blog.csdn.net/weixin_44196083/article/details/92404776