[Hadoop] Spark SQL

╰+哭是因爲堅強的太久メ 2022-05-15 12:46 175阅读 0赞

# Spark SQL #

[Spark SQL ][Spark SQL]is Apache Spark's module for working with structured data.

由于Hive太慢而产生的一系列SQL on Hadoop框架：

*  Hive：优点上手快，缺点运行速度太慢
 *  Impala
 *  Presto：国内有京东在使用
 *  Shark：把hive跑在spark之上
 *  Drill
 *  HAWQ
 *  Phoenix：构建在hbase上的一个SQL引擎

由于这些框架还是没能完美解决问题，所以社区里就产生了两条路线：Spark SQL 和Hive on Spark。这两个框架当中，Hive on Spark对SQL支持的东西要更多一些，Hive能支持的东西Spark不一定支持。但是目前生产上不推荐使用Hive on Spark，这个框架目前的成熟度还不高。

*  Spark SQL
 *  Hive on Spark：即将hive底层的执行引擎改成Spark。它支持三个执行引擎：MapReduce，Tez，Spark。

特性：

*  Integrated：集成性。与Spark应用程序无缝对接。
 *  Uniform Data Access：统一的数据访问，数据进来统一注册成临时表，或者直接使用API。Spark API：SQL、DataFrame/Dataset。
 *  Hive Integration：与Hive的集成性。使用Spark SQL不一定要有Hive，只要有Hive的metastores就可以。
 *  Standard Connectivity：标准的连接。JDBC/ODBC连接。比如启动Hive的ThriftServer2，Spark就可以通过JDBC/ODBC来连接Hive了。

Spark SQL is not about SQL，Spark SQL is about more than SQL。

Spark SQL演变历程：

*  1.0.0 版本：Spark SQL
 *  1.3.0 版本：DataFrames and SQL
 *  2.0.0 版本：DataFrames, Datasets and SQL。

扩展：由于Spark SQL可以处理结构化的数据，我们就可以使用Spark SQL这个模块来做ETL操作这个地方需要借助DataSource API。其中DataSource API有V1和V2版本，V2版本是在Spark2.3版本之后出来的。

Spark SQL架构：

![timg_image_quality_80_size_b9999_10000_sec_1535649472768_di_45801cde7d70dcafbc3946d30fa7ac31_imgtype_0_src_http_3A_2F_2Fwww.it165.net_2Fuploadfile_2Ffiles_2F2014_2F1010_2F20141010191617424.png][]

![timg_image_quality_80_size_b9999_10000_sec_1535649333346_di_546fcc04b8664501b3b7127e38a64188_imgtype_jpg_src_http_3A_2F_2Fimg2.imgtn.bdimg.com_2Fit_2Fu_3D265671557_2C659067917_26fm_3D214_26gp_3D0.jpg][]

Hive AST：抽象语法树。

[Spark SQL]: http://spark.apache.org/sql/
[timg_image_quality_80_size_b9999_10000_sec_1535649472768_di_45801cde7d70dcafbc3946d30fa7ac31_imgtype_0_src_http_3A_2F_2Fwww.it165.net_2Fuploadfile_2Ffiles_2F2014_2F1010_2F20141010191617424.png]: https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1535649472768&di=45801cde7d70dcafbc3946d30fa7ac31&imgtype=0&src=http%3A%2F%2Fwww.it165.net%2Fuploadfile%2Ffiles%2F2014%2F1010%2F20141010191617424.png
[timg_image_quality_80_size_b9999_10000_sec_1535649333346_di_546fcc04b8664501b3b7127e38a64188_imgtype_jpg_src_http_3A_2F_2Fimg2.imgtn.bdimg.com_2Fit_2Fu_3D265671557_2C659067917_26fm_3D214_26gp_3D0.jpg]: https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1535649333346&di=546fcc04b8664501b3b7127e38a64188&imgtype=jpg&src=http%3A%2F%2Fimg2.imgtn.bdimg.com%2Fit%2Fu%3D265671557%2C659067917%26fm%3D214%26gp%3D0.jpg