spark-sql执行hivesql

朴灿烈づ我的快乐病毒、 2022-05-15 03:23 309阅读 0赞

spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。  
我们执行hive命令一般都是

hive -e 'select * from xx'
    或者 
    hive -f /home/hadoop/xx.hql -d dt=2018-01-01

但是hive底层使用mr执行速度实在不忍直视，安装hive on spark又太麻烦了，怎么办呢？其实，spark也有基于hive执行sql脚本的提交任务方式，就是spark-sql

spark-sql --master yarn-client -e 'select * from xx'
    spark-sql --master yarn-client  dt=2018-01-01 -f '/home/hadoop/xx.hql'

不过spark对机器内存性能要求很高，容易执行失败，如果spark-sql执行失败，出现内存溢出的情况，还是使用hive比较稳定。  
这里spark-sql能查询到hive表是怎么配置的呢？只需要把hive-sit.xml复制到spark安装目录的conf目录下即可。  
spark-sql缺点：执行语句insert overwrite table xx…在结果目录会有大量小文件，容易内存溢出执行失败

[我的GitHub][GitHub]  
QQ：2541692705  
邮箱：loyalwilliams@163.com  
微信扫一扫关注我，没事可以玩玩小游戏  
![20190521165139570.png][]  
  
  
我想去流浪，我想去读书，若有机会，江湖再见  
扫一扫，领取红包，就当奖励你我付出的努力  
![20181213140254471.png][]

[GitHub]: https://github.com/LoyalWilliams
[20190521165139570.png]: /images/20220515/326b21341b15468d975ce7e40b3281d0.png
[20181213140254471.png]: /images/20220515/52627170a47a4a9981be64fee828c1a7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，309人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL (二) --------- SparkSQL 核心编程

目录一、新的起点二、DataFrame 1. 创建 DataFrame 2. SQL 语法 3. DSL 语法

心已赠人/ 2024年04月07日 12:13/ 0 赞/ 48 阅读

相关 SparkSQL (一) --------- SparkSQL 概述

目录一、SparkSQL 是什么 ? 二、Hive and SparkSQL 三、SparkSQL 特点四、DataFrame 是什么?

た入场券/ 2024年04月07日 12:11/ 0 赞/ 51 阅读

相关 HiveSQL/SparkSQL的 round() 、floor()和 ceil()的用法

HiveSQL/SparkSQL的 round() 、floor()和 ceil()的用法 1、概述 > round 四舍五入 > floor 取左值

谁借莪１个温暖的怀抱￠/ 2023年01月18日 04:17/ 0 赞/ 200 阅读

相关 sparkSQL执行计划详解

一：首先将我们从文本中读取的数据映射到表也就是视图 eg: 　　$>cat b.txt 　　1 ded 　　2 dsfre 　　3 sfs 　　4 fr

灰太狼/ 2022年12月13日 01:30/ 0 赞/ 458 阅读

相关 SparkSQL（二）：SparkSQL核心编程

文章目录一、SparkSQL 核心编程介绍二、SparkSQL 核心概念 2.1 DataFrame 2.1.1 创建 D

一时失言乱红尘/ 2022年11月21日 03:43/ 0 赞/ 218 阅读

相关 SparkSQL

SparkSQL的前身是Shark，它抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性

缺乏、安全感/ 2022年05月31日 02:06/ 0 赞/ 360 阅读

相关 hivesql优化

1. 业务处理优化原则 Hive对复杂SQL没有关系形数据库表现好，业务过程可使用临时表使用过程更清晰简单；关联条件尽可能避免使用函数、正则表达式。

左手的ㄟ右手/ 2022年05月22日 04:21/ 0 赞/ 192 阅读

相关 Spark系列--SparkSQL(三)执行SparkSQL查询

前言 SparkSession > 在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫Hiv

叁歲伎倆/ 2022年05月19日 08:15/ 0 赞/ 477 阅读

相关 spark-sql执行hivesql

spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。我们执行hive命

朴灿烈づ我的快乐病毒、/ 2022年05月15日 03:23/ 0 赞/ 310 阅读

相关一、HiveSQL基本操作

文章目录一、Hive数据类型 1、基本类型 2、复杂类型二、存储格式 1、te

约定不等于承诺〃/ 2022年05月08日 11:28/ 0 赞/ 268 阅读