spark sql基本使用方法介绍

超、凢脫俗 2022-06-15 07:45 391阅读 0赞

转载：http://blog.csdn.net/lansetiankong12/article/details/51992463

spark sql基本使用方法介绍

[Spark][]中可以通过spark sql 直接查询[Hive][]或impala中的数据，

一、启动方法

/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10  --executor-memory 1g --executor-cores  2

注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径

/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项

\--master MASTER\_URL           指定master url

\--executor-memory MEM          每个executor的内存，默认为1G

\--total-executor-cores NUM       所有executor的总核数

\-e <quoted-query-string>           直接执行查询SQL

\-f <filename>                              以文件方式批量执行SQL

二、Spark sql对hive支持的功能

1、查询语句：SELECT GROUP BY ORDER BY CLUSTER BY SORT BY

2、hive操作运算：

1) 关系运算：= ==, <>, <, >, >=, <=

2) 算术运算：+, -, \*, /, %

3) 逻辑运算：AND, &&, OR, ||

4) 复杂的[数据结构][Link 1]

5) 数学函数：(sign, ln, cos, etc)

6) 字符串函数：

3、 UDF

4、 UDAF

5、 用户定义的序列化格式

6、join操作：JOIN     \{LEFT|RIGHT|FULL\} OUTER JOIN     LEFT SEMI JOIN    CROSS JOIN

7、 unions操作：

8、 子查询： SELECT col FROM ( SELECT a + b AS col from t1) t2

9、Sampling

10、 Explain

11、  分区表

12、 视图

13、  hive ddl功能：CREATE TABLE、CREATE TABLE AS SELECT、ALTER TABLE

14、 支持的数据类型：TINYINT  SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY TIMESTAMPDATE  ARRAY MAP STRUCT

三、Spark sql 在客户端编程方式进行查询数据

1、启动spark-shell

./spark-shell --master spark://master:7077 --total-executor-cores 10  --executor-memory 1g  --executor-cores  2

2、编写程序

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val df = sqlContext.read.json("../examples/src/main/resources/people.json")

查看所有数据：df.show()

查看表结构：df.printSchema()

只看name列：df.select("name").show()

对数据运算：df.select(df("name"), df("age") + 1).show()

过滤数据：df.filter(df("age") > 21).show()

分组统计：df.groupBy("age").count().show()

1、查询txt数据

import sqlContext.implicits.\_

case class Person(name: String, age: Int)

val people = sc.textFile("../examples/src/main/resources/people.txt").map(\_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()

people.registerTempTable("people")

val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")

2、parquet文件

val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")

3、hdfs文件

val df = sqlContext.read.load("hdfs://namenode.[Hadoop][]:9000/user/hive/warehouse/spark\_test.db/test\_parquet/part-r-00001.gz.parquet")

４、保存查询结果数据

val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")

df.select("name", "favorite\_color").write.save("namesAndFavColors.parquet“)

四、Spark sql性能调优

缓存数据表：sqlContext.cacheTable("tableName")

取消缓存表：sqlContext.uncacheTable("tableName")

spark.sql.inMemoryColumnarStorage.compressedtrue　当设置为true时，Spark SQL将为基于数据统计信息的每列自动选择一个压缩[算法][Link 1]。

spark.sql.inMemoryColumnarStorage.batchSize　10000　柱状缓存的批数据大小。更大的批数据可以提高内存的利用率以及压缩效率，但有OOMs的风险

[Spark]: http://lib.csdn.net/base/spark
[Hive]: http://lib.csdn.net/base/hive
[Link 1]: http://lib.csdn.net/base/datastructure
[Hadoop]: http://lib.csdn.net/base/hadoop

spark sql基本使用方法介绍

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 pubsubjs介绍以及基本使用方法介绍

相关 pyspark系列5-Spark SQL介绍

相关使用Spark SQL JDBC

相关 Spark sql常用方法

相关 Java-Spark系列5-Spark SQL介绍

相关 Spark的基本数据结构RDD介绍

相关 spark sql基本使用方法介绍

相关 Spark SQL基本概念与基本用法

相关 SparkSql介绍与基本使用；Spark Sql编程：优化点；集成Spark集成使用Hvie中的数据

相关 js变量的基本使用方法介绍