11.8 spark SQL读取hive数据

Dear 丶 2022-05-16 00:20 167阅读 0赞

1，启动hdfs集群

2，启动hive

create database testdb 创建testdb库

关闭hive保留关键字检查功能：

set hive.support.sql11.reserved.keywords=false

创建一张userlog表：

CREATE TABLE IF NOT EXISTS testdb.userlog(

date string ,

timestamp string ,

user\_id string ,

page\_id string ,

channel string ,

action string

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' ;

表中插入数据：加载本地数据到hive

load data local inpath '/root/resource/userLog' into table testdb.userlog;

hive中的测试操作：是用来和Spark core性能对比

查询page的PV

SELECT date,page\_id,count(\*) pv FROM userlog WHERE action = 'View' GROUP BY date, page\_id ORDER BY pv DESC LIMIT 10;

查询page的UV

SELECT date, page\_id, count(distinct(user\_id)) uv FROM userlog WHERE action = 'View' GROUP BY date,page\_id ORDER BY uv DESC LIMIT 3;

最热门的channel

SELECT date,channel,count(\*) channelpv FROM userlog WHERE action = 'View' GROUP BY date, channel ORDER BY channelpv DESC LIMIT 10;

spark core操作：

1，启动spark

2，开启Hive的metaStore服务 在~目录下 ./startHiveMetastoreService.sh启动

3，启动spark core ： ./spark-shell --master spark://node1:7077 --total-executor-cores 3

4、import org.apache.spark.sql.hive.HiveContext

val hc = new HiveContext(sc)

hc.sql("show databases").show //查看数据库结构

hc.sql("use testdb").show //切换到testdb库

hc.sql("SELECT date,page\_id,count(\*) pv FROM userlog WHERE action = 'View' GROUP BY date, page\_id ORDER BY pv DESC LIMIT 10").show

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 读取hive数据写入hbase

，saveAsNewAPIHadoopDataset批量写入（千万级别以下使用） > import org.apache.hadoop.hbase.client...

末蓝、/ 2024年04月17日 06:30/ 0 赞/ 9 阅读

相关 Spark 读取 Hive 数据及相关问题解决

1. 示例代码 1. SparkHiveAPP 主类注意: 需要将 core-site.x

我就是我/ 2023年08月17日 16:01/ 0 赞/ 71 阅读

相关 Hive Sql/ Spark Sql 数据倾斜优化方案

[(260条消息) spark sql 数据倾斜案例实操\_苏苏爱自由-CSDN博客\_spark sql 数据倾斜][260_ spark sql _-CSDN_spark

向右看齐/ 2022年10月16日 07:38/ 0 赞/ 178 阅读

相关 spark sql读取hive数据直接写入doris，离线批量导入

先简单的贴贴代码，后面会完善一下。一，spark sql 读取hive表这里通过catalog查询表的字段信息，然后查询出来的字段colStr 要给下面的

心已赠人/ 2022年09月11日 12:22/ 0 赞/ 843 阅读

相关 Spark SQL Hive Tables

Spark SQL also supports reading and writing data stored in [Apache Hive][]. However, sin

蔚落/ 2022年06月13日 05:25/ 0 赞/ 146 阅读

相关 Spark SQL读取hive数据时报找不到mysql驱动

Exception： Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke th

谁践踏了优雅/ 2022年05月21日 03:43/ 0 赞/ 158 阅读

相关 SPARK Spark SQL读取hive数据时报找不到mysql驱动

错误提示：Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave an error `将

心已赠人/ 2022年05月19日 12:11/ 0 赞/ 168 阅读

相关 11.9 spark SQL读取MySQL数据

注意别忘记了驱动包：mysql-connector-java-5.1.6.jar public static void main(String\[\] args) \{

绝地灬酷狼/ 2022年05月16日 03:13/ 0 赞/ 163 阅读

相关 11.8 spark SQL读取hive数据

1，启动hdfs集群 2，启动hive create database testdb 创建testdb库关闭hive保留关键字检查功能： set hive.suppo

Dear 丶/ 2022年05月16日 00:20/ 0 赞/ 168 阅读

相关 Spark SQL+Hive历险记

\[size=medium\] 基础依赖环境 Apache Hadoop2.7.1 Apache Spark1.6.0 Apache Hive1.2.1

怼烎@/ 2022年04月12日 12:27/ 0 赞/ 176 阅读