spark-sql

谁借莪１个温暖的怀抱￠ 2022-07-18 04:08 110阅读 0赞

create table mt\_info\_day6(src int, tel string,submit\_time string,smscontent string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\#' STORED AS TEXTFILE;

load data local inpath '/home/MT\_INFO\_DAY.txt' into table mt\_info\_day6;  
  
create table teldb(tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\r\\n' STORED AS TEXTFILE;  
load data local inpath '/home/dengyulei/TEL.TXT' into table teldb;  
  
  
create table tel\_segment(tel string,city string,operator string ) partitioned  by(province string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;  
hive> insert into table test  
    > partition (age='25')  
    > select id, name, tel  
    > from wyp;  
  
  
select sum(\*) from (select count(\*) from mt\_info\_day union all select count(\*) from mt\_info\_day2 union all select count(\*) from mt\_info\_day3 union all select count(\*) from mt\_info\_day4 union all select count(\*) from mt\_info\_day5 union all select count(\*) from mt\_info\_day6) tmp;  
  
select \* from (select \* from mt\_info\_day union all select \* from mt\_info\_day2 union all select \* from mt\_info\_day3 union all select \* from mt\_info\_day4 union all select \* from mt\_info\_day5 union all select \* from mt\_info\_day6) tmp sort by rand() limit 100;

发表评论取消回复

表情：

评论列表（有 0 条评论，110人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL 概述

1.Spark SQL 概述 ![1604514-20190708024709346-1594338694.png][] ![1604514-20190708024...

ゝ一世哀愁。/ 2024年04月20日 09:10/ 0 赞/ 10 阅读

相关 SparkSQL 总结

SparkSQL 一. 概述 1.1 Hive and SparkSQL 1.2 SparkSQL 特点 1.3 DataF

爱被打了一巴掌/ 2024年04月07日 14:29/ 0 赞/ 19 阅读

相关 SparkSQL (二) --------- SparkSQL 核心编程

目录一、新的起点二、DataFrame 1. 创建 DataFrame 2. SQL 语法 3. DSL 语法

心已赠人/ 2024年04月07日 12:13/ 0 赞/ 12 阅读

相关 SparkSQL (一) --------- SparkSQL 概述

目录一、SparkSQL 是什么 ? 二、Hive and SparkSQL 三、SparkSQL 特点四、DataFrame 是什么?

た入场券/ 2024年04月07日 12:11/ 0 赞/ 21 阅读

相关 python sparksql

from pyspark.sql import SparkSession from os.path import abspath warehouse\_location =

亦凉/ 2023年08月17日 15:15/ 0 赞/ 46 阅读

相关 SparkSQL概述

Spark SQL概述 1. 什么是Spark SQL ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

水深无声/ 2023年01月01日 02:58/ 0 赞/ 132 阅读

相关 SparkSQL（三）：SparkSQL核心编程实践

文章目录一、IDEA 开发 SparkSQL 二、用户自定义函数 2.1 UDF 2.2 UDAF 三、数据的加载和保存

╰半橙微兮°/ 2022年12月23日 12:29/ 0 赞/ 296 阅读

相关 SparkSQL（二）：SparkSQL核心编程

文章目录一、SparkSQL 核心编程介绍二、SparkSQL 核心概念 2.1 DataFrame 2.1.1 创建 D

一时失言乱红尘/ 2022年11月21日 03:43/ 0 赞/ 193 阅读

相关 SparkSQL

SparkSQL的前身是Shark，它抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性

缺乏、安全感/ 2022年05月31日 02:06/ 0 赞/ 326 阅读

相关 Spark系列--SparkSQL(一)SparkSQL简介

一、SparkSQL简介 1、简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引

蔚落/ 2022年05月19日 05:13/ 0 赞/ 311 阅读