spark java dataframe_小记--------sparksql和DataFrame的小小案例java、scala版本

骑猪看日落 2022-11-06 10:48 150阅读 0赞

package cn.spark.study.sql;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.sql.SQLContext;/\*\*

\* 创建dataframe\*/

public classDataFrameCreate \{public static voidmain (String\[\] args)\{

SparkConf conf= newSparkConf()

.setAppName("DataFrameCreate")

.setMaster("local");

JavaSparkContext sc= newJavaSparkContext(conf);

SQLContext sqlContext= newSQLContext(sc);

sqlContext.read().json("hdfs://spark1:9000/test.json").show();

\}

\}//=======================分隔符======================================

package cn.spark.study.sql;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.sql.Dataset;

import org.apache.spark.sql.Row;

import org.apache.spark.sql.SQLContext;/\*\*

\* dataframe常用操作\*/

public classDataFrameOperation \{public static voidmain(String \[\] args)\{//创建DataFrame

SparkConf conf = newSparkConf()

.setAppName("DataFrameCreate");

JavaSparkContext sc= newJavaSparkContext(conf);

SQLContext sqlContext= newSQLContext(sc);//创建出来的DataFrame完全可以理解为一张表

Dataset json = sqlContext.read().json("hdfs://spark1:9000/students.json");//打印dataframe ；select \* from 表名

json.show();//打印dataframe的元数据信息(schema)

json.printSchema();//查询某一列的数据

json.select("name").show();//查询多列 name ，age 并对所有的age列的结果值加1

json.select(json.col("name") , json.col("age").plus(1)).show();//对某一列的值进行过滤；eg:只展示age字段值大于18的数据

json.select(json.col("age").gt(18)).show();//根据某一列进行分组，并聚合；eg：通过age分组，并求出每组的个数

json.groupBy("age").count().show();

\}

\}

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL通过Mysql创建DataFrame

一、数据源 CREATE TABLE student( id int not null primary key, name var

￡神魔★判官ぃ/ 2023年07月06日 06:19/ 0 赞/ 12 阅读

相关 SparkSQL通过Hive创建DataFrame

SparkSQL通过Hive创建DataFrame问题分析问题一 Caused by: org.apache.spark.sql.catalyst.an

ゝ一纸荒年。/ 2023年07月06日 06:19/ 0 赞/ 14 阅读

相关 pandas的dataframe转spark的dataframe 互转

目录 pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe ------------

系统管理员/ 2022年11月19日 12:55/ 0 赞/ 238 阅读

相关 spark java dataframe_小记--------sparksql和DataFrame的小小案例java、scala版本

package cn.spark.study.sql; import org.apache.spark.SparkConf; import org.apache.spark

骑猪看日落/ 2022年11月06日 10:48/ 0 赞/ 151 阅读

相关 Spark：DataFrame使用

Spark SQL Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是 `DataFrame`。 `DataFra

左手的ㄟ右手/ 2022年09月10日 14:14/ 0 赞/ 182 阅读

相关 SparkSQL学习笔记(一)DataFrame

Spark1.5.2版本简介： DataFrame是分布式数据和数据结构组成的组织集合，概念等同于关系型数据库里的表(dataframe.registerTempTabl

太过爱你忘了你带给我的痛/ 2022年08月14日 05:43/ 0 赞/ 220 阅读

相关 Spark系列--SparkSQL(四)RDD、DataFrame、DataSet之间的转换

前言创建DataFrame主要有三种方式：从Spark数据源进行创建从RDD进行转换从Hive Table进行查询返回(后面讲述) 一、R

Love The Way You Lie/ 2022年05月19日 08:55/ 0 赞/ 203 阅读

相关 Spark系列--SparkSQL(二)RDD、DataFrame、DataSet

前言在SparkCore中我们知道数据抽象是RDD，在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么

一时失言乱红尘/ 2022年05月19日 05:16/ 0 赞/ 232 阅读

相关 sparksql: RDD ,DataFrame, DataSet

1, 基本概念 spark 1.5及以前 <table> <thead> <tr> <th>范围</th> <th align="lef

太过爱你忘了你带给我的痛/ 2022年02月27日 11:28/ 0 赞/ 293 阅读

相关 SparkSQL－从DataFrame说起

SparkSQL 历史回顾对SparkSQL了解的童鞋或多或少听说过Shark，不错，Shark就是SparkSQL的前身。2011的时候，Hive可以说是SQL

亦凉/ 2022年01月30日 17:13/ 0 赞/ 366 阅读