sparksql获取网络输入流

绝地灬酷狼 2022-07-12 23:51 134阅读 0赞

不解释—–

package org.apache.spark.examples.sql.streaming
    
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.SparkSession
    
    object StructuredNetworkWordCount {
      def main(args: Array[String]) {
        if (args.length < 2) {
          System.err.println("Usage: StructuredNetworkWordCount <hostname> <port>")
          System.exit(1)
        }
    
        val host = args(0)
        val port = args(1).toInt
        //sparksql里面的
        val spark = SparkSession
          .builder
          .appName("StructuredNetworkWordCount")
          .getOrCreate()
    
        import spark.implicits._
    
        //创建DataFrame
        val lines = spark.readStream
          .format("socket")
          .option("host", host)
          .option("port", port)
          .load().as[String]
    
        // 切分字符串
        val words = lines.flatMap(_.split(" "))
    
        //分组
        val wordCounts = words.groupBy("value").count()
    
        // Start running the query that prints the running counts to the console
        val query = wordCounts.writeStream
          .outputMode("complete")
          .format("console")
          .start()
    
        query.awaitTermination()
      }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，134人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL (一) --------- SparkSQL 概述

目录一、SparkSQL 是什么 ? 二、Hive and SparkSQL 三、SparkSQL 特点四、DataFrame 是什么?

た入场券/ 2024年04月07日 12:11/ 0 赞/ 74 阅读

相关 IO流、输入、输出流

一、IO流输入输出流: I input : O output 1.IO分类: 按照方向分: 输入流和输出流输入流: 读操作输出流: 写操作按照IO管道

忘是亡心i/ 2023年10月04日 19:19/ 0 赞/ 65 阅读

相关 java 获取流数据,java从输入流中获取数据并返回字节数组示例

import java.io.bytearrayoutputstream; import java.io.inputstream; //从输入流中获取数据并以字节数组返回

墨蓝/ 2022年11月18日 05:55/ 0 赞/ 88 阅读

相关 JAVA输入流

一、 import java.util.Scanner;//util是利用的意思，比如这个是：使用输入流 public class Main{

怼烎@/ 2022年09月26日 13:53/ 0 赞/ 138 阅读

相关标准输入流

get 从流中提取字符，包括空格 read 无格式输入指定字节数 getline 从流中提取一行字符 ignore 提取并丢弃流中指定字符 peek 返回流中下

灰太狼/ 2022年09月25日 10:18/ 0 赞/ 210 阅读

相关 sparksql获取网络输入流

不解释—– package org.apache.spark.examples.sql.streaming import org.apache.sp

绝地灬酷狼/ 2022年07月12日 23:51/ 0 赞/ 135 阅读

相关 IO流---输入流--FileInputStream

InputStream：输入流，将文件从硬盘读取到内存 OutputStream:输出流，将文件从内存写入到硬盘第一种读取方式：自己指定固定的字节数组，一批一批地进行读

╰+哭是因爲堅強的太久メ/ 2022年05月15日 04:41/ 0 赞/ 238 阅读

相关输入输出流

一：字节流 public void test() throws Exception { File file = new File("D:\\z

深藏阁楼爱情的钟/ 2022年04月18日 00:10/ 0 赞/ 308 阅读

相关 IO流(输入、输出流)

流类图接口 ![image][] 流的概念和作用 `流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数

深藏阁楼爱情的钟/ 2022年03月21日 14:15/ 0 赞/ 368 阅读

相关输入输出流

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] package com.test; import java.io.Buffer

小灰灰/ 2022年01月17日 14:19/ 0 赞/ 341 阅读