案例实战Spark Streaming处理socket数据

妖狐艹你老母 2023-06-02 07:51 18阅读 0赞

数据统计

import org.apache.spark.SparkConf
    import org.apache.spark.streaming.{Seconds, StreamingContext}
    
    /**
      * Spark Streaming 处理Socket数据
      * 采用nc测试
      */
    object NetworkWordCount {
      def main(args: Array[String]): Unit = {
        val sparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
        /**
          * 创建需要StreamingContext需要两个参数：SparkConf和batch interaal
          */
        val ssc = new StreamingContext(sparkConf,Seconds(5))
        val lines = ssc.socketTextStream("192.168.25.131",6789)
        val result = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
        result.print()
        ssc.start()
        ssc.awaitTermination()
      }
    }

测试：

![20191003231544334.png][]

![20191003232025215.png][]

实时统计：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDc5NDY0_size_16_color_FFFFFF_t_70][]

[20191003231544334.png]: /images/20230601/13016b78a7d648048be767442d16fbbe.png
[20191003232025215.png]: /images/20230601/a346a79115d542a5b4085be2504798a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDc5NDY0_size_16_color_FFFFFF_t_70]: /images/20230601/acf68065068744169e46944f04407f64.png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 [Spark、hadoop]Spark Streaming整合kafka实战

目录一．KafkaUtils.createDstream方式二．KafkaUtils.createDirectStream方式 -------------------

布满荆棘的人生/ 2024年04月03日 12:26/ 0 赞/ 87 阅读

相关【大数据入门核心技术-Spark】（十六）Spark Streaming实战案例2-WordCount

一、环境安装 [【大数据入门核心技术-Spark】（三）Spark 本地模式安装][-Spark_Spark] [【大数据入门核心技术-Spark】（四）Spar

逃离我推掉我的手/ 2024年03月25日 20:28/ 0 赞/ 39 阅读

相关【大数据入门核心技术-Spark】（十五）Spark Streaming实战案例-WordCount

一、环境安装 [【大数据入门核心技术-Spark】（三）Spark 本地模式安装][-Spark_Spark] [【大数据入门核心技术-Spark】（四）Spar

妖狐艹你老母/ 2024年03月25日 20:28/ 0 赞/ 83 阅读

相关 Spark Streaming处理File Streams

File Streams 官网：[http://spark.apache.org/docs/latest/streaming-programming-guide.html]

- 日理万妓/ 2024年02月19日 16:30/ 0 赞/ 50 阅读

相关 DStream实战之Spark Streaming接收socket数据实现WordCount 31

需求现在想要通过socket发送数据, 然后Spark Streaming接收数据并且统计socket发送的每个单词的个数. 1. 架构图 ![在这里插入图片描

蔚落/ 2023年06月07日 00:54/ 0 赞/ 261 阅读

相关案例实战Spark Streaming处理socket数据

数据统计 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Se

妖狐艹你老母/ 2023年06月02日 07:51/ 0 赞/ 19 阅读

相关 Apache Spark Streaming 实战

原理（Streamming ） `Spark Streaming` 是核心 `Spark API` 的扩展，支持可扩展，高吞吐量，实时数据流的容错数据流处理。可以从 `so

矫情吗；*/ 2023年05月22日 08:50/ 0 赞/ 32 阅读

相关大数据项目实战(5) | 使用 Spark Streaming搭建实时处理模块

![在这里插入图片描述][20200920214640505.png_pic_center] 什么叫日活: 1. 通常: 打开应用的用户即为活跃用户，不考虑用户的使用情

你的名字/ 2022年12月08日 15:48/ 0 赞/ 204 阅读

相关 spark streaming的入门案例

1， spark streaming： tcp 源 maven依赖： <dependency> <groupId>org.apache.spar

青旅半醒/ 2022年04月18日 05:18/ 0 赞/ 127 阅读

相关 Spark Streaming将处理结果数据写入Kafka

Spark 没有直截有效的方式将消息发送到Kafka。 input.foreachRDD(rdd => // 不能在这里创建KafkaProducer

Bertha 。/ 2021年12月16日 07:39/ 0 赞/ 298 阅读