spark之Sort(三)

╰+攻爆jí腚メ 2022-05-27 03:48 140阅读 0赞

package textSort
    
    import org.apache.spark.{SparkConf, SparkContext}
    
    object SortDemo02 extends App {
    
      /*
      * 自定义排序
      * 排序规则给女明星排序   年龄 颜值 演技
      *
      * 注意 sortBy只应用于元组tuple
      * */
    
      val conf = new SparkConf().setAppName("SortDemo02").setMaster("local[2]")
      val sc = new SparkContext(conf)
      val starsRdd = sc.parallelize(List(Girl2("蔡明", 50, 80, 70), Girl2("高圆圆", 30, 90, 75), Girl2("冰冰", 30, 95, 80), Girl2("旺财", 32, 95, 80), Girl2("小花", 15, 95, 100)))
      val arr1 = starsRdd.sortBy(t => t).collect() // 先颜值 演技 最后年龄小的排前面
      println(arr1.toBuffer)
    
      //结果(Girl(小花,15,95,100), Girl(冰冰,30,95,80), Girl(旺财,32,95,80), Girl(高圆圆,30,90,75), Girl(蔡明,50,80,70))
    
    /*
    * 封装在class中
    * extends Ordered 相当于java中实现接口comparable 排序的功能
    * Girl2类名不能重复！！！
    *
    * */
      case class Girl2(name: String, age: Int, faceValue: Int, actValue: Int) extends Ordered[Girl2] with Serializable {
        override def compare(that: Girl2): Int = {
          if (this.faceValue == that.faceValue) {  //如果颜值相等
           that.actValue- this.actValue             //就比较演技
          } else if (this.actValue == that.actValue) {//如果演技相等
             this.age- that.age                     //比较年龄 （年龄是小的在前 反序）
          } else {
             that.faceValue -this.faceValue           //上面条件不成立就只需比较颜值了
          }
        }
      }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark (三) --------- Spark 运行环境

目录一、Local 模式 1. 解压缩文件 2. 启动 Local 环境 3. 命令行工具 4. 退出本地模

水深无声/ 2024年04月07日 10:29/ 0 赞/ 63 阅读

相关数据结构实验之排序三：bucket sort

数据结构实验之排序三：bucket sort Time Limit: 100MS Memory limit: 65536K 题目描述根据人口普查结果

Dear 丶/ 2022年07月17日 00:39/ 0 赞/ 169 阅读

相关 python之sort(),sorted()

sort是容器的函数：sort(cmp=None, key=None, reverse=False) sorted是python的内建函数：sorted(iterab

左手的ㄟ右手/ 2022年06月05日 05:35/ 0 赞/ 229 阅读

相关 spark之Sort(二)

package textSort import org.apache.spark.{SparkConf, SparkContext}

太过爱你忘了你带给我的痛/ 2022年05月27日 03:48/ 0 赞/ 108 阅读

相关 spark之Sort(三)

package textSort import org.apache.spark.{SparkConf, SparkContext}

╰+攻爆jí腚メ/ 2022年05月27日 03:48/ 0 赞/ 141 阅读

相关 spark之Sort(一)

package textSort import org.apache.spark.{SparkConf, SparkContext}

ゝ一世哀愁。/ 2022年05月27日 03:48/ 0 赞/ 134 阅读

相关 Spark性能优化第八季之Spark Tungsten-sort Based Shuffle

一：使用Tungsten功能 1，如果想让您的程序使用Tungsten的功能，可以配置： Spark.Shuffle.Manager = tungsten-sor

墨蓝/ 2022年05月15日 09:41/ 0 赞/ 296 阅读

相关数据结构实验之排序三：bucket sort

数据结构实验之排序三：bucket sort Time Limit: 250 ms Memory Limit: 65536 KiB [Submit][] [Statis

一时失言乱红尘/ 2022年04月08日 14:53/ 0 赞/ 153 阅读

相关数据结构实验之排序三：bucket sort

Problem Description 根据人口普查结果，知道目前淄博市大约500万人口，你的任务是帮助人口普查办公室按年龄递增的顺序输出每个年龄有多少人，其中不满1周岁的按

淩亂°似流年/ 2022年04月06日 15:22/ 0 赞/ 167 阅读

相关 Redis之sort使用（三）

> 使用外部 key 进行排序可以使用外部 key 的数据作为权重，代替默认的直接对比键值的方式来进行排序。假设现在有用户数据如下： uid user\_n

今天药忘吃喽~/ 2022年01月27日 05:11/ 0 赞/ 154 阅读