Scala-18：简单的WordCount案例

落日映苍穹つ 2023-10-04 16:54 37阅读 0赞

## Scala-18：简单的WordCount案例 ##

### 一、案例分析 ###

对于传过来得一个数据，比如一个列表

List(
          "hello",
          "hello world",
          "hello scala",
          "hello spark from scala",
          "hello flink from scala"
        )

要统计每个单词出现的次数，输出的结果应该是

hello, 5
    world, 1
    scala, 3
    spark, 1
    flink, 1
    from, 2

然后按照降序排序，取出现次数最高的三位

那么具体的实现步骤就可以是：

1.  **获取每一行的数据，对每一行的数据进行切分，获得每一个单词**
    
        "hello world" => hello, world
2.  **对每一个单词进行分组，相同的单词分到一组**
    
        Map[String, LIst[String]] = (hello => (hello,hello,hello,hello,hello))
3.  **对分组之后的list取长度，转换为单词加上出现的次数**
    
        Map[String, LIst[String]] => Map[(String,Int)]
4.  **上个步骤的数据输出为map类型，转换为list类型，按照出现的次数降序排序，然后取前三**
    
        Map[(String,Int)] => List[(String,Int)]

### 二、所用方法 ###

#### 1：转换/映射方法 map() ####

将集合中的每一个元素映射到某一个函数

list.map()

#### 2：切分字符串 split() ####

//按照空格切分
    list.map(_.split(" "))

#### 3：扁平化处理 flatten() ####

list.flatten()

#### 4：列表分组 groupBy() ####

//按照单词分组
    list.groupBy(word => word)

#### 5：map转为lsit toList() ####

map.toList

#### 6：排序 ####

//按照单词出现的次数排序
    list.sortWith(_._2 > _._2)

### 三、代码实现 ###

object CommonWorldCount {
        
      def main(args: Array[String]): Unit = {
        
    
        val stringList: List[String] = List(
          "hello",
          "hello world",
          "hello scala",
          "hello spark from scala",
          "hello flink from scala"
        )
    
        //1.对字符串进行切分，得到一个打散的列表
        val wordList1: List[Array[String]] = stringList.map(_.split(" "))
        val wordList2: List[String] = wordList1.flatten
    
        //2.相同的单词进行分组
        val groupMap: Map[String, List[String]] = wordList2.groupBy(word => word)
    
        //3.对分组之后的list取长度，得到每个单词的个数
        val countMap: Map[String, Int] = groupMap.map(kv => (kv._1, kv._2.length))
    
        //4.转换为list，并排序取前三
        //转换为list
        val countList: List[(String, Int)] = countMap.toList
        //排序
        val sortList: List[(String, Int)] = countList.sortWith(_._2 > _._2)
        //取前三
        val preList = sortList.take(3)
        println(preList)
    
        //可以简化为一步
        val preList2 = countMap.toList
          .sortWith(_._2 > _._2)
          .take(3)
      }