面试官：你能说几个Java8中Stream对列表去重的方法吗？

骑猪看日落 2022-10-22 04:24 151阅读 0赞

![6ef50003b5b3d550a75b07255fc40830.png][]

*来源**：juejin.cn/post/6844903842132262926*

在这里我来分享几种列表去重的方法，算是一次整理吧，如有纰漏，请不吝赐教。

## 1. Stream 的`distinct()`方法 ##

`distinct()`是Java 8 中 Stream 提供的方法，返回的是由该流中不同元素组成的流。`distinct()`使用 `hashCode()` 和 `eqauls()` 方法来获取不同的元素。

因此，需要去重的类必须实现 `hashCode()` 和 `equals()` 方法。换句话讲，我们可以通过重写定制的 `hashCode()` 和 `equals()` 方法来达到某些特殊需求的去重。扩展：[Java面试题汇总][Java]

`distinct()` 方法声明如下：

Stream<T> distinct();

### 1.1 对于 String 列表的去重 ###

因为 String 类已经覆写了 equals() 和 hashCode() 方法，所以可以去重成功。

@Test
    public void listDistinctByStreamDistinct() {
      // 1. 对于 String 列表去重
      List<String> stringList = new ArrayList<String>() {
        {
        add("A");
        add("A");
        add("B");
        add("B");
        add("C");
      }};
      out.print("去重前：");
      for (String s : stringList) {
        out.print(s);
      }
      out.println();
      stringList = stringList.stream().distinct().collect(Collectors.toList());
      out.print("去重后：");
      for (String s : stringList) {
        out.print(s);
      }
      out.println();
    }

结果如下：

去重前：AABBC
    去重后：ABC

### 1.2 对于实体类列表的去重 ###

注：代码中我们使用了 Lombok 插件的 @Data注解，可自动覆写 equals() 以及 hashCode() 方法。

/**
    * 定义一个实体类
    */ 
    @Data
    public class Student {
      private String stuNo;
      private String name;
    }

@Test
    public void listDistinctByStreamDistinct() throws JsonProcessingException {
        ObjectMapper objectMapper = new ObjectMapper();
        // 1. 对于 Student 列表去重
        List<Student> studentList = getStudentList();
        out.print("去重前：");
        out.println(objectMapper.writeValueAsString(studentList));
        studentList = studentList.stream().distinct().collect(Collectors.toList());
        out.print("去重后：");
        out.println(objectMapper.writeValueAsString(studentList));
      }

结果如下：

去重前：[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"},{"stuNo":"001","name":"Tom"}]
    去重后：[{"stuNo":"001","name":"Tom"},{"stuNo":"002","name":"Mike"}]

## 2. 根据 `List<Object>` 中 Object 某个属性去重 ##

### 2.1 新建一个列表出来 ###

@Test
      public void distinctByProperty1() throws JsonProcessingException {
        // 这里第一种方法我们通过新创建一个只有不同元素列表来实现根据对象某个属性去重
        ObjectMapper objectMapper = new ObjectMapper();
        List<Student> studentList = getStudentList();
    
        out.print("去重前        :");
        out.println(objectMapper.writeValueAsString(studentList));
        studentList = studentList.stream().distinct().collect(Collectors.toList());
        out.print("distinct去重后:");
        out.println(objectMapper.writeValueAsString(studentList));
        // 这里我们引入了两个静态方法，以及通过 TreeSet<> 来达到获取不同元素的效果
        // 1. import static java.util.stream.Collectors.collectingAndThen;
        // 2. import static java.util.stream.Collectors.toCollection;
        studentList = studentList.stream().collect(
          collectingAndThen(
            toCollection(() -> new TreeSet<>(Comparator.comparing(Student::getName))), ArrayList::new)
        );
        out.print("根据名字去重后 :");
        out.println(objectMapper.writeValueAsString(studentList));
      }

结果如下：

去重前        :[{"stuNo":"001","name":"Tom"},{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
    distinct去重后:[{"stuNo":"001","name":"Tom"},{"stuNo":"003","name":"Tom"}]
    根据名字去重后 :[{"stuNo":"001","name":"Tom"}]

### 2.2 通过 filter() 方法 ###

我们首先创建一个方法作为 Stream.filter() 的参数，其返回类型为 Predicate，原理就是判断一个元素能否加入到 Set 中去，代码如下：

private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
        Set<Object> seen = ConcurrentHashMap.newKeySet();
        return t -> seen.add(keyExtractor.apply(t));
    }

使用如下：

@Test
      public void distinctByProperty2() throws JsonProcessingException {
        // 这里第二种方法我们通过过滤来实现根据对象某个属性去重
        ObjectMapper objectMapper = new ObjectMapper();
        List<Student> studentList = getStudentList();
    
        out.print("去重前        :");
        out.println(objectMapper.writeValueAsString(studentList));
        studentList = studentList.stream().distinct().collect(Collectors.toList());
        out.print("distinct去重后:");
        out.println(objectMapper.writeValueAsString(studentList));
        // 这里我们将 distinctByKey() 方法作为 filter() 的参数，过滤掉那些不能加入到 set 的元素
        studentList = studentList.stream().filter(distinctByKey(Student::getName)).collect(Collectors.toList());
        out.print("根据名字去重后 :");
        out.println(objectMapper.writeValueAsString(studentList));
      }

结果如下：

## 3. 总结 ##

以上便是我要分享的几种关于列表去重的方法，当然这里没有进行更为详尽的性能分析，希望以后会深入底层再重新分析一下。如有纰漏，还望不吝赐教。

推荐好文

强大，10k+点赞的 SpringBoot 后台管理系统竟然出了详细教程！
    
    分享一套基于SpringBoot和Vue的企业级中后台开源项目，代码很规范！
    能挣钱的，开源 SpringBoot 商城系统，功能超全，超漂亮！

[6ef50003b5b3d550a75b07255fc40830.png]: /images/20221022/aa5a0c3fb84447f2be57506e7da8f8f1.png
[Java]: http://mp.weixin.qq.com/s?__biz=MzIyNDU2ODA4OQ%3D%3D&chksm=e80dbb08df7a321e7670b8c49e33a9ef03a94da3638eefc82581507c960179e5b955e2a9a568&idx=1&mid=2247486846&scene=21&sn=75bd4dcdbaad73191a1e4dbf691c118a#wechat_redirect