shell得到两个文件的差集

今天药忘吃喽~ 2021-05-27 14:08 535阅读 0赞

今天有个统计的需求，计算今天比昨天新增加的数据。有两个文件a和b，a是最新文件，b是昨天的文件，需要计算出在a中出现又没出现在b中的数据。

a和b都是这样的文件格式，只有一列id，且无序的

  1. 290758
  2. 290710
  3. 290688
  4. 290411
  5. 290409
  6. 290224
  7. 290223
  8. 290221
  9. 290194

有如下集中实现方式：

1、java，把b读到List中，遍历a中元素判断是否存在b的List中

  1. List b = .....
  2. while(r.ready()){
  3.     String s = r.readline();
  4.     if(b.contains(s)){
  5.     .......
  6.     }
  7. }

2、python，类似java的做法，不赘述

3、SQL，导入到临时表里用SQL解决

  1. from tablea as a, tableb as b where a.id <> b.id

4、shell

  1. grep -vxFf b a

把b作为规则，取a中不能匹配上b规则的记录。

下面这个最牛：

  1. sort a b b | uniq -u

解释一下：

a b 排序，两个的交集出现次就是2 了，a b b 再排序。b里面的次数，最少是2了，交集里面的是3

然后再uniq -u 取出现一次的，就是想要的结果了

发表评论

表情：
评论列表 （有 0 条评论，535人围观）

还没有评论，来说两句吧...

相关阅读