java代码去重,java超快速文本去重复代码

迈不过友情╰ 2023-01-13 09:15 123阅读 0赞

import java.io.\*;

import java.util.HashSet;

import java.util.Iterator;

import java.util.Set;

public class SpeedClear \{

public static void main(String\[\] args) \{

if(args.length==0)\{

print();

System.exit(1);

\}

if(args.length!=2)\{

System.out.println("Format error...");

System.exit(1);

\}

String pathname = args\[0\];

String newPath = args\[1\];

clear(pathname,newPath); //调用去重复的方法...

\}

/\*\*

\*

\* @param pathname

\* 源文件路径

\* @param newPath

\* 新的文件路径

\* @throws Exception

\*/

public static void clear(String pathname, String newPath) \{

System.out.println("Start... ");

try\{//懒的写Try..直接都包围起来吧....

File file = new File(pathname);

BufferedInputStream fis = new BufferedInputStream(new FileInputStream(file));

BufferedReader buffer = new BufferedReader(new InputStreamReader(fis,"utf-8"),20\*1024\*1024);// 用5M的缓冲读取文本文件

//FileWriter fw = new FileWriter(new File(newPath),true); //去除后的文本

OutputStreamWriter out = new OutputStreamWriter(new FileOutputStream(new File(newPath)),"utf-8") ;

Set set = new HashSet();

String temp = ""; // 临时字符串

int x = 0;

while ((temp = buffer.readLine()) != null) \{ // 读文件,一行读一个

set.add(temp); // 存储到Set集合里面

if(x%30000==0)\{

System.out.print("..") ;

\}

x++;

\}

fis.close();

buffer.close(); //关闭读取操作

//下面开始写文件

for (String xxser : set) \{

out.write(xxser+"\\r\\n");

\}

System.out.println("") ;

out.close(); //关闭写操作

System.out.println("size = " + set.size());

System.out.println("End...");

\}catch(Exception e)\{

System.out.println("文件太大了,建议先100MB大小..") ;

\}

\}

public static void print()\{

System.out.println("\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*");

System.out.println("\\t\\tTo repeat \\t\\t");

System.out.println();

System.out.println(" format: java -Xmx1000m SpeedClear c:\\\\old.txt c:\\\\new.txt\\t\\t");

System.out.println();

System.out.println("\\t\\tAuthor:xxserQQ:616100108");

System.out.println("\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*");

\}

\}

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com

特别注意：本站所有转载文章言论不代表本站观点！

本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。

发表评论取消回复

表情：

评论列表（有 0 条评论，123人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java JSONArray 去重

在处理元素的时候，数据是JSONArray类型，由JSONObject组成，发现有相同一样的元素，要进行去重数据： [ { "xtype":

末蓝、/ 2024年03月22日 15:45/ 0 赞/ 35 阅读

相关一行代码实现数组去重

Set· : let newArr = \[...new Set(\[1,2,3,1,'a',1,'a'\])\] filter·: let newArr = arr.fi

超、凢脫俗/ 2023年08月17日 16:15/ 0 赞/ 134 阅读

相关 php原生数组去重代码,php数组去重的小例子

php中数组去重的小例子，供初学者参考。复制代码代码如下: function assoc\_unique($arr, $key) \{ $tmp\_arr = arr

ゝ一纸荒年。/ 2023年01月14日 03:59/ 0 赞/ 129 阅读

相关 java 泛型去重,Java List 去重

1.List，是个泛型，实际业务里，它经常是一个bean，例如Person类，里面有age、name等属性。 2.如果List ps 有重复的数据，我们需要去重的话，就要在

超、凢脫俗/ 2023年01月13日 09:19/ 0 赞/ 236 阅读

相关 java代码去重,java超快速文本去重复代码

import java.io.\; import java.util.HashSet; import java.util.Iterator; import java.ut

迈不过友情╰/ 2023年01月13日 09:15/ 0 赞/ 124 阅读

相关 java 大文本去重_JAVA 如何实现大文本去除重复行

去重复行，用SQL写很简单，就一句SELECT DISTINCT … FROM。但是文件上没法直接用SQL了，想用SQL还得找个数据库先建表，也很麻烦。如果是小文件，那用jav

布满荆棘的人生/ 2022年11月06日 04:48/ 0 赞/ 217 阅读

相关 list简单去重代码

文章目录记录一下集合去重的几种方法 stream去重，推荐，使用java8的stream api的distinct方法去重 Linked

ゞ浴缸里的玫瑰/ 2022年10月05日 00:54/ 0 赞/ 106 阅读

相关超简单数组去重

let arr = [1,2,2,3,4,4,4]; let s = new Set(arr); //结果：Set {1,2,3,4}

川长思鸟来/ 2022年05月28日 10:25/ 0 赞/ 119 阅读

相关 JAVA之HashSet去重(本身无序不重复，针对对象去重)

package yu; import java.util.HashSet; import java.util.Iterator; //无序不

桃扇骨/ 2022年05月24日 11:24/ 0 赞/ 219 阅读

相关 java8 Stream 一行代码实现列表去重

通常情况下，实现列表去重的方式有： 1. 创建一个新的result列表，循环原列表，如果元素不在result列表中，则放入 2. 创建一个HashSet，将列表作为构造参

骑猪看日落/ 2022年05月10日 03:16/ 0 赞/ 206 阅读