在较大数据集中使用java文件处理技术获取目标数据

骑猪看日落 2022-07-13 01:22 109阅读 0赞

## 实验中可能会接触到各种大小的数据库，随着机器学习和深度学习的广泛使用，实验中使用的数据库也越来越大。但是有些原始的开源数据库并不一定适合实验条件，因此需要对数据进行预处理。对于规模达到一定程度的数据库，如何进行处理是一件不好弄的事情。 由于最近在实验中需要对数据集进行预处理，数据集数据量较大，考虑到人工进行数据包的截取比较费力费时，就写了一个数据处理的小工具，处理的核心是对文件的操作，接下来就简单说说我在预处理工作中的对目标数据的截取。本次实验处理的数据库大小320G，分为16个文件，也就是每个文件将近20G大小数据空间，对每个文件进行独立数据包的截取。数据库存放的是离散数字信号。 ##

### **java文件处理一些技巧** ###

### java提供很多文件处理的API，文件输入输出流，字符流或者字节流等等。常见的操作包括： ###

### **创建一个文件** ###

File f=new File("文件地址");
    f.createNewFile();

### **读写文件** ###

### 采用带缓冲的方式读文件很常用，readLine()可以实现一次性读取文本文件一行的内容，这种方式在实际中能带来很大便利，特别是需要解析协议的场合。 ###

FileInputStream fis=new FileInputStream(f);              //创建一个输入流对象fis，并且以f作为参数
                InputStreamReader isr=new InputStreamReader(fis);        //转换成字符串流
                BufferedReader br=new BufferedReader(isr);               //带有缓冲功能的输入流对象
            FileOutputStream fos=new FileOutputStream(f);
            OutputStreamWriter osw=new OutputStreamWriter(fos);
            BufferedWriter bw=new BufferedWriter(osw);

## **使用readLine间接测试一个文件的长度** ##

### 通常我们可以通过以下代码间接得知一个文本文件的有多少行。 ###

while(br.readLine()!=null)//readLine读到第24行
     {
        ++lineIndex;
    }

### 通常readLine()与split配合使用,readLine读取一行的内容通常是有一个数据格式的String，假设是以“：”或者“，”隔开的就可以使用split进行划分开来，下面给出split常用的一种示例： ###

String str="12:32:63.333";
    String[] strGet=str.split(":");
    ...//可以将字符串转换为double或者int

## **以上String数组中通过split接收的数据是：** ##

strGet[0]="12";
    strGet[1]="32";
    strGet[2]="63.333";

## 关于java文件操作就说到这了，前面一篇文章已经写了基本的输入输出流常见操作，包括随机访问seek指针等操作。接下来说说目标数据是如何在20G的数据包中快速截取和保存。 ##

## step1：首先对320G文件进行分组，可分为16个文件，每个文件就是20G。 ##

## step2：：分别提取每个文件中的两个关键字。两个关键字为该单个文件的数据的(某一列)的最大值和最小值。在提取这两个关键字过程中还需要做的一件事就是对该列进行排序。这个文件可以类比数据库表的结构，由多列构成，但是列的具体数量不明。这里与数据库不同的是仅仅关注该列的信息，多余其他列的信息可以暂时不考虑，因此在这里的做法仅仅是关心目标列的处理。对该列首先需要排序，前面在java数据结构和算法中讲过很多八大排序算法，由于数据量较大，这里可以考虑使用快速排序算法进行排序。以下是快速排序算法的连接： ##

## [http://blog.csdn.net/cai2016/article/details/52558238][http_blog.csdn.net_cai2016_article_details_52558238] ##

## step3：：快速排序之后得到每个文件的有序目标列的有序数据。该步骤就是查找了，在有序数据集上对数据进行查找选择二分排序，这样效率较高。 ##

## step4：：之后的步骤就是对文件的一些边界检测和一些异常值的处理。 ##

## step5：：对截取的数据进行保存。 ##

## 另外使用数据库对数据进行处理也是可以选择的途径。 ##

[http_blog.csdn.net_cai2016_article_details_52558238]: http://blog.csdn.net/cai2016/article/details/52558238