如何将多个文本数据转化为指定数据格式[以电影数据为例](数据预处理)

Myth丶恋晨 2022-07-15 12:08 190阅读 0赞

*  数据格式
 *  目标数据格式
 *  程序
 *  局限性

**本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)**

# 数据格式 #

首先，我来介绍一下数据格式。存在多个文本，每个文本，里面包含电影的id，用户的id及用户对电影的评分，及评分时间。如下面两个表：

这张图为目录下的文本。一个文本表示，一部电影所有用户的评分及评分时间。  
![这里写图片描述][20161116092437425]

![这里写图片描述][20161116092644396]

# 目标数据格式 #

如下图所示，为所需要转化成的目标数据格式。其中，一行表示：**一个用户对所有电影的评分(矩阵)，没有打分的电影为null值，即转化成了评分矩阵。**

![这里写图片描述][20161116092809556]

# 程序 #

这里主要包含两个类，分别是：  
FileGetData类主要是用来文件的读写。  
Test是main方法，进行数据的实际操作。

![这里写图片描述][20161116093356000]

package main;
    import java.io.BufferedReader;
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.FileNotFoundException;
    import java.io.FileReader;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.io.UnsupportedEncodingException;
    import java.util.ArrayList;
    import java.util.List;
    /**文件操作类 * @author 合肥工业大学管理学院 钱洋 * @blog http://blog.csdn.net/qy20115549/ * @mail 1563178220@qq.com */
    public class FileGetData { 
        //将一个文本中数据的每一行存入list中
        public List<String> getData (String fileName) throws IOException {
            //读入的数据存入list<>中
            List<String> Data=new ArrayList<String>();
            File file = new File(fileName);
            //FileReader顺序读取文件
            FileReader fileReader = new FileReader(file);
            //根据FileReader创建的实例
            BufferedReader bufferedReader =new BufferedReader(fileReader);
            String s=null;
            while ((s=bufferedReader.readLine())!=null) {
                Data.add(s);
            }
            bufferedReader.close();
            fileReader.close();
            return Data;
        }
        //获取目录下的文本目录
        public List<String> getFiles( String filePath ){
            List<String> filelist = new ArrayList<String>();
            File root = new File( filePath );
            File[] files = root.listFiles();
            for ( File file : files )
            {
                if ( file.isDirectory() )
                {
                    getFiles( file.getAbsolutePath() );
                    filelist.add( file.getAbsolutePath() );
                }else{
                    filelist.add( file.getAbsolutePath() );
                }
            }
            return filelist;
        }
    }

package main;
    
    import java.io.BufferedWriter;
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.OutputStreamWriter;
    import java.util.HashMap;
    import java.util.Iterator;
    import java.util.List;
    import java.util.Map;
    import java.util.TreeSet;
    
    /**文件操作类 * @author 合肥工业大学管理学院 钱洋 * @blog http://blog.csdn.net/qy20115549/ * @mail 1563178220@qq.com */
    public class Test { 
    
        public static void main(String[] args) throws IOException {
            FileGetData fileGetData=new FileGetData();
            //获取目录下所有文件
            List<String> fileList=fileGetData.getFiles("E:\\熊强师兄数据处理\\sample\\");
            System.out.println(fileList.get(1));
            Map<String, String> useridandmovieid=new HashMap<String, String>();
            //获取所有用户id
            TreeSet<Integer> uniqueuser_id = new TreeSet<Integer>();
            //获取所用movieid
            TreeSet<Integer> uniquemovie_id = new TreeSet<Integer>();
            //循环每个目录下面的文件
            for (int i = 0; i < fileList.size(); i++) {
                List<String> data=fileGetData.getData(fileList.get(i));
                for (int j = 1; j< data.size(); j++) {
                    //获取用户id
                    String userid=data.get(j).split(",")[0];
                    //获取电影id
                    String movieid=data.get(0).replaceAll(":", "");
                    String key=userid+":"+movieid;
                    //表示电影评分
                    String value=data.get(j).split(",")[1];
                    //useridandmovieid数据格式：用户id:电影id
                    useridandmovieid.put(key,value);
                    uniqueuser_id.add(Integer.parseInt(userid));
                    uniquemovie_id.add(Integer.parseInt(movieid));
                }
            }
            //目标数据写入文本
            BufferedWriter output = new BufferedWriter( new OutputStreamWriter( new FileOutputStream( new File("E:\\熊强师兄数据处理\\combineAlluser.txt")),"utf-8"));
            System.out.println(useridandmovieid.size());
            //将同一个用户对所有电影的评分抽取出来，排成一行，并写入文本
            Iterator<Integer> setIt = uniqueuser_id.iterator();
            while ( setIt.hasNext() ){
                int uniqueuser=setIt.next();
                Iterator<Integer> setIt1 = uniquemovie_id.iterator();
                //排成一行数据
                String userrowscore=uniqueuser+"\t";
                while ( setIt1.hasNext() ){
                    int uniquemovie=setIt1.next();
                    String uniqueuserkey=uniqueuser+":"+uniquemovie;
                    String score=useridandmovieid.get(uniqueuserkey);
                    userrowscore+=score+"\t";
    
                }
                output.append(userrowscore+"\n");
            }
            output.close();
    
        }
    
    }

# 局限性 #

从上面的Test程序中可以看出，这里使用的map作为数据中转站。这里就有一个问题，就是大数据怎么办？  
针对数据量不是很大的情况，完全没问题。针对大一点的数据集，就会出现：**Java heap space**。  
针对这个问题的解决，我再写一篇博客，介绍怎么解决。

[20161116092437425]: /images/20220715/4ff91b0909474eecbf2bc7d3b7309d8b.png
[20161116092644396]: /images/20220715/e17f2d713bf0411f83e9bf6e34d1df72.png
[20161116092809556]: /images/20220715/c3fedb28005244ee9db0fba4692d68b4.png
[20161116093356000]: /images/20220715/7548084befa44299b71f3d31c5844c44.png