Hadoop好友推荐系统-组别数据入库

向右看齐 2022-06-12 01:56 217阅读 0赞

### 项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] ###

## 一、前端展现 ##

### 1、jsp页面 ###

<table>
                <tr>
                    <td><label for="name">分类数据路径:</label>
                    </td>
                    <td><input class="easyui-validatebox" type="text"
                        id="group2db_input_id" data-options="required:true" style="width:300px"
                        value="/user/root/_center" /></td>
    
                </tr>
                <tr>
                    <td></td>
                    <td><a id="group2db_submit_id" href="" class="easyui-linkbutton"
                        data-options="iconCls:'icon-door_in'">入库</a></td>
                </tr>
            </table>

jsp页面需要设置分类数据的路径，也就是执行分类步骤的输出目录。

### 2、js逻辑 ###

// =====group2db 分类数据文件入库
        $('#group2db_submit_id').bind('click', function(){
        
            var input_i=$('#group2db_input_id').val();
            // 弹出进度框
            popupProgressbar('数据入库','用户类别数据解析并入库中...',1000);
            // ajax 异步提交任务
            callByAJax('cloud/cloud_group2db.action',{input:input_i});
        });

## 二、后台逻辑 ##

### 1、action层 ###

对应的action从这里获取：callByAJax(‘cloud/cloud\_group2db.action’）

/**
         * 云平台已经分类好的数据解析并存入数据库中
         */
        public void group2db(){
            Map<String,Object> map = new HashMap<String,Object>();
            map.put("monitor", "false");
            try{
                // 解析
                List<Object> list = HUtils.resolve(input);
                // 清库，并入库
                dBService.deleteTable("UserGroup");
                dBService.saveTableData(list);
                map.put("flag", "true");
            }catch(Exception e){
                map.put("flag", "false");
                e.printStackTrace();
            }
            Utils.write2PrintWriter(JSON.toJSONString(map));
            return ;
    
        }

### 2、数据解析 ###

HUtils.resolve的定义如下：

/**
         * 解析input里面的clustered里面的分类数据到List中
         * @param input
         * @return
         * @throws FileNotFoundException
         * @throws IOException
         */
    
        public static List<Object> resolve(String input) throws FileNotFoundException, IOException{
            List<Object> list = new ArrayList<Object>();
    
            Path path = HUtils.getHDFSPath(input, "false");
            FileSystem fs = HUtils.getFs();
    
            RemoteIterator<LocatedFileStatus>files =fs.listFiles(path, true);
    
            while(files.hasNext()){
       //遍历目录下的文件
                LocatedFileStatus lfs = files.next();
    
                input = lfs.getPath().toString();
                if(input.contains("/clustered/part")&&!input.contains("iter_0")){
       // 不包含iter_0目录
                    path= lfs.getPath();
                    if(lfs.getLen()>0){
                        list.addAll(resolve(path));//将数据解析放入list中
                    }
                }
            }
            Utils.simpleLog("一共读取了"+list.size()+"条记录！");
            return list;
        }
    
        /**
         * 把每个分类文件中的数据解析到list里面
         * @param path
         * @return
         */
        private static Collection<? extends UserGroup> resolve(Path path) {
            List<UserGroup> list = new ArrayList<UserGroup>();
            Configuration conf = HUtils.getConf();
            SequenceFile.Reader reader = null;
            int i=0;
            try {
                reader = new SequenceFile.Reader(conf, Reader.file(path),
                        Reader.bufferSize(4096), Reader.start(0));
                IntWritable dkey =  (IntWritable) ReflectionUtils
                        .newInstance(reader.getKeyClass(), conf);
                DoubleArrIntWritable dvalue =  (DoubleArrIntWritable) ReflectionUtils
                        .newInstance(reader.getValueClass(), conf);
    
                while (reader.next(dkey, dvalue)) {
       // 循环读取文件
                    // 把每一条记录封装为UserGroup对象存入list中
                    list.add(new UserGroup(i++,dkey.get(),dvalue.getIdentifier()));
                }
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                IOUtils.closeStream(reader);
            }
            Utils.simpleLog("读取"+list.size()+"条记录，文件："+path.toString());
            return list;
        }

### 3、service层 ###

/**
         * 保存数据
         * 
         * @param tableName
         * @param list
         * @return
         */
        public boolean saveTableData(List<Object> list) {
    
            try {
                baseDao.saveBatch(list);
            } catch (Exception e) {
                e.printStackTrace();
                return false;
            }
    
            return true;
        }
        /*
         * 根据数据表的名称删除数据表
         */
        public boolean deleteTable(String tableName) {
            String hql = "delete " + tableName;
            try {
                Integer ret = baseDao.executeHql(hql);
                log.info("删除表{},删除了{}条记录！", new Object[] { tableName, ret });
            } catch (Exception e) {
                e.printStackTrace();
                return false;
            }
            return true;
        }

## 三、程序运行截图 ##

![这里写图片描述][20170712175845102]  
![这里写图片描述][20170712180015579]

[Hadoop]: http://blog.csdn.net/xiaokang123456kao/article/details/75006624
[20170712175845102]: /images/20220612/a8cc4a4784aa4893a897e7d5b7e8231f.png
[20170712180015579]: /images/20220612/a21d3fdffeac487a80d7137f61a3115e.png