Hadoop好友推荐系统-HDFS的文件上传和下载

秒速五厘米 2022-06-12 01:45 345阅读 0赞

### 项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] ###

## 一、文件上传到HDFS的实现 ##

### 1、前端展示 ###

*  jsp页面

这里需要我们手动输入文件存储的完整路径。

*  js逻辑

// =====uploadId,数据上传button绑定 click方法
        $('#uploadId').bind('click', function(){
        
            var input_i=$('#localFileId').val();
            // 弹出进度框
            popupProgressbar('数据上传','数据上传中...',1000);
            // ajax 异步提交任务
            callByAJax('cloud/cloud_upload.action',{input:input_i});
        });

这里通过callByAJax这个自定义方法实现任务提交。该方法定义如下：

// 调用ajax异步提交
    // 任务返回成功，则提示成功，否则提示失败的信息
    function callByAJax(url,data_){
        
        $.ajax({
            url : url,
            data: data_,
            async:true,
            dataType:"json",
            context : document.body,
            success : function(data) {
        
    //          $.messager.progress('close');
                closeProgressbar();
                console.info("data.flag:"+data.flag);
                var retMsg;
                if("true"==data.flag){
                    retMsg='操作成功！';
                }else{
                    retMsg='操作失败！失败原因：'+data.msg;
                }
                $.messager.show({
                    title : '提示',
                    msg : retMsg
                });
    
                if("true"==data.flag&&"true"==data.monitor){
       // 添加监控页面
                    // 使用单独Tab的方式
                    layout_center_addTabFun({
                        title : 'MR算法监控',
                        closable : true,
                        // iconCls : node.iconCls,
                        href : 'cluster/monitor_one.jsp'
                    });
                }
    
            }
        });
    }

### 2、后台实现 ###

action对应的URL从这里获得：callByAJax(‘cloud/cloud\_upload.action’,\{input:input\_i\})

/**
         * 上传文件
         */
        public void upload(){
            Map<String,Object> map = HUtils.upload(input, HUtils.getHDFSPath(HUtils.SOURCEFILE));
            //HUtils.SOURCEFILE是文件上传到linux上的文件路径+文件名
            //getHDFSPath则获得相应的url路径
    
            Utils.write2PrintWriter(JSON.toJSONString(map));
            return ;
        }

其中涉及的HUtils中方法如下：

/**
         * 上传本地文件到HFDS
         * 
         * @param localPath
         * @param hdfsPath
         * @return
         */
        public static Map<String, Object> upload(String localPath, String hdfsPath) {
            Map<String, Object> ret = new HashMap<String, Object>();
            FileSystem fs = getFs();
            Path src = new Path(localPath);
            Path dst = new Path(hdfsPath);
            try {
                fs.copyFromLocalFile(src, dst);//上传到HDFS
                Utils.simpleLog(localPath+"上传至"+hdfsPath+"成功");
            } catch (Exception e) {
                ret.put("flag", "false");
                ret.put("msg", e.getMessage());
                e.printStackTrace();
                return ret;
            }
            ret.put("flag", "true");
            return ret;
        }
        /**
         * 返回HDFS路径
         * 
         * @param url
         * @return fs.defaultFs+url
         */
        public static String getHDFSPath(String url) {
    
            return Utils.getKey("fs.defaultFS", flag) + url;
        }

运行截图  
首先指定输入文件路径：E:\\HadoopProject\\Hadoop\_FindFriend\\src\\main\\resources\\ask\_ubuntu\_users.xml  
![这里写图片描述][20170712182915083]

点击上传按钮，上传完毕后查看HDFS目录如下：  
![这里写图片描述][20170712183121865]

## 二、HDFS文件的下载实现 ##

### 1、前端展示 ###

*  jsp页面

<table>
                <tr>
                    <td><label for="name">HDFS路径:</label>
                    </td>
                    <td><input class="easyui-validatebox" type="text"
                        id="fromHDFSFileId" data-options="required:true"
                        style="width:300px" value="/user/root/_filter/deduplicate" /></td>
    
                </tr>
                <tr>
                    <td><label for="name">本地路径:</label>
                    </td>
                    <td><input class="easyui-validatebox" type="text"
                        id="tolocalFileId" data-options="required:true" style="width:300px"
                        value="WEB-INF/classes/deduplicate_users" /></td>
    
                </tr>
                <tr>
                    <td></td>
                    <td><a id="downloadId" href="" class="easyui-linkbutton"
                        data-options="iconCls:'icon-page_white_put'">下载</a></td>
                </tr>
    
            </table>

这里设定默认的HDFS输入文件夹是/user/root/\_filter/deduplicate；本地的输出文件夹是当前项目目录下的”WEB-INF/classes/deduplicate\_users。

*  js逻辑

// ===== 数据下载
        $('#downloadId').bind('click', function(){
        
            var input_=$('#fromHDFSFileId').val();
            var output_=$('#tolocalFileId').val();
            // 弹出进度框
            popupProgressbar('数据下载','数据下载中...',1000);
            // ajax 异步提交任务
            callByAJax('cloud/cloud_download.action',{input:input_,output:output_});
        });

这里依然是通过callByAJax这个函数来实现任务参数的提交，对应的action从这里获取：cloud/cloud\_download.action。

### 2、后台逻辑 ###

action层对应的URL是cloud/cloud\_download.action

/**
         * 下载文件到本地文件夹
         */
        public void download(){
            // output 应该和HUtils.DEDUPLICATE_LOCAL保持一致
    
            Map<String,Object> map = HUtils.downLoad(input, Utils.getRootPathBasedPath(output));
    
            Utils.write2PrintWriter(JSON.toJSONString(map));
            return ;
        }

其中涉及Utils的downLoad和getRootPathBasedPath的定义如下：

/**
         * 下载文件
         * @param hdfsPath
         * @param localPath
         *            ,本地文件夹
         * @return
         */
        public static Map<String, Object> downLoad(String hdfsPath, String localPath) {
            Map<String, Object> ret = new HashMap<String, Object>();
            FileSystem fs = getFs();
            Path src = new Path(hdfsPath);
            Path dst = new Path(localPath);
            try {
                RemoteIterator<LocatedFileStatus> fss = fs.listFiles(src, true);
                int i = 0;
                while (fss.hasNext()) {
                    LocatedFileStatus file = fss.next();
                    if (file.isFile() && file.toString().contains("part")) {
       //只下载文件名包含“part”的文件，也就是结果文件
                        // 使用这个才能下载成功
                        fs.copyToLocalFile(false, file.getPath(), new Path(dst,
                                "hdfs_" + (i++) + HUtils.DOWNLOAD_EXTENSION), true);
                    }
                }
            } catch (Exception e) {
                ret.put("flag", "false");
                ret.put("msg", e.getMessage());
                e.printStackTrace();
                return ret;
            }
            ret.put("flag", "true");
            return ret;
        }
    /**
         * 获得根路径下面的subPath路径
         * @param subPath
         * @return
         */
        public static String getRootPathBasedPath(String subPath){
            return getRootPath()+subPath;
        }
    /**
         * 获得根路径
         * @return
         */
        private static String getRootPath(){
            return ContextLoader.getCurrentWebApplicationContext().getServletContext().getRealPath("/");
        }

[Hadoop]: http://blog.csdn.net/xiaokang123456kao/article/details/75006624
[20170712182915083]: /images/20220612/26e3a7f5fd294ed89813e6b9e7094179.png
[20170712183121865]: /images/20220612/a19ed5711d954e298f25814e83f5ba56.png