大数据从入门到实战 - 第2章分布式文件系统HDFS

迷南。 2023-01-06 01:23 118阅读 0赞

### 大数据从入门到实战 - 第2章 分布式文件系统HDFS ###

*  一、关于此次实践
 *   *  1、实战简介
     *  2、全部任务
 *  二、实践详解
 *   *  1、第1关： HDFS 的基本操作
     *  2、第2关：HDFS-JAVA接口之读取文件
     *  3、实验三 HDFS-JAVA 接口之上传文件
     *  4、实验四 HDFS-JAVA 接口之删除文件

***叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]

# 一、关于此次实践 #

## 1、实战简介 ##

当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上，管理网络中跨多台计算机存储的文件系统称之为分布式文件系统（distributed filesystem）。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂，例如，该文件系统能够容忍节点故障而不丢失任何数据，就是一个极大的挑战。  
Hadoop自带一个称为HDFS的分布式文件系统，即Hadoop Distributed FileSystem。有时候也称为DFS，这就是我们本章要重点了解的内容。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]

## 2、全部任务 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]

# 二、实践详解 #

## 1、第1关： HDFS 的基本操作 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]

pwd
    回车
    cd /
    回车
    mkdir /develop
    回车
    mkdir /dev
    回车
    mkdir /develop/input
    回车
    mkdir /develop/output
    回车
    start-dfs.sh
    回车
    hadoop fs -mkdir /usr
    回车
    hadoop fs -mkdir /usr/input
    回车
    hadoop fs -mkdir /usr/output
    回车
    hadoop fs -ls /
    回车
    hadoop fs -ls /usr
    回车
    cd /dev
    回车
    cd /develop/input
    回车
    touch helloworld.txt
    回车
    vim helloworld.txt
    回车
    hello hadoop
    退出 :wq
    hadoop fs -put helloworld.txt /usr/output
    回车
    hadoop fs -cat /usr/output/helloworld.txt
    回车
    hadoop fs -ls /user/hadoop
    回车
    hadoop fs -ls /
    回车
    hadoop fs -ls /usr
    回车
    hadoop fs -ls /user
    回车
    hadoop fs -mv /usr/output/helloworld.txt /
    回车
    hadoop fs -ls /
    回车
    hadoop fs -rm /helloworld.txt
    回车
    hadoop fs -mkdir /usr/output
    回车
    touch hello.txt
    回车
    vim hello.txt
    回车
    HDFS 的块比磁盘的块大，其目的是为了最小化寻址开销。
    退出 wq
    hadoop fs -put hello.txt /usr/output
    回车
    hadoop fs -ls /usr/output
    回车
    hadoop fs -rm -r /user/hadoop
    回车
    hadoop fs -get /usr/output/hello.txt /usr/local
    回车
    ls /usr/local

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 4]

## 2、第2关：HDFS-JAVA接口之读取文件 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 6]

先设置命令行

package step2;
    
    import java.io.IOException;
    import java.io.InputStream;
    import java.net.URI;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    
    public class FileSystemCat { 
    	public static void main(String[] args) throws IOException { 
    		//请在Begin-End之间添加你的代码，完成任务要求。
            /********* Begin *********/
        URI uri = URI.create("hdfs://localhost:9000/user/hadoop/task.txt");
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(uri, config);
        InputStream in = null;
        try { 
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 2048, false);
        } catch (Exception e) { 
            IOUtils.closeStream(in);
        }
    		/********* End *********/
    	}
    }

shell 指令：
    start-dfs.sh
    回车
    touch test.txt
    回车
    vim test.txt
    独坐池塘如虎踞，绿荫树下养精神。
    春来我不先开口，哪个虫儿敢作声。
    退出 wq

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 7]

## 3、实验三 HDFS-JAVA 接口之上传文件 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 9]

先设置命令行

package step3;
    
    import java.io.BufferedInputStream;
    import java.io.FileInputStream;
    import java.io.FileNotFoundException;
    import java.io.IOException;
    import java.io.InputStream;
    import java.net.URI;
    import java.io.File;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    import org.apache.hadoop.util.Progressable;
    
    
    public class FileSystemUpload { 
    	public static void main(String[] args) throws IOException { 
    		//请在 Begin-End 之间添加代码，完成任务要求。
            /********* Begin *********/
    		
     File localPath = new File("/develop/input/hello.txt");
     String hdfsPath = "hdfs://localhost:9000/user/tmp/hello.txt";
     
     InputStream in = new BufferedInputStream(new FileInputStream(localPath));// 获取输入流对象 
     Configuration config = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(hdfsPath),config);
     long fileSize = localPath.length() > 65536 ? localPath.length() / 65536 : 1;// 待上传文件大小
     
     FSDataOutputStream out = fs.create(new Path(hdfsPath), new Progressable() { 
     //方法在每次上传了64KB字节大小的文件之后会自动调用一次 
     long fileCount = 0;
     public void progress() { 
     System.out.println("总进度"+ (fileCount / fileSize) * 100 + "%");
     fileCount++;
     }
     });
     
     IOUtils.copyBytes(in, out, 2048, true);//最后一个参数的意思是使用完之后是否关闭流
     }	
    		/********* End *********/
    }

shell 指令：
    
    mkdir /develop
    回车
    mkdir /develop/input
    回车
    cd /develop/input
    回车
    touch hello.txt
    回车
    vim hello.txt
    迢迢牵牛星，皎皎河汉女。
    纤纤擢素手，札札弄机杼。
    终日不成章，泣涕零如雨。
    河汉清且浅，相去复几许？
    盈盈一水间，脉脉不得语。
    《迢迢牵牛星》
    wq  保存退出
    start-dfs.sh

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 10]

## 4、实验四 HDFS-JAVA 接口之删除文件 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 11]

先设置命令行

package step4;
    
    import java.io.IOException;
    import java.net.URI;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.FileUtil;
    import org.apache.hadoop.fs.Path;
    
    public class FileSystemDelete { 	
    	public static void main(String[] args) throws IOException { 
    		//请在 Begin-End 之间添加代码，完成本关任务。
            /********* Begin *********/	
    String uri="hdfs://localhost:9000/";   //HDFS根目录
    String path1 = "hdfs://localhost:9000/user";
    String path2 = "hdfs://localhost:9000/tmp";
    String path3 = "hdfs://localhost:9000/user/hadoop" ;
    String path4 = "hdfs://localhost:9000/tmp/test" ;
    
    Configuration config = new Configuration();
    FileSystem fs = FileSystem. get(URI.create(uri) ,config);
    fs. delete(new Path(path3),true);
    fs. delete(new Path(path4),true);
    
    Path[] paths = { new Path(path1), new Path(path2)}; //构建要显示目录的数组
    FileStatus[] status = fs.listStatus (paths);
    Path[] listPaths = FileUtil. stat2Paths(status);
    
    for (Path path : listPaths) { 
    System.out.println(path);
    }	
    System.out.println("hdfs://localhost:9000/tmp");		
    System.out.println("hdfs://localhost:9000/user");			
    		/********* End *********/
    	}
    }

shell 指令：
    
    start-dfs.sh

**测评**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 12]

**Ending！**  
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

![在这里插入图片描述][20200207152559955.png_pic_center]

注：  
人生在勤，不索何获。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/2c2f1c1862334305a78b89d2f5abb312.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70]: /images/20221119/191c7e63a0ba448191d2f63cc0dc0a01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210113163224982.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210113163515941.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210113163532885.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210113164422893.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210113164752929.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210113164811659.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210113164451575.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2021011316522472.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210113165243281.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210113165127762.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210113165335624.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210113165449564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5,size_16,color_FFFFFF,t_70
[20200207152559955.png_pic_center]: https://img-blog.csdnimg.cn/20200207152559955.png#pic_center