HDFS学习总结

r囧r小猫 2024-04-17 21:25 29阅读 0赞

### 1. 什么是HDFS ###

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。  
HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

### 2. HDFS工作机制 ###

元数据：描述数据（块）的数据（块的信息、创建人、时间、类型等）

主从架构：namenode、secondarynamenode、datanode

namenode：1、接收IO请求 2、管理元数据 3、管理datanode

datanode：1、小弟角色 2、负责client端的续写请求 3、创建块、删除块、副本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]

### 3. RPC机制、HA机制、Federation机制 ###

1.  RPC(Remote Produce Call，远程过程调用)机制，Hadoop RPC采用了Java动态代理与反射实现对象调用方式，客户端到服务器数据的序列化与反序列化由Hadoop框架或用户自己实现。Hadoop的进程间交互均通过RPC机制完成，如NameNode与DataNode，JobTracker与TaskTracker。  
    RPC采用Client/Server模式，首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息，在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息给client，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

RPC具有透明性、高性能、可控性等特点。

1.  HA(High Availability，高可用性)机制，由于每个集群只有一个NameNode，如果这个NameNode发生故障，将导致整个集群都无法使用。除非重启NameNode或者新启动一个NameNode，另一方面如果跟NameNode有关的软硬件升级也将导致一段时间内不能使用NameNode。HA通过提供选择在同一集群中的一个热备用的两个冗余NameNode，使出现问题时可以快速转移到另一个NameNode。
2.  Federation机制，简而言之，Federation机制使的HDFS支持多个名字空间，并且允许在HDFS中间存在多个NameNode。

对于单个NameNode的HDFS架构存在许多局限性，如性能瓶颈（HDFS的吞吐量受限于单个NameNode的吞吐量）；隔离问题单个NameNode无法隔离各个程序，可能造成一个程序影响整个HDFS；集群可用性；NameSpace和Block Management的紧密耦合等。

当文件系统客户端(client)进行写操作时，首先把它记录在修改日志中(edit log)  
元数据节点在内存中保存了文件系统的元数据信息。在记录了修改日志后，元数据节点则修改内存中的数据结构。  
每次的写操作成功之前，修改日志都会同步(sync)到文件系统。  
fsimage文件，也即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，它是一种序列化的格式，并不能够在硬盘上直接修改。  
同数据的机制相似，当元数据节点失败时，则最新checkpoint的元数据信息从fsimage加载到内存中，然后逐一重新执行修改日志中的操作。  
从元数据节点就是用来帮助元数据节点将内存中的元数据信息checkpoint到硬盘上的  
checkpoint的过程如下：

*  从元数据节点通知元数据节点生成新的日志文件，以后的日志都写到新的日志文件中。
 *  从元数据节点用http get从元数据节点获得fsimage文件及旧的日志文件。
 *  从元数据节点将fsimage文件加载到内存中，并执行日志文件中的操作，然后生成新的fsimage文件。
 *  从元数据节点奖新的fsimage文件用http post传回元数据节点
 *  元数据节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。
 *  这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息，日志文件也重新开始，不会变的很大了。  
    参考链接：https://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html  
    参考链接：https://www.cnblogs.com/z1987/p/5055246.html  
    参考链接：https://blog.csdn.net/wangxueqing52/article/details/79866177（namenode和datanode的工作机制）  
    参考链接：https://blog.csdn.net/erchouchou/article/details/100023392（亮仔的博客）

### HDFS的API（增删改查） ###

import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.*;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    
    /**
     * Unit test for simple App.
     */
    public class AppTest {
        
        @Test
        /**
         *   HDFS获取文件系统
         */
        public void initHDFS() throws Exception {
        
    // 1 创建配置信息对象
            Configuration configuration = new Configuration();
    // 2 获取文件系统
            FileSystem fs = FileSystem.get(new URI("hdfs://cluster1"),configuration,"root");
    // 3 打印文件系统
            System.out.println(fs.toString());
    
        }
    
        @Test
        /**
         * HDFS文件上传(测试参数优先级)
         */
        public void testCopyFromLocalFIle() throws URISyntaxException, IOException, InterruptedException {
        
            //1 获取文件系统
            Configuration configuration = new Configuration();
            //configuration.set("dfs.replication","2");
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
            //2 上传文件
            fs.copyFromLocalFile(new Path("D:/222.txt"),new Path("/idea.txt"));
            //3 关闭资源
            fs.close();
            System.out.println("over");
        }
    
        /**
         * HDFS文件的下载
         */
        @Test
        public void testCopyToLocalFile() throws URISyntaxException, IOException, InterruptedException {
        
            // 1 获取文件系统
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
            // 2 执行下载操作
            //boolean delSrc 指是否将原文件删除
            //Path src 指要下载的文件路径
            //Path dst 指将文件下载到的路径
            //boolean useRawLocalFileSystem 是否开启文件校验
            fs.copyToLocalFile(false,new Path("/test"),new Path("D:/hadoop.txt"),true);
            //3 关闭资源
            fs.close();
            System.out.println("over");
        }
        @Test
        /**
         * HDFS文件目录的创建
         */
        public void  testMkdir() throws URISyntaxException, IOException, InterruptedException {
        
            //1.获取文件系统
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
            //2.创建目录
            fs.mkdirs(new Path("/Test/Mkdir/is/success"));
            //3.关闭资源
            fs.close();
        }
    
        /**
         * HDFS文件的删除
         * @throws IOException
         */
        @Test
        public void testDelete() throws IOException, URISyntaxException, InterruptedException {
        
            //1.获取文件系统
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
    
            //2.执行删除
            fs.delete(new Path("/Test"),true);// 后面的布尔选项是递归删除
            //3.关闭资源
            fs.close();
        }
    
        /**
         * HDFS 文件名的修改
         * @throws URISyntaxException
         * @throws IOException
         * @throws InterruptedException
         */
        @Test
        public void testRename() throws URISyntaxException, IOException, InterruptedException {
        
            //1 获取文件系统
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
            //2 修改文件名称
            fs.rename(new Path("/test"),new Path("/test.txt"));
            //3. 关闭资源
            fs.close();
        }
        @Test
        public void testListFiles() throws URISyntaxException, IOException, InterruptedException {
        
            //1 获取文件系统
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"),configuration,"root");
            long s = fs.getStatus().getCapacity();//获取文件系统的容量
            System.out.println(s);
            //2 获取文件详情
            /**
             * 思考:为什么返回迭代器不是list之类的容器
             * 集合占内存多 一次全部拿取
             * 迭代器一次拿一个
             */
            RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"),true);
    
            while (listFiles.hasNext()){
        
                LocatedFileStatus status = listFiles.next();
                //输出详情
                //文件名称
                System.out.println("文件名:"+status.getPath().getName());
                //长度
                System.out.println("文件大小"+status.getLen());
                //获取组
                System.out.println("所属组:"+status.getGroup());
                //权限
                System.out.println("权限:"+status.getPermission());
    
                //获取存储的块信息
                BlockLocation[] blockLocations = status.getBlockLocations();
    
                for (BlockLocation blockLocation:blockLocations){
        
                    //获取块的存储的主机节点
                    String[] hosts = blockLocation.getHosts();
                   // String[] ip = blockLocation.getNames();
                    for (String host:hosts){
        
                        System.out.println("获取块的存储的主机节点:"+host);
                    }
                  //
                }
                System.out.println("-------------------------");
            }
    
            fs.close();
        }
    }

1.集群一旦高可用之后,不能直接将地址写死,而且开发中我也不会直接将地址写死  
2.在当工程目录中,添加一个资源文件夹 即新建一个 source folder 将当前文件夹的名字必须叫做 resource  
3.将集群中的hdfs-site.xml 和 core-site.xml文件拷贝到这个resource文件夹中  
4.在代码中 只需要写 FileSyetem fs = FileSytem.get(new Configuration());此时就会自动加 载hdfs和core文件了

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/9ce8b4accc2542d2b70df32989efb11b.png