轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.23 HDFS API开发之参数优先级问题

向右看齐 2024-03-22 17:51 30阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.23 HDFS API开发之参数优先级问题

![在这里插入图片描述][84843e8703dd45f5aa1c900182dd3072.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.23 HDFS API开发之参数优先级问题 ######

上次留下的问题

![在这里插入图片描述][ce692b5f2ae946d48ec1ef9078607ed4.png_pic_center]

我们服务器中配置的 默认副本系数配的是1，但是通过Java 客户端传上去的文件副本系数是3

那是因为我们在服务器上用命令行进行操作时，用的是服务器的配置

参数优先级的问题
        IDEA开发：我们显式是没有这些配置文件的，隐式是有的一些配置文件
            core-default.xml
            hdfs-default.xml
    
        服务器上用命令行操作  ==> $HADOOP_HOME/etc/hadoop/.....  配置文件
            core-site.xml
            hdfs-site.xml

隐式在哪儿呢，在包里

![在这里插入图片描述][c424be2cccf84413abd54a0540ebb93e.png_pic_center]

而且在 `Configuration` 里面也是可以设置的

优先级从低到高：IDEA → 服务器 → Configuration

先试试直接在 Configuration 中进行设置

configuration.set("dfs.replication", "1");

![在这里插入图片描述][4cd1d0b4cd254dd8914b29433ce5ad0f.png_pic_center]

上传为另一个文件，

![在这里插入图片描述][a8fb2fb651ca4843b76c5e50fdedd6ae.png_pic_center]

运行结果

![在这里插入图片描述][86f965a605bc4a5099423aa844a9cffc.png_pic_center]

绿了

看看系统

![在这里插入图片描述][99fe8c31f8d64b3780c785306b5314fb.png_pic_center]

这样就是1 了，在Configuration 中设置的参数优先级是最高的

再来个测试方法看看

@Test
        public void replication() throws IOException, URISyntaxException, InterruptedException {
        
            System.setProperty("HADOOP_USER_NAME", "hadoop");
            Configuration configuration = new Configuration();
            configuration.set("fs.defaultFS", "hdfs://hadoop000:8020");
    //        configuration.set("dfs.client.use.datanode.hostname", "true");
    
            FileSystem fileSystem = FileSystem.get(configuration);
    
            String result = fileSystem.getConf().get("dfs.replication");
            System.out.println(result);
    
            if (fileSystem != null) {
        
                fileSystem.close();
            }
        }

猜猜这个值是多少，运行结果

![在这里插入图片描述][5dc4d2800adb4af9be08d90ba210d986.png_pic_center]

是null ，

如果我们设置了

![在这里插入图片描述][edd001ffa13c45e88a7d7316e7bb4f95.png_pic_center]

当然就是1 了

思考：

Q：把服务器上的配置文件直接拷贝到resources文件夹下？？？
                可以？ 为什么可以？
                不可以？ 为什么不可以？
                最佳实践：到底这种方式好不好？

[84843e8703dd45f5aa1c900182dd3072.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9b81dcb1d12243448f422e3952612f6c.png
[ce692b5f2ae946d48ec1ef9078607ed4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a2792c841bf94c4ba91adac07efa0310.png
[c424be2cccf84413abd54a0540ebb93e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5361c1d063dd40ff8463bff9572cc9ed.png
[4cd1d0b4cd254dd8914b29433ce5ad0f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/03b52ad662d145c6812a6c563777cd8a.png
[a8fb2fb651ca4843b76c5e50fdedd6ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6a70fedf42cd46d3b671de868f0d014b.png
[86f965a605bc4a5099423aa844a9cffc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/39dfac112c744c9ebc19e324cd3cb3af.png
[99fe8c31f8d64b3780c785306b5314fb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d1e1a82bab5142b18478a00668e10fca.png
[5dc4d2800adb4af9be08d90ba210d986.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/0d71006263034847bf4ce3d005efb8f8.png
[edd001ffa13c45e88a7d7316e7bb4f95.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/99f6957010b048ee889900e3a9cf6b3a.png