轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.22 HDFS API开发之上传文件

拼搏现实的明天。 2024-03-22 17:51 45阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.22 HDFS API开发之上传文件

![在这里插入图片描述][8b15d63334c546df8389a2de76f496cc.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.22 HDFS API开发之上传文件 ######

在我们的工程中新建一个文件

pk,pk,pk
    hello,hello
    world

![在这里插入图片描述][97c67d2e43ea477480d7ba905b083213.png_pic_center]

编写测试方法

@Test
        public void put() throws IOException, URISyntaxException, InterruptedException {
        
            System.setProperty("HADOOP_USER_NAME", "hadoop");
            Configuration configuration = new Configuration();
            configuration.set("fs.defaultFS", "hdfs://hadoop000:8020");
    
            FileSystem fileSystem = FileSystem.get(configuration);
    
            Path src = new Path("data/wc.data");
            Path dst = new Path("/hdfsapi02");
            fileSystem.copyFromLocalFile(src, dst);
    
            if (fileSystem != null) {
        
                fileSystem.close();
            }
        }

运行之前，修改一个配置文件，如果是用虚拟机就不会有问题，真正生产环境中可能会出现这个问题

![在这里插入图片描述][77f6996afd1e4aa7b86b7e5a0065ab0f.png_pic_center]

当然笔者这里是直接绿了，老师那里报错了

哦，看明白了，是因为我们用的`hadoop000` 这个主机名与文件系统服务器进行交互的，如果上云主机即生产环境了，

![在这里插入图片描述][bba0ccb7f0894b90a43eca2a99f8a114.png_pic_center]

就需要在这个配置文件中，

加上：

<property>
        <name>dfs.datanode.use.datanode.hostname</name>
        <value>true</value>
      </property>

笔者这里就暂时不加了，因为笔者用的是虚拟机【如果是修改配置文件后记得重启服务】

除了这里还有客户端要改一下

configuration.set("dfs.client.use.datanode.hostname", "true");

![在这里插入图片描述][2257b45a105f433687fc8fa2a9f15700.png_pic_center]

笔者这里就不加了

因为我已经跑出来了

看一下

![在这里插入图片描述][9cf94292f2b14b21bc79f07056bab0cf.png_pic_center]

没问题，已经上来了

![在这里插入图片描述][370bc1e603d04992b0412b956beb2b36.png_pic_center]

而且它的副本系数居然是3。后面我们接着看。

[8b15d63334c546df8389a2de76f496cc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/623af6287912489085208b601dc4900d.png
[97c67d2e43ea477480d7ba905b083213.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/b3506c6cbcd540e39bf104967c1a3781.png
[77f6996afd1e4aa7b86b7e5a0065ab0f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8dc76281acbc4c90829f3a93c4e2c1ec.png
[bba0ccb7f0894b90a43eca2a99f8a114.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f88bc66555024ee191bed889e06c511b.png
[2257b45a105f433687fc8fa2a9f15700.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f60ce1870cad441d9257a972d5e84819.png
[9cf94292f2b14b21bc79f07056bab0cf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9887d24de4cf4f9a8256d944bd702580.png
[370bc1e603d04992b0412b956beb2b36.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d5c4810583df49a29160a3c6c12f9390.png