三十四、HDFS客户端操作

r囧r小猫 2022-05-07 03:48 278阅读 0赞

#                               HDFS客户端操作 #

## 1、jar包准备 ##

1）解压hadoop-2.7.2.tar.gz（源码）到非中文目录hadoop-2.7.2

2）创建\_lib文件夹，进入hadoop-2.7.2文件夹的share文件夹，查找所有jar包，并把jar包拷贝到\_lib文件夹下

3）在全部jar包中查找sources.jar（源码包），并剪切到\_lib文件夹下的\_source文件夹。

4）在全部jar包中查找tests.jar（测试包），并剪切到\_lib文件夹下的\_test文件夹。

## 2、eclipse准备 ##

#### 2.1、将\_lib文件夹下非\_source、\_test文件夹的143个jar包拷贝到D:\\EclipseWorkSpace\\hadoop\_2.7.2\_lib ####

#### 2.2、解压源码hadoop-2.7.2.tar.gz到D:\\EclipseWorkSpace\\hadoop-2.7.2文件夹 ####

将hadoopBin文件夹内的文件拷贝到hadoop-2.7.2\bin下

#### 2.3、配置HADOOP\_HOME环境变量 ####

![在这里插入图片描述][70]

![在这里插入图片描述][70 1]

#### 2.4、创建第一个java工程 ####

添加143个jar包到lib目录

![在这里插入图片描述][70 2]

package com.yang.hdfs;
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Test;
    
    
    public class HdfsClient {
    	
    	public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
            // 1 获取文件系统
    		Configuration configuration = new Configuration();
    		// 配置在集群上运行
    		//configuration.set("fs.defaultFS", "hdfs://hadoop14:9000");
    		//FileSystem fileSystem = FileSystem.get(configuration);
    		
    		// 直接配置访问集群的路径和访问集群的用户名称
            FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop14:9000"),configuration, "admin");
    		
    		// 2 、把本地文件上传到文件系统中
    		fileSystem.copyFromLocalFile(new Path("G:/yang.jpg")
    				, new Path("/user/admin/mapreduce/wordcount/input/yang.jpg"));
    		
    		// 3、 关闭资源
    		fileSystem.close();
    		System.out.println("over==================================");
    			
    	}
    }

#### 2.5、执行程序 ####

运行时需要配置用户名称，客户端去操作hdfs时，是有一个用户身份的。默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP\_USER\_NAME=admin，admin为用户名称。

![在这里插入图片描述][70 3]

![在这里插入图片描述][70 4]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[70]: /images/20220506/8bde26b0fc8644eeb92ae6d444351b82.png
[70 1]: /images/20220506/37b98641b7c4453bb2c90b0f951c1023.png
[70 2]: /images/20220506/c8d6815e8cb64183899b2cf341821ebb.png
[70 3]: /images/20220506/3ccf6a31aa7a459db9a470c97fba056e.png
[70 4]: /images/20220506/69e970c63a1b49d08cef25500f18e914.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/4469725c31ff4da7be1124975dfe3a25.png