轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.18 HDFS API开发之基本环境介绍

怼烎@ 2024-03-22 17:51 36阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.18 HDFS API开发之基本环境介绍

![在这里插入图片描述][136e7ef3523b4beabe3f1ead7714417d.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.18 HDFS API开发之基本环境介绍 ######

我们这里使用的是Java 语言【当然Scala 也可以】

使用IDEA 集成开发环境进行测试【免费使用30 天，等教育认证通过了再激活】

这里使用Maven 命令来创建工程

![在这里插入图片描述][d9b2df5ad31b429bb2ff350d5181b5c8.png_pic_center]

后面回来了，这里直接在Linux 系统中的IDEA 进行开发。

![在这里插入图片描述][6348fcd7a50d40bdbd17fd7b6ab40f61.png_pic_center]

![在这里插入图片描述][bb4d27caf72941bc89a4b79c59970197.png_pic_center]

确定HDFS 文件系统正在运行

`mvn archetype:generate -DgroupId=com.dingjiaxiong.hadoop -DartifactId=dingjiaxiong-hadoop -Dversion=1.0 -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false`

运行命令创建项目

![在这里插入图片描述][c8a1c3e321174dbd85887aba8bf875e7.png_pic_center]

笔者在这个位置创建的项目

等待创建完成

![在这里插入图片描述][dc542355b53b4c92b769e18055c9a9f3.png_pic_center]

![在这里插入图片描述][fb5bdfa48df748c393fe699cd50d0696.png_pic_center]

用IDEA 导入打开

![在这里插入图片描述][f9375e0ae3454a16899200bff40e5eb4.png_pic_center]

![在这里插入图片描述][fda2687c346246e6b5089f1b3acd5618.png_pic_center]

信任

![在这里插入图片描述][3ed808d877e64bc0a8ab5695bbb6d4b0.png_pic_center]

等待加载完成即可

依赖：`pom.xml`

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <groupId>com.pk.hadoop</groupId>
        <artifactId>pk-hadoop</artifactId>
        <packaging>jar</packaging>
        <version>1.0</version>
        <name>pk-hadoop</name>
        <url>http://maven.apache.org</url>
    
        <properties>
            <hadoop.version>3.3.2</hadoop.version>
        </properties>
    
        <dependencies>
    
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>${hadoop.version}</version>
            </dependency>
    
            
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
            </dependency>
        </dependencies>
    </project>

![在这里插入图片描述][2f5c8c3077d84222b14a637d51ae475f.png_pic_center]

等待依赖下载完成即可

![在这里插入图片描述][25018f0a66034b4689020bcef2725799.png_pic_center]

OK， 这样就准备好 了基本开发环境。

[136e7ef3523b4beabe3f1ead7714417d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/4f19abed45bc4cde8dfc1133ca2af298.png
[d9b2df5ad31b429bb2ff350d5181b5c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/73db7203cc444119a73936ad873466bb.png
[6348fcd7a50d40bdbd17fd7b6ab40f61.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8c7befe0e8bb4871b0e7d913eaf8cf0f.png
[bb4d27caf72941bc89a4b79c59970197.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3bdd84cc2dc34c19ad4c95847d7c83fb.png
[c8a1c3e321174dbd85887aba8bf875e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1df0eed7c7474dc9b49d3ea0d41e9d0f.png
[dc542355b53b4c92b769e18055c9a9f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/eafa474c13b042649f4f2cec78807990.png
[fb5bdfa48df748c393fe699cd50d0696.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3043d359cde848468d212ee6352026b0.png
[f9375e0ae3454a16899200bff40e5eb4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/781be41e82f84ddd945e9b6204116fb7.png
[fda2687c346246e6b5089f1b3acd5618.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a477544f60e042e4baf5f674f3a76a43.png
[3ed808d877e64bc0a8ab5695bbb6d4b0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f84546adabc34cbcb6a7c868a908d103.png
[2f5c8c3077d84222b14a637d51ae475f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7181d1a4722a419e80d6dcbe7773b5f1.png
[25018f0a66034b4689020bcef2725799.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/242d228162984cd7ac67c31f0046126c.png