Windows10下HDFS基本命令介绍与使用

╰半橙微兮° 2023-03-13 11:54 51阅读 0赞

> 《Hadoop 最官方命令介绍-Hadoop-2.8.5》  
> 传送门： [https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/FileSystemShell.html\#count][https_hadoop.apache.org_docs_r2.8.5_hadoop-project-dist_hadoop-common_FileSystemShell.html_count]

### 命令一览 ###

*   *   *  一、启动 hdfs
         *  二、常见命令使用
         *   *  (1)-help
             *  (2)-ls
             *  (3)-mkdir
             *  (4)-copyFromLocal
             *  (5)-copyToLocal
             *  (6)-appendToFile
             *  (7)-cat
             *  (8)-checksum
             *  (9)-count
             *  (10)-cp
             *  图片
             *  (11)-find
             *  \*\*(12)-get\*\*
             *  (13)-put
             *  (14)-rm
             *  (15)-rmdir
             *  (16)-text

### 一、启动 hdfs ###

开始使用命令前，必须启动 Hadoop

由于配置好了环境变量，直接输入命令

start-dfs.cmd

![图片][format_png]

要注意，下面的运行里有一些警告，是因为 jdk 高于 1.8，并不影响运行结果。

### 二、常见命令使用 ###

#### (1)-help ####

作用：查看帮助文档

用法：

hadoop fs -help

![图片][format_png 1]

#### (2)-ls ####

作用：查看文件，与 linux 下 ls 命令基本类似。

用法:

hadoop fs -ls [-d] [-h] [-R] <args>

选项：  
\-d:只展示查询展示目录；

\-h:显示为人眼更易识别的单位(原来是字节)。

\-R:递归展示，显示所有的文件夹及文件

示例：

hadoop fs -ls -d /

![图片][format_png 2]

hadoop fs -ls -h /

![图片][format_png 3]

hadoop fs -ls -R /

![图片][format_png 4]

#### (3)-mkdir ####

作用：创建文件夹。

用法：hadoop fs -mkdir \[-p\]

选项：

-p:创建父目录。类似于 Unix 的 mkdir -p 命令。

示例：

hadoop fs -mkdir -p /user/hadoop/dir1 /user/hadoop/dir2

![图片][format_png 5]

查看创建结果

![图片][format_png 6]

如果是远程服务器配置了节点，要写上远程主机的地址

hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir
                     hdfs://nn2.example.com/user/hadoop/dir

#### (4)-copyFromLocal ####

用法：

hadoop fs -copyFromLocal <localsrc> URI

作用：类似于 put 命令，和 put 不同的是，拷贝的源地址必须是本地文件地址。  
\-f 参数 当拷贝的目标文件存在时，进行覆盖。

示例：

hadoop fs -copyFromLocal testFlatMap.txt /1.txt

hadoop fs -copyFromLocal d:\\Hello2.java /mydir/input/Hello2.java  
下图：为了识别路径，添加一个 \[file:///\](file:///)

下面展示两种路径的写法

![图片][format_png 7]

查看添加的结果：把 hello1.java 分别添加到/user/hadoop/dir1,和/user/hadoop/dir2

![图片][format_png 8]

这个时候加上-f 参数。即可覆盖。

hadoop fs -copyFromLocal -f testFlatMap.txt /1.txt

#### (5)-copyToLocal ####

用法：

hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

作用：类似于 get 指令。和 get 不同的是，拷贝的目的地址必须是本地文件地址。  
示例：

把刚刚的文件拷贝到 D:\\software\\中

hadoop fs -copyToLocal /user/hadoop/dir1/hello1.java D:\\software\\

![图片][format_png 9]

在 D 盘中查看结果：

![图片][format_png 10]

#### (6)-appendToFile ####

用法：

hadoop fs -appendToFile <localsrc> ... <dst>

作用：是将一个或者多个文件添加到 HDFS 系统中。  
要注意 hdfs 系统中，一定要写一个文件，不要写目录文件

失败的案例：

![图片][format_png 11]

这里是因为 dir2 是一个目录，因此失败了，要具体到文件

![图片][format_png 12]

实例 2：

![图片][format_png 13]

追加的结果：

![图片][format_png 14]

这样就对了

示例:

hadoop fs -appendToFile localfile /user/hadoop/hadoopfile

可以一次性加多个

hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile

如果是远程地址，记得加主机地址

hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile

**hadoop fs -appendToFile d:\\Hello2.java /mydir/input/Hello2.java**

#### (7)-cat ####

用法：

hadoop fs -cat URI [URI ...]

作用：查看文件内容(可以查看本地和 HDFS 上的内容)。  
示例：

hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2

hadoop fs -cat \[file:///file3\](file:///file3) /user/hadoop/file4

特别注意这个地方的路径，这样写是可以的，即 \[file:///\](file:///) 本机路径

![图片][format_png 15]

！！！这样写要报错！！！

![图片][format_png 16]

#### (8)-checksum ####

用法：

hadoop fs -checksum URI

作用：查看校验码信息。(例子显示了 MD5)  
示例：

hadoop fs -checksum hdfs://nn1.example.com/file1

hadoop fs -checksum \[file:///etc/hosts\](file:///etc/hosts)

![图片][format_png 17]

#### (9)-count ####

作用：计算 paths 下的目录数，文件数和字节数。

用法：

hadoop fs -count [-q] [-h] [-v] <paths>

\-q：可以查看当前文件夹的限额使用情况，  
\-h:会以人类可读的方式展示出这个文件夹有多大

\-v:展示出参数头部的信息

\-u 将输出限制为仅显示配额和使用情况。

可以一下子算好几个路径的目录数

hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2

![图片][format_png 18]

1 表示这个路径下的文件夹个数，6 表示这个路径下的文件数，275891 表示这个文件夹下文件所占的空间大小，这个大小是不计算副本的个数的

\-q 的作用：可以查看当前文件夹的限额使用情况，

hadoop fs -count -q hdfs://nn1.example.com/file1

![图片][format_png 19]

第一个数值表示总的文件包括文件夹的限额

第二个数值表示目前剩余的文件限额，即还可以创建这么多的文件或文件夹

第三个数值表示当前文件夹空间的限额

第四个数值表示当前文件夹可用空间的大小，这个限额是会计算多个副本的

\-h 的作用：会以人类可读的方式展示出这个文件夹有多大

hadoop fs -count -q -h hdfs://nn1.example.com/file1

![图片][format_png 20]

\-v 的作用：展示出参数头部的信息

hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1

![图片][format_png 21]

#### (10)-cp ####

用法：

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

作用：拷贝，HDFS 文件系统中进行的拷贝操作。  
\-f 参数选项：当文件存在时，进行覆盖。

\-p 参数选项：将权限、所属组、时间戳、ACL 以及 XAttr 等也进行拷贝。

示例：

hadoop fs -cp -p /tmp/fan /tmp/fan1

把/user/hadopp/dir1 下的 input.txt 文件 拷贝到/user/hadoop/dir2 下

![图片][format_png 22]

用 ls 命令查看 input.txt

#### ![图片][format_png 23] ####

#### (11)-find ####

作用：查找满足表达式的文件和文件夹。没有配置 path 的话，默认的就是全部目录/；如果表达式没有配置，则默认为-print。

用法:

hadoop fs -find <path> ... <expression> ...

\-name pattern 所要查找文件的文件名。  
\-iname pattern 所要查找的文件名，不区分大小写。

\-print 打印。

\-print0 打印在一行，如下图所示。

示例：

**hadoop fs -find / -name test -print**

这里要注意把文件名后缀写上，不然找不到。

![图片][format_png 24]

#### **(12)-get** ####

作用：从 HDFS 上拷贝文件到本地。

用法：

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

示例：  
hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

![图片][format_png 25]

这条命令是把 hdfs 文件系统的 /user/hadoop/dir1 下的 input

下面查看命令运行的结果，看看 D:\\software 下面有没有这个文件

![图片][format_png 26]

#### (13)-put ####

用法：

hadoop fs -put <localsrc> ... <dst>

作用：将本地的文件上传(复制)到 HDFS 是 dst 目录下。  
示例：

hadoop fs -put localfile /user/hadoop/hadoopfile

这个命令支持一下传很多个文件

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile

hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

![图片][format_png 27]

查看一下运行结果：

![图片][format_png 28]

#### (14)-rm ####

用法：

hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

作用：删除文件。  
选项：

The -f 如果文件不存在，这个选项将不会展示出则会诊断信息或者是修改退出状态以反映错误。

The -R 选项会递归地删除目录及其下的任何内容。

The -r 作用和-R 一样.

The -skip 选项将绕过垃圾堆（如果启用），并立即删除指定的文件。当需要从超额配额目录中删除文件时，这非常有用

示例：

hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

![图片][format_png 29]

#### (15)-rmdir ####

用法：

hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

作用：删除空目录。  
选项：

—ignore-fail-on-non-empty：使用它的时候，忽略因文件夹非空删除失败的信息。

![图片][format_png 30]

#### (16)-text ####

用法：

hadoop fs -text <src>

作用：将 HDFS 中文件以文本形式输出(包括 zip 包，jar 包等形式)  
示例：hadoop fs -text /wc.jar

![图片][format_png 31]

[https_hadoop.apache.org_docs_r2.8.5_hadoop-project-dist_hadoop-common_FileSystemShell.html_count]: https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#count
[format_png]: /images/20230312/2b7d0469706546fc81eab856ab8752c5.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3BQbjN3TUY2eFlrR2ZqWEEucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2x4NjlnVzRUUTIwZ09zVVIucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2VpRTZhdzZxWkd5OGZPb08ucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzZGWWl6UWxwV1FrcmlGOGQhdGh1bWJuYWls?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1hOOHhidXZ4QWlHek1nZ2QucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1NIcmZoRzhEaUZ2NTdRcUEucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzRnckJudXRCb1JJTEJ6UkUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2tRN2tFZWJTT2pNZXh1MEYucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1RIWWw1SjFvV2dzUW00a2EucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3NHNUZEZ1JFUmRJRWFiSUUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3IxT3hBRDgzTnNLWTBCYUIucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2g0YnlwQXZsQXBqOG9sckkucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1VDMVhjUXYzTEFaR3NDYXQucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2xIMVVxb21yNGRwQlNJTGwucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1BRZG9CaHF3dFNHd2xPWHAucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3A2Y0JVOUZHQ28xWFhvVjQucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1M1T2hibDhhZHAyTWcwWTIucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0JCZDl6T2pCVFBZbHBCSVEucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzdJMDM1YWVmVkRkV2tyVUQucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzREMUdselJUUGZwUnBEWGcucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1JiY0dWTUw4MndDNzgzTzcucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 22]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0NTTU1kb0VnczBrRGdoZFYucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3BidWFGeFY1YkZSeDlyTWsucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 24]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0dBMVFqMTZHS1FBZ2h1REoucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 25]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3lGeHFDaE1VenNjVTlUdmUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 26]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2d4VktKbTc2cWcxbFZ0R3kucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 27]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1lUQUlVeHloRnZFZkVVT3IucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 28]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzVrV2l6R1ZUZXJ3bnY3NmUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 29]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2tTMDcweVU0Mmp3SUJtTlUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 30]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2F2ZVNyQU9VcVhpdmJUVXcucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 31]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzJaZ2QzUjRaZmljQ3FISHQucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png