Hadoop系列-HDFS的Shell脚本命令使用说明（六）

柔情只为你懂 2022-06-13 03:40 65阅读 0赞

**一、HDFS的Shell的基本概念**

1.调用文件系统(FS)Shell命令应使用 bin/[Hadoop][] fs 命令或 bin/hdfs dfs 命令的形式。为了简便，一般将bin目录添加到环境变量path中  
       2.所有的fs shell命令使用URI路径作为参数。  
　   URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。例如：hdfs://namenode:namenodePort/parent/child，可以表示成/parent/child（假设配置文件是namenode:namenodePort）  
       3.大多数FS Shell命令的行为和对应的[Linux][] Shell命令类似。

**二、HDFS的Shell命令**

-help \[cmd\] //显示命令的帮助信息

-ls(r) <path> //显示当前目录下所有文件

-du(s) <path> //显示目录中所有文件大小

-count\[-q\] <path> //显示目录中文件数量

-mv <src> <dst> //移动多个文件到目标目录

-cp <src> <dst> //复制多个文件到目标目录

-rm(r) //删除文件(夹)

-put <localsrc> <dst> //本地文件复制到hdfs

-copyFromLocal //同put

-moveFromLocal //从本地文件移动到hdfs

-get \[-ignoreCrc\] <src> <localdst> //复制文件到本地，可以忽略crc校验

-getmerge <src> <localdst> //将源目录中的所有文件排序合并到一个文件中

-cat <src> //在终端显示文件内容

-text <src> //在终端显示文件内容

-copyToLocal \[-ignoreCrc\] <src> <localdst> //复制到本地

-moveToLocal <src> <localdst>

-mkdir <path> //创建文件夹

-touchz <path> //创建一个空文件

**三、HDFS的Shell命令(练习)**

\#[hadoop][Hadoop] fs -ls /                        查看HDFS根目录  
       \#hadoop fs -mkdir /test           在根目录创建一个目录test  
       \#hadoop fs -put ./test.txt /test  或 \#hadoop fs -copyFromLocal  /test.txt /test        上传文件  
       \#hadoop fs -get /test/test.txt    或 \#hadoop fs -getToLocal /test/test.txt                  下载文件     
       \#hadoop fs -rm /test1/test.txt           删除文件  
       \#hadoop fs -rmr /test1                      删除文件夹  
       \#hadoop fs -mv /test/test.txt /test1  移动文件

参考资料：

[http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html][http_hadoop.apache.org_docs_r2.7.3_hadoop-project-dist_hadoop-hdfs_HDFSCommands.html]

[http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html][http_hadoop.apache.org_docs_r2.7.3_hadoop-project-dist_hadoop-common_FileSystemShell.html]

[http://blog.csdn.net/gaijianwei/article/details/45917371][http_blog.csdn.net_gaijianwei_article_details_45917371]

[Hadoop]: http://lib.csdn.net/base/hadoop
[Linux]: http://lib.csdn.net/base/linux
[http_hadoop.apache.org_docs_r2.7.3_hadoop-project-dist_hadoop-hdfs_HDFSCommands.html]: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
[http_hadoop.apache.org_docs_r2.7.3_hadoop-project-dist_hadoop-common_FileSystemShell.html]: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html
[http_blog.csdn.net_gaijianwei_article_details_45917371]: http://blog.csdn.net/gaijianwei/article/details/45917371