3、HDFS的shell命令大全

墨蓝 2024-04-17 05:48 63阅读 0赞

### 文章目录 ###

*  命令大全
 *   *  1、-help
     *  2、-ls 显示目录信息
     *  3、-mkdir 在HDFS上创建目录
     *  4、-moveFromLocal 从本地剪切到HDFS上
     *  5、-appendToFile 追加本地文件到HDFS文件末尾
     *  6、-cat 显示文件内容
     *  7、-chmod 修改文件权限
     *  8、-copyFromLocal 从本地拷贝到HDFS
     *  9、-copyToLocal 从HDFS拷贝到本地
     *  10、-cp HDFS内部文件拷贝
     *  11、-mv HDFS内部移动
     *  12、-get 从HDFS下载文件到本地，同copyToLocal
     *  13、 -getmerge 合并HDFS上的多个文件进行下载
     *  14、-put 等同于copyFromLocal
     *  15、-tail 显示指定文件的尾部
     *  16、-rm删除文件或文件夹
     *  17、-rmdir删除空目录
     *  18、-du 统计文件夹或文件的大小信息
     *  19、-setrep 设置HDFS文件副本数量

基本语法： `hadoop fs option` 或者 `hfds dfs option`，其中option为具体操作命令。

# 命令大全 #

## 1、-help ##

hadoop fs -help ls

\-help帮助命令，用来帮助查询其它命令的用法。用-help命令执行ls，可以显示出ls命令的所有可选参数。

## 2、-ls 显示目录信息 ##

hadoop fs -ls /

查看根目录下的文件和文件夹。

## 3、-mkdir 在HDFS上创建目录 ##

hadoop fs -mkdir -p /user/shanghai

在/user目录下创建了shanghai目录，-p表示如果 /user/shanghai目录已经存在了，该命令不会失败，不会创建新的 /user/shanghai覆盖原来的目录，只是命令不报错而已。如果去掉-p，执行命令后，如果 /user/shanghai目录已经存在，该命令会报目录已经存在。

## 4、-moveFromLocal 从本地剪切到HDFS上 ##

hadoop fs -moveFromLocal shanghai1.txt /user/shanghai/

执行命令后，本地的shanghai1.txt文件将不存在。

## 5、-appendToFile 追加本地文件到HDFS文件末尾 ##

hadoop fs -appendToFile shanghai2.txt /user/shanghai/shanghai1.txt

把本地shanghai2.txt文件中的内容追加到HDFS上的 /user/shanghai/shanghai1.txt文件中。

## 6、-cat 显示文件内容 ##

hadoop fs -cat /user/shanghai/shanghai1.txt

显示HDFS系统上/user/shanghai/shanghai1.txt文件的内容

## 7、-chmod 修改文件权限 ##

hadoop fs -chmod 777 /user/shanghai/shanghai1.txt

把hdfs上/user/shanghai/shanghai1.txt文件的选线改为777。

## 8、-copyFromLocal 从本地拷贝到HDFS ##

hadoop fs -copyFromLocal shanghai2.txt /user/shanghai

把本地当前目录下的shanghai2.txt文件复制到HDFS的/user/shanghai目录下。

## 9、-copyToLocal 从HDFS拷贝到本地 ##

hadoop fs -copyToLocal /user/shanghai/shanghai1.txt

把HDFS中的/user/shanghai/shanghai1.txt复制到本地当前目录下。

## 10、-cp HDFS内部文件拷贝 ##

hadoop fs -cp /user/shanghai/shanghai2.txt /user/shanghai/songjiang

把HDFS上/user/shanghai/shanghai2.txt文件拷贝到 /user/shanghai/songjiang目录下。

## 11、-mv HDFS内部移动 ##

hadoop fs -mv /user/shanghai/shanghai1.txt /user/shanghai/songjiang

把HDFS上的 /user/shanghai/shanghai1.txt移到/user/shanghai/songjiang目录下。

## 12、-get 从HDFS下载文件到本地，同copyToLocal ##

hadoop fs -get /user/shanghai/songjiang/shanghai1.txt

把HDFS上的/user/shanghai/songjiang/shanghai1.txt文件下载到本地当前目录下。

## 13、 -getmerge 合并HDFS上的多个文件进行下载 ##

hadoop fs -getmerge /user/shanghai/songjiang/* shanghai.txt

把HDFS上的/user/shanghai/songjiang/目录下的文件合并下载当本地当前目录下shanghai.txt文件中，如果shanghai.txt不存在，会创建一个。

## 14、-put 等同于copyFromLocal ##

hadoop fs -put shanghai2.txt /user/lzj/shanghai/

把本地当前环境中的shanghai2.txt文件拷贝到HDFS的/user/lzj/shanghai/下。

## 15、-tail 显示指定文件的尾部 ##

hadoop fs -tail /user/lzj/shanghai3.txt

显示HDFS上shanghai3.txt文件的尾部，与linux环境下tail应用类似。

## 16、-rm删除文件或文件夹 ##

hadoop fs -rm /user/lzj/shanghai2.txt

删除HDFS上/user/lzj/shanghai2.txt文件。

## 17、-rmdir删除空目录 ##

hadoop fs -rmdir /user/lzj/shanghai

删除HDFS上的 /user/lzj/shanghai目录，如果 /user/lzj/shanghai目录非空，会提示目录非空错误。

## 18、-du 统计文件夹或文件的大小信息 ##

hadoop fs -du /user/lzj

显示HDFS上/user/lzj目录的大小信息。

## 19、-setrep 设置HDFS文件副本数量 ##

hadoop fs -setrep 5 /user/lzj/shanghai.txt

设置HDFS上/user/lzj/shanghai.txt副本数量为5份。如果集群只有3台设备，那么最多也只有3个副本，只有当集群等于或大于5台时，副本数量才能达到5份。

3、HDFS的shell命令大全

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 3、HDFS的shell命令大全

相关 Hadoop3.0.3 HDFS 常用shell 命令

相关 Hadoop HDFS 的shell命令

相关 HBase Shell命令大全

相关 Hadoop_HDFS_shell命令

相关 HDFS 客户端的 Shell 命令

相关 HDFS中常用的shell命令

相关 HDFS的shell命令

相关 hdfs的理解以及shell命令

相关 hadoop hdfs 命令大全