Hadoop HFDS 的 Shell 操作

- 日理万妓 2022-02-25 05:26 157阅读 0赞

调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。  
所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

## 语法 ##

[root@hadoop102 ~]# hadoop fs
    Usage: hadoop fs [generic options]
            [-appendToFile <localsrc> ... <dst>]
            [-cat [-ignoreCrc] <src> ...]
            [-checksum <src> ...]
            [-chgrp [-R] GROUP PATH...]
            [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
            [-chown [-R] [OWNER][:[GROUP]] PATH...]
            [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
            [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
            [-count [-q] [-h] <path> ...]
            [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
            [-createSnapshot <snapshotDir> [<snapshotName>]]
            [-deleteSnapshot <snapshotDir> <snapshotName>]
            [-df [-h] [<path> ...]]
            [-du [-s] [-h] <path> ...]
            [-expunge]
            [-find <path> ... <expression> ...]
            [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
            [-getfacl [-R] <path>]
            [-getfattr [-R] {-n name | -d} [-e en] <path>]
            [-getmerge [-nl] <src> <localdst>]
            [-help [cmd ...]]
            [-ls [-d] [-h] [-R] [<path> ...]]
            [-mkdir [-p] <path> ...]
            [-moveFromLocal <localsrc> ... <dst>]
            [-moveToLocal <src> <localdst>]
            [-mv <src> ... <dst>]
            [-put [-f] [-p] [-l] <localsrc> ... <dst>]
            [-renameSnapshot <snapshotDir> <oldName> <newName>]
            [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
            [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
            [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
            [-setfattr {-n name [-v value] | -x name} <path>]
            [-setrep [-R] [-w] <rep> <path> ...]
            [-stat [format] <path> ...]
            [-tail [-f] <file>]
            [-test -[defsz] <path>]
            [-text [-ignoreCrc] <src> ...]
            [-touchz <path> ...]
            [-truncate [-w] <length> <path> ...]
            [-usage [cmd ...]]
    
    Generic options supported are
    -conf <configuration file>     specify an application configuration file
    -D <property=value>            use value for given property
    -fs <local|namenode:port>      specify a namenode
    -jt <local|resourcemanager:port>    specify a ResourceManager
    -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
    -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
    -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.
    
    The general command line syntax is
    bin/hadoop command [genericOptions] [commandOptions]

## 详细用法 ##

### appendToFile ###

使用方法：`hadoop fs -appendToFile <localsrc> ... <dst>`  
追加一个文件到已经存在的文件末尾。

### cat ###

使用方法：`hadoop fs -cat [-ignoreCrc] <src> ...`  
将路径指定文件的内容输出到stdout。可用-ignorecrc选项复制CRC校验失败的文件。  
示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
    hadoop fs -cat file:///file3 /user/hadoop/file4

返回值：  
成功返回0，失败返回-1。

### checksum ###

使用方法: `hadoop fs -checksum <src> ...`  
返回文件的校验信息。  
示例：

hadoop fs -checksum hdfs://nn1.example.com/file1
    hadoop fs -checksum file:///etc/hosts

### chgrp ###

使用方法：`hadoop fs -chgrp [-R] GROUP PATH...`  
改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见[HDFS权限用户指南][HDFS]。

### chmod ###

使用方法：`hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...`  
改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见[HDFS权限用户指南][HDFS]。

### chown ###

使用方法：`hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH...`  
改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见[HDFS权限用户指南][HDFS]。

### copyFromLocal ###

使用方法：`hadoop fs -copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>`  
除了限定源路径是一个本地文件外，和put命令相似。

### copyToLocal ###

使用方法：`hadoop fs -copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>`  
除了限定目标路径是一个本地文件外，和get命令类似。

### count ###

使用方法: `hadoop fs -count [-q] [-h] <path> ...`

计算指定文件模式匹配的路径下的目录、文件和字节数。  
参数`-count`时，输出列有DIR\_COUNT, FILE\_COUNT, CONTENT\_SIZE, PATHNAME。  
参数`-count -q`，输出列有QUOTA, REMAINING\_QUATA, SPACE\_QUOTA, REMAINING\_SPACE\_QUOTA, DIR\_COUNT, FILE\_COUNT, CONTENT\_SIZE, PATHNAME  
\-h选项以可读格式显示大小。  
\-v选项显示标题行。

示例:

hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
    hadoop fs -count -q hdfs://nn1.example.com/file1
    hadoop fs -count -q -h hdfs://nn1.example.com/file1
    hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1

返回值：  
成功返回0，失败返回-1。

### cp ###

使用方法：`hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>`  
将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。  
示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
    hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：  
成功返回0，失败返回-1。

### df ###

使用方法: `hadoop fs -df [-h] URI [URI ...]`  
显示可用空间。  
\-h选项将以“更易读”的方式格式化文件大小（例如64.0M而不是67108864）。  
示例:

hadoop dfs -df /user/hadoop/dir1

### du ###

使用方法：`hadoop fs -du [-s] [-h] URI [URI ...]`  
显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。  
示例：

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

返回值：  
成功返回0，失败返回-1。

### expunge ###

使用方法：`hadoop fs -expunge`  
清空回收站。请参考[HDFS设计文档][HDFS 1]以获取更多关于回收站特性的信息。

### get ###

使用方法：`hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>`  
复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

示例：

hadoop fs -get /user/hadoop/file localfile
    hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值：  
成功返回0，失败返回-1。

### getmerge ###

使用方法：`hadoop fs -getmerge <src> <localdst> [addnl]`  
接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

### ls ###

使用方法：`hadoop fs -ls <args>`  
如果是文件，则按照如下格式返回文件信息：

文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：

目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID

示例：

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

返回值：  
成功返回0，失败返回-1。

### lsr ###

使用方法：`hadoop fs -lsr <args>`  
ls命令的递归版本。类似于Unix中的ls -R。

### mkdir ###

使用方法：`hadoop fs -mkdir <paths>`  
接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。  
示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
    hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

返回值：  
成功返回0，失败返回-1。

### movefromLocal ###

使用方法：`hadoop fs -moveFromLocal <localsrc> <dst>`  
从本地上传文件  
类似于put命令，只是源localsrc在复制后会被删除。

### moveToLocal ###

使用方法: `hadoop fs -moveToLocal [-crc] <src> <dst>`  
从hdfs下载文件  
类似于get命令，只是源在复制后会被删除。

### mv ###

使用方法：`hadoop fs -mv URI [URI …] <dest>`  
将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。  
示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
    hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

返回值：  
成功返回0，失败返回-1。

### put ###

使用方法：`hadoop fs -put <localsrc> ... <dst>`  
从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

hadoop fs -put localfile /user/hadoop/hadoopfile
    hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
    hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
    hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

从标准输入中读取输入。  
返回值：  
成功返回0，失败返回-1。

### rm ###

使用方法：`hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]`  
删除指定的文件。  
如果文件不存在，-f选项将不显示诊断消息或修改退出状态以反映错误。  
\-R选项以递归方式删除目录及其下的任何内容。  
\-r选项等于-R。  
\-skiptrash选项将绕过垃圾桶（如果启用），并立即删除指定的文件。当需要从超配额目录中删除文件时，这可能很有用。

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

返回值：  
成功返回0，失败返回-1。

### setfacl ###

使用方法: `hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]`

设置文件和目录的访问控制列表（ACL）。  
选项：  
\-b：删除除基本ACL项之外的所有项。为了与权限位兼容，保留用户、组和其他项。  
\-k：删除默认的ACL。  
\-R：递归地对所有文件和目录应用操作。  
\-m：修改acl。新条目将添加到ACL，并保留现有条目。  
\-x: 删除指定的ACL项。保留其他ACL条目。  
–set：完全替换ACL，丢弃所有现有条目。为了与权限位兼容，acl\_spec必须包括用户、组和其他项。  
acl-spec：acl项的逗号分隔列表。  
path：要修改的文件或目录。

示例:

hadoop fs -setfacl -m user:hadoop:rw- /file
    hadoop fs -setfacl -x user:hadoop /file
    hadoop fs -setfacl -b /file
    hadoop fs -setfacl -k /dir
    hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
    hadoop fs -setfacl -R -m user:hadoop:r-x /dir
    hadoop fs -setfacl -m default:user:hadoop:r-x /dir

返回值：  
成功返回0，失败返回-1。

### setrep ###

使用方法：hadoop fs -setrep \[-R\]  
改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。  
示例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：  
成功返回0，失败返回-1。

### stat ###

使用方法：hadoop fs -stat URI \[URI …\]  
返回指定路径的统计信息。  
示例：

hadoop fs -stat path

返回值：  
成功返回0，失败返回-1。

### tail ###

使用方法：hadoop fs -tail \[-f\] URI  
将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。  
示例：

hadoop fs -tail pathname

返回值：  
成功返回0，失败返回-1。

### test ###

使用方法：hadoop fs -test -\[ezd\] URI  
选项：  
\-e 检查文件是否存在。如果存在则返回0。  
\-z 检查文件是否是0字节。如果是则返回0。  
\-d 如果路径是个目录，则返回1，否则返回0。  
示例：

hadoop fs -test -e filename

### text ###

使用方法：hadoop fs -text  
将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

### touchz ###

使用方法：hadoop fs -touchz URI \[URI …\]  
创建一个0字节的空文件。  
示例：

hadoop -touchz pathname

返回值：  
成功返回0，失败返回-1。

[HDFS]: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html
[HDFS 1]: https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html