hadoop hdfs dfs基本操作

女爷i 2022-06-18 07:51 244阅读 0赞

# hadoop hdfs dfs基本操作 #

本文主要参考：

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html

根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令hdfs version。

![Center][]

好，下面上货：

1、查询

使用命令：

hdfs dfs -ls / 这条执行会列出/目录下的文件和目录

hdfs dfs -ls -R /这条会列出/目录下的左右文件，由于有-R参数，会在文件夹和子文件夹下执行ls操作。

![Center 1][]

2、添加文件夹

使用命令；

hdfs dfs -mkdir -p /xytest/testdata001/

这里需要注意的是，root用户是否拥有hdfs 的权限，如果有，我们可以继续操作，如果没有，我们可以直接使用hdfs用户，默认安装完cdh后，用户hdfs拥有所有的权限。如果对于权限有不明白的，推荐看一下我的另一篇文章：

http://blog.csdn.net/wild46cat/article/details/69664376

![Center 2][]

3、增加文件

使用命令：

hdfs dfs -copyFromLocal ~/123.txt /xytest/testdata001/

![Center 3][]

4、查看hdfs文件中的内容

使用命令：

hdfs dfs -cat /xytest/testdata001/123.txt

![Center 4][]

或者，可以把hdfs中的文件copy到本地

使用命令：

hdfs dfs -copyToLocal  /xytest/testdata001/123.txt ~/222.txt

![Center 5][]

5、删除文件

使用命令：

hdfs dfs -rm -f /xytest/testdata001/123.txt

![Center 6][]

6、删除文件夹

使用命令：

hdfs  dfs -rm -r /xytest/testdata001

![Center 7][]

[Center]: /images/20220618/dc27a8af07c94fcfaca7b535249cddf6.png
[Center 1]: /images/20220618/7a07310111564836a2bb5218b9b71225.png
[Center 2]: /images/20220618/1299396976894b0ab5cc4ec5c594d3fd.png
[Center 3]: /images/20220618/e04a4f4fa49140cd8918296c1227d0fe.png
[Center 4]: /images/20220618/b95ac94897e147ac821d26eb12357c1c.png
[Center 5]: /images/20220618/d2e78fb6a0aa400e8e5995eb8c26dae8.png
[Center 6]: /images/20220618/fac461466707427ca9937f0d0ad9236e.png
[Center 7]: /images/20220618/e7c8731b6ba64aed9b12369a991d0de6.png