第二章 HDFS 的命令操作

冷不防 2022-12-14 12:25 149阅读 0赞

## HDFS基本语法 ##

### 文章目录 ###

*   *  HDFS基本语法
     *  1.hadoop fs
     *  2.启动集群
     *  3.-help
     *  4.-mkdir
     *  5.-moveFromLocal
     *  6.-appendToFile
     *  \-cat
     *  8.-chmod
     *  9.-chown
     *  10 -copyFromLocal
     *  11.-copyToLocal
     *  12. -cp
     *  13. -mv
     *  14.-get
     *  15.-getmerge
     *  16. -put
     *  17.-tail
     *  18.-rm
     *  19.-rmdir
     *  20.-du
     *  21. -setrep
     *  web 页面：

在配置hadoop 和jdk 的环境变量的情况下

## 1.hadoop fs ##

显示具体命令（hdfs dfs 也可以）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center]

## 2.启动集群 ##

start-dfs.sh  
start-yarn.sh

在这里我的集群已经启动  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][20201013171425307.png_pic_center]

## 3.-help ##

输出这个命令的参数  
![在这里插入图片描述][2020101317162527.png_pic_center]

## 4.-mkdir ##

在hdfs 创建目录

![在这里插入图片描述][20201013172130304.png_pic_center]

## 5.-moveFromLocal ##

从本地文件系统移动到hdfs  
![在这里插入图片描述][20201013171828510.png_pic_center]

## 6.-appendToFile ##

追加

## \-cat ##

查看

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 2]

## 8.-chmod ##

改变权限

## 9.-chown ##

改变所属组  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 3]

## 10 -copyFromLocal ##

从本地到hdfs  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 4]

## 11.-copyToLocal ##

从hdfs ![到本地][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 5]

## 12. -cp ##

拷贝（hdfs之间）  
![在这里插入图片描述][20201013200712848.png_pic_center]

## 13. -mv ##

移动 （hdfs之间）  
![在这里插入图片描述][20201013201038601.png_pic_center]

## 14.-get ##

从hdfs 下载文件到本地（同于copyToLocal）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 6]

## 15.-getmerge ##

合并下载多个  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 7]

## 16. -put ##

同于 copyFromLocal  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 8]

## 17.-tail ##

显示一个文件末尾默认十行（hdfs）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 9]

## 18.-rm ##

删除文件或文件夹 （hdfs）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 10]

## 19.-rmdir ##

删除空目录（hdfs）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 11]

## 20.-du ##

统计文件大小信息
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201013203218878.png#pic_center)

## 21. -setrep ##

设置hdfs 文件的副本数量  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 12]

## web 页面： ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 13]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/20c51465905240b49dc57c1e34af802b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/934e90b3e19c4206ab196eabf4c74ed5.png
[20201013171425307.png_pic_center]: /images/20221123/09047b0fde2740b88e20758c65fb7e88.png
[2020101317162527.png_pic_center]: /images/20221123/8ddb64b2d77340d9a7ddcb86f8b29e78.png
[20201013172130304.png_pic_center]: /images/20221123/c957482ad7844e6987c33879aa3e93a7.png
[20201013171828510.png_pic_center]: /images/20221123/bf6f4d125a334ecd8b3d96562b6c3461.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/36cce330f4b24d6e86fe0367c30c290a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/319afe87e1a44f618545ad17a49a7b8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/80a7a052ee58437787aa1a817da2c8e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/93ecac6e339b4b1aaa9963e2b579569d.png
[20201013200712848.png_pic_center]: /images/20221123/43fe8955f51147769332aa00e58844ec.png
[20201013201038601.png_pic_center]: /images/20221123/324fdae56d2c48faa4c4c4bed2498d2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/a0fefbcaa52b4ce097b5930cd7b82207.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/5f49a0faf1a34819bcf1c96e583ecf0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/390d814402b840fc91a965777c87fec7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/3b5354d6de9643ecae8f25c1b7965eae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/3ca63eba3a8b488387cf562550abde88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/89d289d7e4e240a58cd1414bf2792a80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/30baad2a688e45fb9438725fef6978b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/be8a291bba0f4cd983ff6f3d5a8dbde2.png