大数据Hadoop系列之HDFS命令讲解

￡神魔★判官ぃ 2022-05-22 03:08 314阅读 0赞

### 1. 前言 ###

HDFS命令基本格式：hadoop fs -cmd < args >

--------------------

### 2. ls 命令 ###

hadoop fs -ls /  
列出hdfs文件系统根目录下的目录和文件

hadoop fs -ls -R /  
列出hdfs文件系统所有的目录和文件

--------------------

### 3. put 命令 ###

hadoop fs -put < local file > < hdfs file >  
hdfs file的父目录一定要存在，否则命令不会执行

hadoop fs -put < local file or dir >…< hdfs dir >  
hdfs dir 一定要存在，否则命令不会执行

--------------------

### 4. get 命令 ###

hadoop fs -get < hdfs file > < local file or dir>  
local file不能和 hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地

hadoop fs -get < hdfs file or dir > … < local dir >  
拷贝多个文件或目录到本地时，本地要为文件夹路径

--------------------

### 5. rm 命令 ###

hadoop fs -rm -r -f < hdfs file > …  
删除单个文件

hadoop fs -rm -r < hdfs dir>…  
每次可以删除多个文件或目录

--------------------

### 6. mkdir 命令 ###

hadoop fs -mkdir < hdfs path>  
只能一级一级的建目录，父目录不存在的话使用这个命令会报错

hadoop fs -mkdir -p < hdfs path>  
所创建的目录如果父目录不存在就创建该父目录

--------------------

### 7. cp 命令 ###

hadoop fs -cp < hdfs file > < hdfs file >  
目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在

hadoop fs -cp < hdfs file or dir >… < hdfs dir >  
目标文件夹要存在，否则命令不能执行

--------------------

### 8. mv 命令 ###

hadoop fs -mv < hdfs file > < hdfs file >  
目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在

hadoop fs -mv < hdfs file or dir >… < hdfs dir >  
源路径有多个时，目标路径必须为目录，且必须存在。

--------------------

### 9. count 命令 ###

hadoop fs -count < hdfs path >  
统计hdfs对应路径下的目录个数，文件个数，文件总计大小  
显示为目录个数，文件个数，文件总计大小，输入路径

--------------------

### 10. du 命令 ###

hadoop fs -du < hdsf path>  
显示hdfs对应路径下每个文件夹和文件的大小

hadoop fs -du -s < hdsf path>  
显示hdfs对应路径下所有文件和的大小

hadoop fs -du - h < hdsf path>  
显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864

--------------------

### 11. text 命令 ###

hadoop fs -text < hdsf file>  
将文本文件或某些格式的非文本文件通过文本格式输出

--------------------

### 12. tail 命令 ###

hadoop fs -tail < hdfs file >  
在标准输出中显示文件末尾的1KB数据

--------------------

### 13. 操作演示 ###

##### (1) 列出HDFS下的文件 #####

hadoop fs -ls /

##### (2) 上传文件 #####

将hadoop目录下的test1文件上传到HDFS上并重命名为test：
    hadoop fs -put ./test1 /test

##### (3) 文件被复制到本地系统中 #####

将HDFS中的test文件复制到本地系统并命名为getin：
    hadoop fs -get /test ~/getin

##### (4) 删除文档 #####

删除HDFS下名为out的文档：
    hadoop fs -rm -r -f /out

##### (5) 查看文件 #####

查看HDFS下test文件中的内容：
    hadoop fs -cat /datas/test/*

##### (6) 建立目录 #####

hadoop fs -mkdir -p /user/hadoop/test

发表评论取消回复

表情：

评论列表（有 0 条评论，314人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据Hadoop生态之分布式存储HDFS

Hadoop是一种分析和处理大数据的平台。HDFS是Hadoop分布式文件系统的简称。HDFS是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。随着数据量越来

拼搏现实的明天。/ 2023年10月07日 16:19/ 0 赞/ 11 阅读

相关 Hadoop系列之HDFS 数据块(12)

HDFS 数据块要把大文件存储在 HDFS上，HDFS 会把大文件分割成小块，即我们通常说的数据块（ block ），它是 Hadoop 分布式文件系统最小的存储单元，

蔚落/ 2023年01月10日 13:12/ 0 赞/ 155 阅读

相关 Hadoop系列之HDFS 常用命令(11)

HDFS 常用命令本节主要介绍 HDFS 常用命令，HDFS 命令和 Linux Shell 命令比较相似。每个命令将结合实例进行说明。 version 查看

曾经终败给现在/ 2023年01月10日 13:12/ 0 赞/ 165 阅读

相关 Hadoop系列之HDFS数据读写流(10)

HDFS 数据读写流程 HDFS 是 Hadoop 生态里面的数据存储层，它是一个具有容错性的非常可靠的分布式文件系统。HDFS 以主从（ Master / Slave

Myth丶恋晨/ 2023年01月10日 05:28/ 0 赞/ 115 阅读

相关 Hadoop系列之HDFS 简介(8)

HDFS 简介本节我们开始介绍Hadoop生态里面的其中一个组件——HDFS，包括HDFS架构，数据是怎么在HDFS存储的，HDFS的特性，比如分布式存储、容错性，高可

╰半橙微兮°/ 2023年01月09日 15:44/ 0 赞/ 136 阅读

相关 Hadoop系列之HDFS 架构(9)

HDFS 架构 Hadoop HDFS是一个主从（Master / Slave）架构，其中Master是Namenode节点，它主要用来存储元数据，Slave是Datan

淩亂°似流年/ 2023年01月09日 15:44/ 0 赞/ 151 阅读

相关大数据Hadoop系列之HDFS命令讲解

1. 前言 HDFS命令基本格式：hadoop fs -cmd < args > -------------------- 2. ls 命令 hadoop fs

￡神魔★判官ぃ/ 2022年05月22日 03:08/ 0 赞/ 315 阅读

相关 hadoop之hdfs命令

> 参考: [http://hadoop.apache.org/docs/r1.0.4/cn/hdfs\_shell.html][http_hadoop.apache.org_

Bertha 。/ 2022年05月14日 06:53/ 0 赞/ 271 阅读

相关 hadoop hdfs dfs 命令讲解

hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一个或者多个

一时失言乱红尘/ 2022年03月27日 20:56/ 0 赞/ 851 阅读

相关大数据(hadoop-HDFS原理分析)

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] HDFS概述 HDFS是什么？源自于Googl

系统管理员/ 2022年01月13日 12:34/ 0 赞/ 258 阅读