Hadoop之HDFS常用Shell命令

浅浅的花香味﹌ 2022-01-21 06:45 335阅读 0赞

# Hadoop之HDFS常用Shell命令 #

--------------------

1.  启动Hadoop集群

sbin/start-dfs.sh
     sbin/start-yarn.sh

1.  \-help：输出这个命令参数

hadoop fs -help rm

1.  \-ls: 显示目录信息

hadoop fs -ls /

1.  \-mkdir：在hdfs上创建目录

hadoop fs -mkdir -p /hadoop

1.  \-moveFromLocal从本地剪切粘贴到hdfs

hadoop fs  -moveFromLocal  ./hh.txt  /hadoop

1.  \-cat：显示文件内容

hadoop fs -cat /hadoop/hh.txt

1.  \-tail：显示一个文件的末尾

adoop fs -tail /hadoop/hh.txt

1.  \-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop fs  -chmod  666  /hadoop/hh.txt
    hadoop fs  -chown  centos:centos  /hadoop/hh.txt

1.  \-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal README.txt /

1.  \-copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /hadoop/hh.txt ./

1.  \-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /hadoop/hh.txt /admin/hah.txt

1.  \-mv：在hdfs目录中移动文件

hadoop fs -mv /hh.txt /admin

1.  \-get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /hadoop/hh.txt ./

1.  \-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/test/* ./hh.txt

1.  \-put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/test/

1.  \-rm：删除文件或文件夹

hadoop fs -rm /user/test/jinlian2.txt

1.  \-rmdir：删除空目录

hadoop fs -rmdir /test

1.  \-du统计文件夹的大小信息

hadoop fs -du -s -h /user/test

1.  \-setrep：设置hdfs中文件的副本数量

hadoop fs -setrep 10 /hadoop/hh.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

--------------------

##### hadoop fs、hadoop dfs与hdfs dfs命令的区别 #####

Hadoop fs：使用面最广，可以操作任何文件系统。  
hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。

发表评论取消回复

表情：

评论列表（有 0 条评论，335人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop3.0.3 HDFS 常用shell 命令

1、启动Hadoop ./start-all.sh [root@elk-server sbin] ./start-all.sh Starting namen

太过爱你忘了你带给我的痛/ 2023年10月10日 10:38/ 0 赞/ 7 阅读

相关疯狂Hadoop之HDFS常用Shell命令（三）

HDFS入门 HDFS基本概念 HDFS介绍 HDFS是Hadoop Distribute File System的简称，意为：Hadoop分布式文件系统，是

曾经终败给现在/ 2023年10月07日 14:11/ 0 赞/ 9 阅读

相关 HDFS 常用 shell 命令

文章目录 1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地

浅浅的花香味﹌/ 2023年03月03日 12:25/ 0 赞/ 29 阅读

相关 Hadoop系列之HDFS 常用命令(11)

HDFS 常用命令本节主要介绍 HDFS 常用命令，HDFS 命令和 Linux Shell 命令比较相似。每个命令将结合实例进行说明。 version 查看

曾经终败给现在/ 2023年01月10日 13:12/ 0 赞/ 165 阅读

相关 Hadoop——HDFS常用命令

本节目标：掌握HDFS常用命令 hadoop fs -ls <path> 显示指定文件信息 hadoop fs -ls -R <path> ls命令的递归

你的名字/ 2022年05月26日 00:29/ 0 赞/ 329 阅读

相关 Hadoop hdfs 常用命令

概述前言调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。但也可以用hadoop dfs ,两者效果一样。(hadoop dfs命令

秒速五厘米/ 2022年05月08日 02:12/ 0 赞/ 288 阅读

相关 Hadoop HDFS常用命令

<table style="width:664px;"> <tbody> <tr> <td>hadoop fs -cat URI [URI …]</td>

冷不防/ 2022年04月13日 05:42/ 0 赞/ 285 阅读

相关 Hadoop之HDFS常用文件操作命令

命令基本格式 hadoop fs -cmd < args > ls　　列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /

╰半橙微兮°/ 2022年01月29日 13:57/ 0 赞/ 318 阅读

相关 Hadoop之HDFS常用Shell命令

Hadoop之HDFS常用Shell命令 -------------------- 1. 启动Hadoop集群 sbin/start-dfs.sh

浅浅的花香味﹌/ 2022年01月21日 06:45/ 0 赞/ 336 阅读

相关 hdfs shell 常用命令

1、hdfs shell 常用命令 # 查看hdfs文件系统所有1级目录 [zcx@zoucaoxin ~]$ hadoop fs -ls / # 递归查看hdfs下所...

小灰灰/ 2020年11月29日 04:11/ 0 赞/ 884 阅读