hdfs操作

朴灿烈づ我的快乐病毒、 2021-11-17 04:31 331阅读 0赞

1. 文件操作  
(1) 列出HDFS下的文件  
/usr/local/hadoop$bin/ hadoop dfs -ls  
(2) 列出HDFS文件下名为in的文档中的文件  
/usr/local/hadoop$bin/ hadoop dfs -ls in  
(3) 上传文件  
将hadoop目录下的test1文件上传到HDFS上并重命名为test：  
/usr/local/hadoop$bin/ hadoop dfs -put test1 test  
(4) 文件被复制到本地系统中  
将HDFS中的in文件复制到本地系统并命名为getin：  
/usr/local/hadoop$bin/ hadoop dfs -get in getin  
(5) 删除文档  
删除HDFS下名为out的文档：  
/usr/local/hadoop$bin/hadoop dfs -rmr out

直接删除目录（不放入回收站）  
hdfs dfs -rm -skipTrash /user/hive/.Trash/Current  
如果不加-skipTrash，删除的目录会放入/user/hdfs/.Trash中。有专门的配置项来指定什么时候清空回收站。

清空回收站  
hdfs dfs -expunge

(6) 查看文件  
查看HDFS下in文件中的内容：  
/usr/local/hadoop$bin/hadoop dfs -cat in/\*  
(7) 建立目录  
/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples（目录/目录名）  
只能一级一级的建目录。  
(8) 复制文件  
/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路径 路径  
(9)通过Hadoop命令把两个文件的内容合并起来  
hdfs dfs -getmerge 位于hdfs中的原文件（里面有多个文件） 合并后的文件名  
例如：  
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult  
注：合并后的文件位于当前目录，不在hdfs中，是本地文件  
2. 管理与更新  
(1) 执行基本信息  
查看HDFS的基本统计信息：  
/usr/local/hadoop$bin/hadoop dfsadmin -report  
(2) 退出安全模式  
NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。  
系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：  
/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave  
(3) 进入安全模式  
在必要情况下，可以通过以下命令把HDFS置于安全模式：  
/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter  
(4)节点添加  
添加一个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改$HADOOP\_HOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改$HADOOP\_HOME/conf/slaves文件，加入新节点名，再建立新加节点无密码的SSH连接，运行启动命令为：  
/usr/local/hadoop$bin/start-all.sh  
(5)负载均衡  
HDFS的数据在各个DataNode中的分布可能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：  
/usr/local/hadoop$bin/start-balancer.sh

转载于:https://www.cnblogs.com/wuyuanguo/p/11132162.html

发表评论取消回复

表情：

评论列表（有 0 条评论，331人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java操作HDFS

我们使用maven作为依赖管理，首先添加依赖 <dependency> <groupId>org.apache.hadoop</groupId>

川长思鸟来/ 2023年01月23日 08:52/ 0 赞/ 132 阅读

相关 HDFS基本操作

基本操作增在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一

た入场券/ 2022年10月01日 06:49/ 0 赞/ 166 阅读

相关 hdfs文件操作

常用操作命令查看目录 hadoop fs -ls / 创建文件夹 hadoop fs -mkdir /文件夹名往里塞文件 hadoop fs -put 本地文件地

逃离我推掉我的手/ 2022年06月07日 06:28/ 0 赞/ 195 阅读

相关 Hadoop HDFS操作

启动HDFS 首先，您必须格式化配置的HDFS文件系统，打开namenode（HDFS服务器），然后执行以下命令。 $ hadoop namenode -for

墨蓝/ 2022年06月02日 04:48/ 0 赞/ 198 阅读

相关 Java操作HDFS

Java操作HDFS maven仓库【阿里仓库--支持chd的下载】配置文件 <mirror>

￡神魔★判官ぃ/ 2022年05月16日 06:06/ 0 赞/ 179 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 240 阅读

相关 HDFS操作

1、使用oiv命令查看hadoop 的镜像文件 [hadoop@s201 ~/hadoop/dfs/name/current]$hdfs oiv Usage

妖狐艹你老母/ 2022年05月14日 05:47/ 0 赞/ 203 阅读

相关 Hadoop操作HDFS命令

Hadoop操作HDFS命令如下所示： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息

缺乏、安全感/ 2021年12月15日 11:43/ 0 赞/ 295 阅读

相关 hdfs操作

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/ hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中

朴灿烈づ我的快乐病毒、/ 2021年11月17日 04:31/ 0 赞/ 332 阅读

相关 java操作hdfs

在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以关联到hadoop的源码。 ![Center][]

亦凉/ 2021年05月12日 11:51/ 0 赞/ 433 阅读