hadoop的hdfs的一些操作

电玩女神 2022-10-14 12:53 4阅读 0赞

先说一下"hadoop fs 和hadoop dfs的区别"，看两本Hadoop书上各有用到，但效果一样，求证与网络发现下面一解释比较中肯。

粗略的讲，fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。

查看hdfs情况

hdfs dfsadmin -report

hdfs上传文件或者新建文件夹，赋权

hadoop fs -chmod -R 777 /user

### 5.1 文件操作 ###

1）列出HDFS文件

此处为你展示如何通过"-ls"命令列出HDFS下的文件：

> hadoop fs -ls

执行结果如图5-1-1所示。在这里需要注意：在HDFS中未带参数的"-ls"命名没有返回任何值，它默认返回HDFS的"home"目录下的内容。在HDFS中，没有当前目录这样一个概念，也没有cd这个命令。

![579a95599ab4a5addc18624c92cbb067.png][]

图5-1-1 列出HDFS文件

2）列出HDFS目录下某个文档中的文件

此处为你展示如何通过"-ls 文件名"命令浏览HDFS下名为"input"的文档中文件：

> hadoop fs –ls input

执行结果如图5-1-2所示。

![1814471676085c6553ade38bf3d8d88a.png][]

图5-1-2 列出HDFS下名为input的文档下的文件

3）上传文件到HDFS

此处为你展示如何通过"-put 文件1 文件2"命令将"Master.Hadoop"机器下的"/home/hadoop"目录下的file文件上传到HDFS上并重命名为test：

> hadoop fs –put ~/file test

执行结果如图5-1-3所示。在执行"-put"时只有两种可能，即是执行成功和执行失败。在上传文件时，文件首先复制到DataNode上。只有所有的DataNode都成功接收完数据，文件上传才是成功的。其他情况（如文件上传终端等）对HDFS来说都是做了无用功。

![191d40ea6fe54329c17f6e9a96532cbf.png][]

图5-1-3 成功上传file到HDFS

4）将HDFS中文件复制到本地系统中

此处为你展示如何通过"-get 文件1 文件2"命令将HDFS中的"output"文件复制到本地系统并命名为"getout"。

> hadoop fs –get output getout

执行结果如图5-1-4所示。

![6b0ea159232351c52ac7f62d8e71f0a3.png][]

图5-1-4 成功将HDFS中output文件复制到本地系统

备注：与"-put"命令一样，"-get"操作既可以操作文件，也可以操作目录。

5）删除HDFS下的文档

此处为你展示如何通过"-rmr 文件"命令删除HDFS下名为"newoutput"的文档：

> hadoop fs –rmr newoutput

执行结果如图5-1-5所示。

![704669a70992bdb8c9d0341229b5ae64.png][]

图5-1-5 成功删除HDFS下的newoutput文档

6）查看HDFS下某个文件

此处为你展示如何通过"-cat 文件"命令查看HDFS下input文件中内容：

> hadoop fs -cat input/\*

执行结果如图5-1-6所示。

![da22400951c7c70f59415b9570989660.png][]

图5-1-6 HDFS下input文件的内容

"hadoop fs"的命令远不止这些，本小节介绍的命令已可以在HDFS上完成大多数常规操作。对于其他操作，可以通过"-help commandName"命令所列出的清单来进一步学习与探索。

### 5.2 管理与更新 ###

1）报告HDFS的基本统计情况

此处为你展示通过"-report"命令如何查看HDFS的基本统计信息：

> hadoop dfsadmin -report

执行结果如图5-2-1所示。

![2b1f8e6445fd80b2d7eee3e0448db80b.png][]

图5-2-1 HDFS基本统计信息

2）退出安全模式

NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块最小百分比数满足的最小副本数条件时，会自动退出安全模式。

系统显示"Name node is in safe mode"，说明系统正处于安全模式，这时只需要等待17秒即可，也可以通过下面的命令退出安全模式：

> hadoop dfsadmin –safemode enter

成功退出安全模式结果如图5-2-2所示。

![a38734d6f55ca8bf928c5cac46f426af.png][]

图5-2-2 成功退出安全模式

3）进入安全模式

在必要情况下，可以通过以下命令把HDFS置于安全模式：

> hadoop dfsadmin –safemode enter

执行结果如图5-2-3所示。

![1c78e9748a5b61889b82649d8b614a8a.png][]

图5-2-3 进入HDFS安全模式

4）添加节点

可扩展性是HDFS的一个重要特性，向HDFS集群中添加节点是很容易实现的。添加一个新的DataNode节点，首先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改"/usr/hadoop/conf/master"文件，加入NameNode主机名。然后在NameNode节点上修改"/usr/hadoop/conf/slaves"文件，加入新节点主机名，再建立到新加点无密码的SSH连接，运行启动命令：

> start-all.sh

5）负载均衡

HDFS的数据在各个DataNode中的分布肯能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：

> start-balancer.sh

执行命令前，DataNode节点上数据分布情况如图5-2-4所示。

![d733e269c32f1eb90432e9f43b330058.png][]

负载均衡完毕后，DataNode节点上数据的分布情况如图5-2-5所示。

![dc88d0661f1849629ecab41700731acc.png][]

执行负载均衡命令如图5-2-6所示。

![07edeef54a20077b2119e3a93c0a5de5.png][]

[579a95599ab4a5addc18624c92cbb067.png]: /images/20221014/0b48ecb6f5f743728ead7c5873c4e1e8.png
[1814471676085c6553ade38bf3d8d88a.png]: /images/20221014/bd2e11c16feb4abfbe924177c5ad906c.png
[191d40ea6fe54329c17f6e9a96532cbf.png]: /images/20221014/8f5d2abf04c9492cad02c5183898cb88.png
[6b0ea159232351c52ac7f62d8e71f0a3.png]: /images/20221014/d071b51a8ea749e39a9e0d6adbcda5b2.png
[704669a70992bdb8c9d0341229b5ae64.png]: /images/20221014/1b34abfe5def44c39ce3ffb8f6b61b61.png
[da22400951c7c70f59415b9570989660.png]: /images/20221014/e3549fe110e548c68536ed43d9c3358b.png
[2b1f8e6445fd80b2d7eee3e0448db80b.png]: /images/20221014/afe46f7b6f464921bd869905b0eeb2fc.png
[a38734d6f55ca8bf928c5cac46f426af.png]: /images/20221014/8ecb9c6cd9354cd591316b545543efe1.png
[1c78e9748a5b61889b82649d8b614a8a.png]: /images/20221014/b356627475ff4d409ba3aa00f92be0f9.png
[d733e269c32f1eb90432e9f43b330058.png]: /images/20221014/52cc8495377f45089c8031ee88bc2af4.png
[dc88d0661f1849629ecab41700731acc.png]: /images/20221014/488f3987e0a24f6cb0fb8dfa2825dad4.png
[07edeef54a20077b2119e3a93c0a5de5.png]: /images/20221014/40c8fc4fdc0c4953a5e867aed9db08b9.png