将HDFS上的小文件进行归档

阳光穿透心脏的1/2处 2023-07-11 06:29 4阅读 0赞

## 一、说明 ##

1.做本次的实操必须是先搭建好HDFS和yarn并已经启动，测试可以使用的状态。  
2.HDFS是一个海量存储的分布式存储系统，每一次存储都占128M，就算是很小的一个文件也会申请一个128M的块来存储。这样就很浪费资源。所以要将这些小的文件进行集中处理，来解决浪费哦资源的问题。  
3.我们在处理这些文件的时候，虽然将他们打包放在一起，但是使用的时候还可以像之前一样解析使用。

4.遇到的问题和解决方法在本篇文章结尾处说明

## 二、步骤演示 ##

1.因为本次是做实验，所以我就随意创建几个小文件进行。  
2.首先在HDFS上建一个目录用来存储小文件。

hadoop fs -mkdir -p /archive/input

3.在本地新建一个存小文件的目录datas。我将小文件建在了hadoop2.7.2下的datas目录

mkdir datas

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70]  
4.准备小文件，并在小文件里写点数据。  
![在这里插入图片描述][20200304191829793.png]  
5.将小文件上传到HDFS的/archive/input目录(我现在就在datas目录下。所以用的 **./**\* ),上传完看那一下HDFS是否有文件了。

hadoop fs -put ./* /archive/input

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 1]  
也可以手动命令查看

hadoop fs -ls /archive/input

![在这里插入图片描述][20200304193045382.png]  
6.使用hadoop命令查看归档的命令及参数格式  
Name 是打包好的文件名  
是想要将那个目录下的文件进行归档。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 2]  
7.归档  
/archive/input 是将HDFS上的那个目录下的文件归档。  
/archive/ouput 归档到那个目录下

hadoop archive -archiveName input.har -p /archive/input /archive/ouput

8.查看

hadoop fs -ls har:///archive/ouput/input.har

![在这里插入图片描述][20200304200223778.png]  
9.使用被归档的文件  
（1）先建一个copy文件夹，将文件复制到copy来查看效果。

hadoop fs -mkdir -p /archive/copy

（2）复制文件到copy目录下

hadoop fs -cp har:///archive/ouput/input.har/* /archive/copy

（3）查看copy目录  
![在这里插入图片描述][20200304200604435.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 3]

## 三、可能出现的问题 ##

1.`No such file or directory` 这个问题是没有知道对应的路径。检查路径。  
2.走到map 0% reduce 0%之后卡住不动，这种情况基本就是报错了，程序已经死掉了，这里希望虚拟机的内存给大一点，否则resourcemanager无法分配内存执行job任务  
3.Invalid Output: /archive/ouput/input.har  
说明这个文件已经存在，如果上次没有成功，次执行需要删除掉。  
4.如有其它问题私信博主。

**写作不易，如果对您有所帮助，请给一个小小的赞，您的点赞是对我莫大的支持和鼓励,谢谢！！！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200304191655725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3,size_16,color_FFFFFF,t_70
[20200304191829793.png]: https://img-blog.csdnimg.cn/20200304191829793.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200304192941507.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3,size_16,color_FFFFFF,t_70
[20200304193045382.png]: https://img-blog.csdnimg.cn/20200304193045382.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200304195227166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3,size_16,color_FFFFFF,t_70
[20200304200223778.png]: https://img-blog.csdnimg.cn/20200304200223778.png
[20200304200604435.png]: https://img-blog.csdnimg.cn/20200304200604435.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200304200626770.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NzE5NTI3,size_16,color_FFFFFF,t_70