minio 多级目录获取目录名卡死问题【实战】

素颜马尾好姑娘i 2024-03-16 12:07 65阅读 0赞

**目录**

一、问题：

二、解决方法：

三、原理

四、案例

ls 和 ls -1 -f

ls命令为什么会卡住？

--------------------

### 一、问题： ###

生产环境，由于存储文件太快，导致很快一个桶里百万文件，几个T的大小。

**多级目录获取目录名是个问题，list\_objects如果用recursive=true递归，当目录很多且级数多时，卡死掉。**

通过客户端进入桶里，也会卡死。

但业务系统来调用minio接口，获取里面的文件，又没事，可以正常拿到。

### 二、解决方法： ###

核心思想：**对客户端进行控制**。

客户端查询时需要指定目录或文件名。即，**需已经知道**是哪个目录或哪个文件，再去查。而非遍历或递归minio的桶里的文件来获取目录名。所以需要对minio桶里的目录名进行管理。

参考：[linux目录文件太多导致卡死 存储 minio dfs【实战】][linux_ _ minio dfs]

**对目录有个专门管理，例如将目录名存在某张表里。**

### 三、原理 ###

这就像在办公的时候，有人会用一个excel来存一些关键信息(例如文件名，目录名，项目名，重要人物的名字，等等)，来提示自己。然后再去某个大的目录里(或磁区，或联络人，或大的excel)里去搜索。当然，有的人记忆好，他存在自己脑子里。

文件系统的设计参考现实中的事物。

很多设计都会来源于生活，例如token令牌。

### 四、案例 ###

以linux为例，一个目录中存了百万个文件，如果要查看目录中文件名，使用 **ls -1 -f**

#### ls 和 ls -1 -f ####

在一个有几百万文件的目录中执行ls命令，ls就卡在那了。

用 ls -1 -f 命令可以立即显示出文件。如果想删除当前目录中的所有文件，使用如下命令：

ls -1 -f | xargs rm

#### ls命令为什么会卡住？ ####

默认情况下，**ls 命令会将输出排序**。为了排序，ls命令**先将所有文件的名称读入内存**。当遇到一个非常大的目录时，它就在那里不断地读入文件名，并且内存占用越来越大，直到将所有文件一次性以字母数字顺序列出来。

而**ls -1 -f 命令**并不执行排序操作，只是**读取目录然后立即显示文件**。

除了变得更慢外，后者还占用了大量内存。当ls命令真正开始打印文件名的时候，它已经**在内存中存储了300万个文件名，使用了大约507M内存**。相反，**ls -1 -f命令内存占用从未超过4.5M**，少了100倍。

遍历EXT3/4文件系统花这么长时间和这么多资源有时被认为是文件系统Bug。但是我认为，如果有Bug的话，那只能是**遍历软件的Bug(即客户端的bug)(比如，find命令、不带-1和-f标识的ls命令以及各种备份软件)**，而不是文件系统有Bug。

具体参考：[linux目录文件太多导致卡死 存储 minio dfs【实战】][linux_ _ minio dfs]

### 五、minIO客户端 ###

minIO目前的客户端没有分类，没有时间，如果要删除几个月前的数据，或者几年前的数据，得进到linux目录去删除。

企业中的minIO通常会在容器云中使用pvc挂载。可以理解为直接挂了块硬盘。

所以生产环境中业务场景若只是单纯的存储图片文档等文件，也可以不用minIO，直接挂载pvc，用nginx做静态资源访问，就足够胜任此场景。

项目中，minIO会返回一个/minio/xxx的url，通过在项目的域名地址后拼接/minio/xxx，访问就能拿到文件。

这个功能类似nginx配置了个静态资源路径，location中配置 location /minio \{root /xxx/xxx\}

自己开发的服务这边，需要设计存储方案，例如按照每天来创建目录，然后将文件存在当天的目录下。将文件路径存在file\_info表里。文件路径可以是/mydfs/20230101/雪花id.png，存在linux里的文件也需要改成相应的名字(即雪花id.png)。

然后在nginx中配置location， location /mydfs \{root /xxx/xxx\}，访问资源的时候，就会去/xxx/xxx/mydfs/20230101/雪花id.png 这里寻找文件。

待整理

[SpringBoot 对Minio对象存储服务操作，关于多级目录如何操作\_minio获取文件夹下的子目录文件名\_yzcheng90的博客-CSDN博客][SpringBoot _Minio_minio_yzcheng90_-CSDN]

[linux_ _ minio dfs]: https://globalcoding.blog.csdn.net/article/details/130999351
[SpringBoot _Minio_minio_yzcheng90_-CSDN]: https://blog.csdn.net/qq_15273441/article/details/100080723

minio 多级目录获取目录名卡死问题【实战】

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 minio 多级目录获取目录名卡死问题【实战】

相关 linux目录文件太多导致卡死存储 minio dfs【实战】

相关 IDEA在resources下创建多级目录问题

相关 win10卡顿卡死，360浏览器卡顿卡死

相关 NodeJS 获取目录名文件名 dirname filename

相关一个获取多级目录的小案例

相关 IDEA 中创建多级目录

相关 C++实现多级目录创建

相关 Linux 创建目录mkdir ，多级目录

相关 php mkdir创建多级目录