分布式文件系统介绍与minio介绍与使用（附minio java client 使用）

小灰灰 2024-04-24 14:35 86阅读 0赞

> ????分布式文件系统-minio：
> 
>  *  第一章：[分布式文件系统介绍与minio介绍与使用（附minio java client 使用）][minio_minio java client]
>  *  第二章：[minio&前后端分离上传视频/上传大文件——前后端分离断点续传&minio分片上传实现][minio_minio]

#### 文章目录 ####

*  1.分布式文件系统基本概念
 *   *  1.1 文件系统
     *  1.2 分布式文件系统
     *  1.3 分布式文件系统的产品
     *   *  1.3.1 NFS
         *  1.3.2 GFS
         *  1.3.3 HDFS
         *  1.3.4 云计算厂家
 *  2.minio概念与应用场景
 *   *  2.1 Minio介绍
     *  2.2 MinIO的基础概念
     *   *  2.2.1 Object
         *  2.2.2 Bucket
         *  2.2.3 Drive
         *  2.2.4 Set
     *  2.3 纠删码EC（Erasure Code）
     *  2.4 存储形式
     *  2.5 存储方案
 *  3.Minio环境搭建
 *   *  3.1 单机部署
     *   *  3.1.1 non-erasure code mode
         *  3.1.2 erasure code mode
         *  3.1.3 基于centos7
         *  3.1.4 基于docker
         *  3.1.5 minio纠删码模式
     *  3.2 分布式集群部署
     *   *  3.2.1 分布式存储可靠性常用方法
         *   *  3.2.1.1 冗余
             *  3.2.1.2 校验
         *  3.2.2 分布式Minio优势
         *   *  3.2.2.1 数据保护
             *  3.2.2.2 高可用
             *  3.2.2.3 一致性
         *  3.2.3 运行分布式Minio
         *   *  3.2.3.1 8个节点，每节点1块盘
             *  3.2.3.2 4节点，每节点4块盘
         *  3.2.4 使用Docker Compose部署MinIO
         *  3.2.5 扩展现有的分布式集群
         *  3.2.6 基于nginx实现loadbalancer
 *  4.Minio客户端使用
 *   *  4.1 部署客户端mc
     *  4.2 配置mc
     *  4.3 mc命令使用
     *   *  4.3.1 上传下载
         *  4.3.2 Bucket管理
     *  4.4 mc admin使用
     *   *  4.4.1 用户管理
         *  4.4.2 策略管理
 *  5.SDK-Minio Java Client使用
 *   *  5.1 文件上传
     *  5.2 文件下载
     *  5.3 删除文件
     *  5.4 查询文件

## 1.分布式文件系统基本概念 ##

### 1.1 文件系统 ###

要理解分布式文件系统首先了解什么是文件系统：

文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NAND Flash的固态硬盘)或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成:文件系统的接口，对对象操纵和管理的软件集合,对象及属性。从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。

文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。

下图指示了文件系统所处的位置：

![image-20230207012010283][]

常见的文件系统：FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 。

### 1.2 分布式文件系统 ###

现在有个问题，一此短视频平台拥有大量的视频、图片，这些视频文件、图片文件该如何存储呢？如何存储可以满足互联网上海量用户的浏览。  
今天讲的分布式文件系统就是海量用户查阅海量文件的方案。  
我们阅读百度百科去理解分布式文件系统的定义：

分布式文件系统(Distributed File System, DFS) 指文件系统管理的物理存储资源不-定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机) 相连;或是若干不同的逻辑磁盘分区或卷标组合在-起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑 上的树形文件系统结构,从而使用户访问分布在网络上的共享文件更加简便。单独的DFS共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点 。

通过概念可以简单理解为：一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信，如下图：

![image-20230207012103774][]

好处：

1.  一台计算机的文件系统处理能力扩充到多台计算机同时处理。
2.  一台计算机挂了还有另外副本计算机提供数据。
3.  每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度。

### 1.3 分布式文件系统的产品 ###

#### 1.3.1 NFS ####

网络文件系统(NFS) 文件系统之上的一个网络抽象,就许远程客户端以与本地文件系统类似的方式，来通过网络进行访问。虽然NFS不是第一个此类系统, 但是它已经发展并演变成UNIX系统中最强大最广泛使用的网络文件系统。NFS 允许在多个用户之间共享公共文件系统,并提供数据集中的优势,来最小化所需的存储空间。

![image-20230207012341729][]

特点：

1.  在客户端上映射NFS服务器的驱动器。
2.  客户端通过网络访问NFS服务器的硬盘完全透明。

#### 1.3.2 GFS ####

GFS（googleFs）是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

![image-20230207012451759][]

1.  GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver组成。
2.  master存储了数据文件的元数据，一个文件被分成了若干块存储在多个chunkserver中。
3.  用户从master中获取数据元信息，向chunkserver存储数据。

#### 1.3.3 HDFS ####

HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。

![image-20230207012527131][]

1.  HDFS采用主从结构，一个HDFS集群由一个名称结点和若干数据结点组成。
2.  名称结点存储数据的元信息，一个完整的数据文件分成若干块存储在数据结点。
3.  客户端从名称结点获取数据的元信息及数据分块的信息，得到信息客户端即可从数据块来存取数据。

#### 1.3.4 云计算厂家 ####

阿里云对象存储服务(Object Storage Service,简称OSS)，是阿里 云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于  
99.999999999% (12 个9)，服务设计可用性(或业务连续性)不低于99.995%。  
官方网站: https://www.aliyun.com/product/oss

百度对象存储BOS提供稳定、安全、高效、高可扩展的云存储服务。您可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管 理和处理。BOS支持标准、 低频、冷和归档存储等多种存储类型，满足多场景的存储需求。  
官方网站: https://cloud.baidu.com/productbos.html

## 2.minio概念与应用场景 ##

互联网海量非结构化数据的存储需求

*  电商网站：海量商品图片
 *  视频网站：海量视频文件
 *  网盘 : 海量文件
 *  社交网站：海量图片

### 2.1 Minio介绍 ###

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。

![image-20230205145344286][]

? 英文官网：https://min.io/

? 中文网站：http://www.minio.org.cn/

> 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。

对于中小型企业，如果不选择存储上云，那么 Minio 是个不错的选择，麻雀虽小，五脏俱全。当然Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。

在中国：阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。

? Minio优点：

*  部署简单: 一个single二进制文件即是一切，还可支持各种平台。
 *  minio支持海量存储，可按zone扩展(原zone不受任何影响)，支持单个对象最大5TB。
 *  兼容Amazon S3接口，充分考虑开发人员的需求和体验。
 *  低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据对象，实际占用磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合(ErasureCoding Set)中的disk数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的。
 *  MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。
    
    > ? 去中心化有什么好处？
    > 
    > 在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
    > 
    > 它将分布在不同服务器上的多块硬盘组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。如下图：
    > 
    > ![image-20230207012825273][]
 *  读写性能优异。

![image-20230205145811221][]

### 2.2 MinIO的基础概念 ###

#### 2.2.1 Object ####

存储到 Minio 的基本对象，如文件、字节流，Anything…

#### 2.2.2 Bucket ####

用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。对于客户端而言，就相当于一个存放文件的顶层文件夹。

#### 2.2.3 Drive ####

即存储数据的磁盘，在 MinIO 启动时，以参数的方式传入。Minio 中所有的对象数据都会存储在 Drive 里。

#### 2.2.4 Set ####

即一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。一个对象存储在一个 Set 上。（For example: \{1…64\} is divided into 4 sets each of size 16.）

*  一个对象存储在一个Set上
 *  一个集群划分为多个Set
 *  一个Set包含的Drive数量是固定的，默认由系统根据集群规模自动计算得出
 *  一个SET中的Drive尽可能分布在不同的节点上

### 2.3 纠删码EC（Erasure Code） ###

MinIO 使用纠删码机制来保证高可靠性，使用 highwayhash 来处理数据损坏（ Bit Rot Protection ）。关于纠删码，简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

> Minio使用纠删码技术来保护数据，它是一种恢复丢失和损坏数据的数学算法，它将数据分块冗余的分散存储在各各节点的磁盘上，所有的可用磁盘组成一个集合，上图由8块硬盘组成一个集合，当上传一个文件时会通过纠删码算法计算对文件进行分块存储，除了将文件本身分成4个数据块，还会生成4个校验块，数据块和校验块会分散的存储在这8块硬盘上。
> 
> 使用纠删码的好处是即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 比如上边集合中有4个以内的硬盘损害仍可保证数据恢复，不影响上传和下载，如果多于一半的硬盘坏了则无法恢复。

### 2.4 存储形式 ###

文件对象上传到 MinIO ，会在对应的数据存储磁盘中，以 Bucket 名称为目录，文件名称为下一级目录，文件名下是 part.1 和 xl.meta(老版本，最新版本如下图)，前者是编码数据块及检验块，后者是元数据文件。

![image-20230205150339626][]

### 2.5 存储方案 ###

![image-20230205150456196][]

## 3.Minio环境搭建 ##

? 官方文档：https://docs.min.io/docs/

? 中文文档：http://docs.minio.org.cn/docs/

minio支持多种server启动模式：

![image-20230205150937540][]

### 3.1 单机部署 ###

**minio server的standalone模式，即要管理的磁盘都在host本地。该启动模式一般仅用于`实验环境`、`测试环境的验证`和`学习使用`。在standalone模式下，还可以分为non-erasure code mode**和**erasurecode mode**。

#### 3.1.1 non-erasure code mode ####

在此启动模式下，对于每一份对象数据，minio直接在data下面存储这份数据，不会建立副本，也不会启用纠删码机制。因此，这种模式无论是服务实例还是磁盘都是“单点”，无任何高可用保障，磁盘损坏就表示数据丢失。

#### 3.1.2 erasure code mode ####

此模式为minio server实例传入多个本地磁盘参数。一旦遇到多于一个磁盘参数，minio server会自动启用erasure code mode。erasure code对磁盘的个数是有要求的，如不满足要求，实例启动将失败。 erasure code启用后，要求传给minio server的endpoint(standalone模式下，即本地磁盘上的目录)至少为4个。

#### 3.1.3 基于centos7 ####

? 文档地址：https://min.io/docs/minio/linux/index.html

<table> 
 <thead> 
  <tr> 
   <th>操作系统</th> 
   <th>CPU架构</th> 
   <th>地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>GNU/Linux</td> 
   <td>64-bit Intel</td> 
   <td>http://dl.minio.org.cn/server/minio/release/linux-amd64/mini</td> 
  </tr> 
 </tbody> 
</table>

# 1.创建一个目录，将我们下载的minio放在该目录下
    mkdir /usr/local/soft
    
    # 2.定位到创建的目录
    cd /usr/local/soft
    
    # 3.下载minio
    wget -q http://dl.minio.org.cn/server/minio/release/linux-amd64/minio
    
    # 4.放开权限
    chmod +x minio
    
    # 5.启动minio server服务，指定数据存储目录/mnt/data
    ./minio server /mnt/data

![image-20230205153330111][]

使用 `ctrl + c` 即可退出minio服务。

默认用户名密码minioadmin:minioadmin，修改默认用户名密码可以使用：

export MINIO_ROOT_USER=admin
    export MINIO_ROOT_PASSWORD=12345678

默认的配置目录是$\{HOME\}/.minio，可以通过–config-dir命令自定义配置目录：

./minio server --config-dir /mnt/config /mnt/data

控制台监听端口是动态生成的，可以通过–console-address ":port"指定静态端口：

./minio server --console-address ":50000" /mnt/data

![image-20230205153916337][]

访问minio控制台: http://192.168.65.129:50000/dashboard

> 注意需要先放开9000和50000两个端口：
> 
>     # 1.放开防火墙9000端口
>     firewall-cmd --zone=public --add-port=9000/tcp --permanent
>     # 2.放开防火墙50000端口
>     firewall-cmd --zone=public --add-port=50000/tcp --permanent
>     # 3.重启防火墙
>     systemctl restart firewalld.service

![image-20230205154553478][]

#### 3.1.4 基于docker ####

对外暴露minio控制台的端口，通过–console-address ":50000"指定控制台端口为静态端口

docker run -p 9000:9000 -p 50000:50000 --name minio \
    -v /mnt/data:/data \
    -v /mnt/config:/root/.minio \
    minio/minio server --console-address ":50000" /data

MinIO自定义用户名密码

docker run -d -p 9000:9000 -p 50000:50000 --name minio \
    -e "MINIO_ROOT_USER=admin" \
    -e "MINIO_ROOT_PASSWORD=12345678" \
    -v /mnt/data:/data \
    -v /mnt/config:/root/.minio \
    minio/minio server --console-address ":50000" /data

#### 3.1.5 minio纠删码模式 ####

Minio使用纠删码 erasure code 和校验和 checksum 来保护数据免受硬件故障和无声数据损坏。 即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。

> 纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的  
> 数据进行恢复。

![image-20230205155452995][]

使用Minio Docker镜像，在8块盘中启动Minio服务：

docker run -d -p 9000:9000 -p 50000:50000 --name minio \
    -e "MINIO_ROOT_USER=admin" \
    -e "MINIO_ROOT_PASSWORD=12345678" \
    -v /mnt/data1:/data1 \
    -v /mnt/data2:/data2 \
    -v /mnt/data3:/data3 \
    -v /mnt/data4:/data4 \
    -v /mnt/data5:/data5 \
    -v /mnt/data6:/data6 \
    -v /mnt/data7:/data7 \
    -v /mnt/data8:/data8 \
    minio/minio server /data{
        1...8} --console-address ":50000"

### 3.2 分布式集群部署 ###

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。

![image-20230205160456221][]

#### 3.2.1 分布式存储可靠性常用方法 ####

分布式存储，很关键的点在于数据的可靠性，即保证数据的完整，不丢失，不损坏。只有在可靠性实现的前提下，才有了追求一致性、高可用、高性能的基础。而对于在存储领域，一般对于保证数据可靠性的方法主要有两类，一类是冗余法，一类是校验法。

##### 3.2.1.1 冗余 #####

冗余法最简单直接，即对存储的数据进行副本备份，当数据出现丢失，损坏，即可使用备份内容进行恢复，而副本 备份的多少，决定了数据可靠性的高低。这其中会有成本的考量，副本数据越多，数据越可靠，但需要的设备就越多，成本就越高。可靠性是允许丢失其中一份数据。当前已有很多分布式系统是采用此种方式实现，如 Hadoop 的文件系统（3个副本），Redis 的集群，MySQL 的主备模式等。

##### 3.2.1.2 校验 #####

校验法即通过校验码的数学计算的方式，对出现丢失、损坏的数据进行校验、还原。注意，这里有两个作用，一个校验，通过对数据进行校验和( checksum )进行计算，可以检查数据是否完整，有无损坏或更改，在数据传输和保存时经常用到，如 TCP 协议；二是恢复还原，通过对数据结合校验码，通过数学计算，还原丢失或损坏的数据，可以在保证数据可靠的前提下，降低冗余，如单机硬盘存储中的 RAID技术，纠删码（Erasure Code）技术等。MinIO 采用的就是纠删码技术。

#### 3.2.2 分布式Minio优势 ####

##### 3.2.2.1 数据保护 #####

分布式Minio采用 纠删码来防范多个节点宕机和位衰减 `bit rot` 。

分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。

##### 3.2.2.2 高可用 #####

单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

##### 3.2.2.3 一致性 #####

Minio在分布式和单机模式下，所有读写操作都严格遵守`read-after-write`一致性模型。

#### 3.2.3 运行分布式Minio ####

启动一个分布式Minio实例，你只需要把硬盘位置做为参数传给minio server命令即可，然后，你需要在所有其它节点运行同样的命令。

*  分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，这样这些节点才能建立联接。为了实现这个，你需要在执行minio server命令之前，先将access秘钥和secret秘钥export成环境变量。新版本使MINIO\_ROOT\_USER&MINIO\_ROOT\_PASSWORD。
 *  分布式Minio使用的磁盘里必须是干净的，里面没有数据。
 *  下面示例里的IP仅供示例参考，你需要改成你真实用到的IP和文件夹路径。
 *  分布式Minio里的节点时间差不能超过3秒，你可以使用NTP 来保证时间一致。
 *  在Windows下运行分布式Minio处于实验阶段，请悠着点使用。

##### 3.2.3.1 8个节点，每节点1块盘 #####

启动分布式Minio实例，8个节点，每节点1块盘，需要在8个节点上都运行下面的命令：

export MINIO_ROOT_USER=admin
    export MINIO_ROOT_PASSWORD=12345678
    minio server http://192.168.1.11/export1 http://192.168.1.12/export2 \
        http://192.168.1.13/export3 http://192.168.1.14/export4 \
        http://192.168.1.15/export5 http://192.168.1.16/export6 \
        http://192.168.1.17/export7 http://192.168.1.18/export8

![image-20230205161923226][]

##### 3.2.3.2 4节点，每节点4块盘 #####

启动分布式Minio实例，4节点，每节点4块盘，需要在4个节点上都运行下面的命令：

export MINIO_ROOT_USER=admin
    export MINIO_ROOT_PASSWORD=12345678
    minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \
        http://192.168.1.11/export3 http://192.168.1.11/export4 \
        http://192.168.1.12/export1 http://192.168.1.12/export2 \
        http://192.168.1.12/export3 http://192.168.1.12/export4 \
        http://192.168.1.13/export1 http://192.168.1.13/export2 \
        http://192.168.1.13/export3 http://192.168.1.13/export4 \
        http://192.168.1.14/export1 http://192.168.1.14/export2 \
        http://192.168.1.14/export3 http://192.168.1.14/export4

![image-20230205161311618][]

#### 3.2.4 使用Docker Compose部署MinIO ####

? 说明文档：https://docs.min.io/docs/deploy-minio-on-docker-compose.html

要在Docker Compose上部署分布式MinIO，请下载docker-compose.yaml和nginx.conf到你当前的工作目录。

docker-compose pull
    docker-compose up

#### 3.2.5 扩展现有的分布式集群 ####

例如我们是通过区的方式启动MinIO集群，命令行如下：

export MINIO_ROOT_USER=admin
    export MINIO_ROOT_PASSWORD=12345678
    minio server http://host{
        1...32}/export{
        1...32}

MinIO支持通过命令，指定新的集群来扩展现有集群（纠删码模式），命令行如下：

export MINIO_ROOT_USER=admin
    export MINIO_ROOT_PASSWORD=12345678
    minio server http://host{
        1...32}/export{
        1...32}
    http://host{
        33...64}/export{
        1...32}

现在整个集群就扩展了1024个磁盘，总磁盘变为2048个，新的对象上传请求会自动分配到最少使用的集群上。通过以上扩展策略，您就可以按需扩展您的集群。重新配置后重启集群，会立即在集群中生效，并对现有集群无影响。如上命令中，我们可以把原来的集群看做一个区，新增集群看做另一个区，新对  
象按每个区域中的可用空间比例放置在区域中。在每个区域内，基于确定性哈希算法确定位置。

> 说明: **您添加的每个区域必须具有与原始区域相同的磁盘数量（纠删码集）大小**，以便维持相同的数据冗余SLA。 例如，第一个区有8个磁盘，您可以将集群扩展为16个、32个或1024个磁盘的区域，您只需确保部署的SLA是原始区域的倍数即可。

#### 3.2.6 基于nginx实现loadbalancer ####

upstream minio {
        server 192.168.3.14:9001;
        server 192.168.3.14:9002;
        server 192.168.3.14:9003;
        server 192.168.3.14:9004;
    }
    upstream console {
        ip_hash;
        server 192.168.3.14:50001;
        server 192.168.3.14:50002;
        server 192.168.3.14:50003;
        server 192.168.3.14:50004;
    }
    server {
        listen 9000;
        listen [::]:9000;
        server_name localhost;
        # To allow special characters in headers
        ignore_invalid_headers off;
        # Allow any size file to be uploaded.
        # Set to a value such as 1000m; to restrict file size to a specific
        value
            client_max_body_size 0;
        # To disable buffering
        proxy_buffering off;
        location / {
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_connect_timeout 300;
            # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            chunked_transfer_encoding off;
            proxy_pass http://minio;
        }
    }
    server {
        listen 50000;
        listen [::]:50000;
        server_name localhost;
        # To allow special characters in headers
        ignore_invalid_headers off;
        # Allow any size file to be uploaded.
        # Set to a value such as 1000m; to restrict file size to a specific
        value
            client_max_body_size 0;
        # To disable buffering
        proxy_buffering off;
        location / {
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-NginX-Proxy true;
            proxy_connect_timeout 300;
            # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            chunked_transfer_encoding off;
            proxy_pass http://console;
        }
    }

## 4.Minio客户端使用 ##

? 文档地址：https://min.io/docs/minio/linux/reference/minio-mc.html

MinIO Client (mc)为ls，cat，cp，mirror，diff，find等UNIX命令提供了一种替代方案。它支持文件系统和兼容Amazon S3的云存储服务（AWS Signature v2和v4）。

### 4.1 部署客户端mc ###

<table> 
 <thead> 
  <tr> 
   <th>平台</th> 
   <th>CPU架构</th> 
   <th>URL</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>GNU/Linux</td> 
   <td>64-bit Intel</td> 
   <td>http://dl.minio.org.cn/client/mc/release/linux-amd64/mc</td> 
  </tr> 
 </tbody> 
</table>

# 1.下载mc文件
    wget http://dl.minio.org.cn/client/mc/release/linux-amd64/mc
    # 2.打开权限
    chmod +x mc
    # 3.查看帮助指令
    ./mc --help
    # 4.将mc移动至环境变量使用
    mv mc /usr/local/sbin/

<table> 
 <thead> 
  <tr> 
   <th>平台</th> 
   <th>CPU架构</th> 
   <th>URL</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Microsoft Windows</td> 
   <td>64-bit Intel</td> 
   <td>http://dl.minio.org.cn/client/mc/release/windows-amd64/</td> 
  </tr> 
 </tbody> 
</table>

### 4.2 配置mc ###

mc 将所有的配置信息都存储在 `~/.mc/config.json` 文件中

# 查询mc host配置
    mc config host ls
    # 添加minio服务
    mc config host add minio-server http://192.168.3.14:9000 admin 12345678
    # 删除host
    mc config host remove minio-server

### 4.3 mc命令使用 ###

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ls</td> 
   <td>列出文件和文件夹。</td> 
  </tr> 
  <tr> 
   <td>mb</td> 
   <td>创建一个存储桶或一个文件夹。</td> 
  </tr> 
  <tr> 
   <td>cat</td> 
   <td>显示文件和对象内容。</td> 
  </tr> 
  <tr> 
   <td>pipe</td> 
   <td>将一个STDIN重定向到一个对象或者文件或者STDOUT。</td> 
  </tr> 
  <tr> 
   <td>share</td> 
   <td>生成用于共享的URL。</td> 
  </tr> 
  <tr> 
   <td>cp</td> 
   <td>拷贝文件和对象。</td> 
  </tr> 
  <tr> 
   <td>mirror</td> 
   <td>给存储桶和文件夹做镜像。</td> 
  </tr> 
  <tr> 
   <td>find</td> 
   <td>基于参数查找文件。</td> 
  </tr> 
  <tr> 
   <td>diff</td> 
   <td>对两个文件夹或者存储桶比较差异。</td> 
  </tr> 
  <tr> 
   <td>rm</td> 
   <td>删除文件和对象。</td> 
  </tr> 
  <tr> 
   <td>events</td> 
   <td>管理对象通知。</td> 
  </tr> 
  <tr> 
   <td>watch</td> 
   <td>监视文件和对象的事件。</td> 
  </tr> 
  <tr> 
   <td>policy</td> 
   <td>管理访问策略。</td> 
  </tr> 
  <tr> 
   <td>config</td> 
   <td>管理mc配置文件。</td> 
  </tr> 
 </tbody> 
</table>

#### 4.3.1 上传下载 ####

# 查询minio服务上的所有buckets(文件和文件夹)
    mc ls minio-server
    # 下载文件
    mc cp minio-server/tulingmall/fox/fox.jpg /tmp/
    #删除文件
    mc rm minio-server/tulingmall/fox/fox.jpg
    #上传文件
    mc cp zookeeper.out minio-server/tulingmall/

#### 4.3.2 Bucket管理 ####

# 创建bucket
    mc mb minio-server/bucket01
    # 删除bucket
    mc rb minio-server/bucket02
    # bucket不为空，可以强制删除 慎用
    mc rb --force minio-server/bucket01

# 查询bucket03磁盘使用情况
    mc du minio-server/bucket03

### 4.4 mc admin使用 ###

MinIO Client（mc）提供了“ admin”子命令来对您的MinIO部署执行管理任务。

service 	服务重启并停止所有MinIO服务器
    update 		更新更新所有MinIO服务器
    info 		信息显示MinIO服务器信息
    user 		用户管理用户
    group 		小组管理小组
    policy 		MinIO服务器中定义的策略管理策略
    config 		配置管理MinIO服务器配置
    heal 		修复MinIO服务器上的磁盘，存储桶和对象
    profile 	概要文件生成概要文件数据以进行调试
    top 		顶部提供MinIO的顶部统计信息
    trace 		跟踪显示MinIO服务器的http跟踪
    console 	控制台显示MinIO服务器的控制台日志
    prometheus 	Prometheus管理Prometheus配置
    kms 		kms执行KMS管理操作

#### 4.4.1 用户管理 ####

mc admin user --help
    # 新建用户
    mc admin user add minio-server fox
    mc admin user add minio-server fox02 12345678
    # 查看用户
    mc admin user list minio-server
    # 禁用用户
    mc admin user disable minio-server fox02
    # 启用用户
    mc admin user disable minio-server fox02
    # 查看用户信息
    mc admin user info minio-server fox
    # 删除用户
    mc admin user remove minio-server fox02

#### 4.4.2 策略管理 ####

policy命令，用于添加，删除，列出策略，获取有关策略的信息并为MinIO服务器上的用户设置策略。

mc admin policy --help
    # 列出MinIO上的所有固定策略
    mc admin policy list minio-server
    # 查看plicy信息
    mc admin policy info minio-server readwrite

? 添加新的策略：编写策略文件：`vim /root/tulingmall.json`

{
        
        "Version": "2012-10-17",
        "Statement": [
            {
        
                "Effect": "Allow",
                "Action": [
                    "s3:GetBucketLocation",
                    "s3:GetObject"
                ],
                "Resource": [
                    "arn:aws:s3:::tulingmall"
                ]
            },{
        
                "Effect": "Allow",
                "Action": [
                    "s3:*"
                ],
                "Resource": [
                    "arn:aws:s3:::tulingmall/*"
                ]
            }
        ]
    }

将tulingmall.json添加到策略数据库：

# 添加新的策略
    mc admin policy add minio-server tulingmall-admin /root/tulingmall.json
    mc admin policy list minio-server

mc admin user add minio-server fox03 12345678
    # 设置用户的访问策略
    mc admin policy set minio-server tulingmall-admin user=fox03

## 5.SDK-Minio Java Client使用 ##

MinIO Java Client SDK提供简单的API来访问任何与Amazon S3兼容的对象存储服务。

? 官方demo: https://github.com/minio/minio-java  
? 官方文档：https://min.io/docs/minio/linux/developers/java/minio-java.html

引入依赖：

<dependency>
        <groupId>io.minio</groupId>
        <artifactId>minio</artifactId>
        <version>8.3.0</version>
    </dependency>
    <dependency>
        <groupId>me.tongfei</groupId>
        <artifactId>progressbar</artifactId>
        <version>0.5.3</version>
    </dependency>
    <dependency>
        <groupId>com.squareup.okhttp3</groupId>
        <artifactId>okhttp</artifactId>
        <version>4.8.1</version>
    </dependency>

### 5.1 文件上传 ###

import io.minio.BucketExistsArgs;
    import io.minio.MakeBucketArgs;
    import io.minio.MinioClient;
    import io.minio.UploadObjectArgs;
    import io.minio.errors.MinioException;
    
    import java.io.IOException;
    import java.security.InvalidKeyException;
    import java.security.NoSuchAlgorithmException;
    
    /**
     * @author 狐狸半面添
     * @create 2023-02-05 17:06
     */
    public class FileUploadDemo {
        
        public static void main(String[] args)
                throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        
            try {
        
                // Create a minioClient with the MinIO server playground, its access key and secret key.
                MinioClient minioClient =
                        MinioClient.builder()
                                // 指定连接的ip和端口
                                .endpoint("http://192.168.65.129:9000")
                                // 指定 访问秘钥（也称用户id） 和 私有秘钥（也称密码）
                                .credentials("admin", "12345678")
                                .build();
                // 创建bucket
                String bucketName = "sangxin-fox";
                boolean exists =
                        minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
                if (!exists) {
        
                    // 不存在，创建bucket
                    minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
                }
                // 上传文件
                minioClient.uploadObject(
                        UploadObjectArgs.builder()
                                .bucket(bucketName)
                                // 指定上传到minio的保存文件名（MyC文件夹下，文件夹不存在时会自动创建）
                                .object("MyC/C语言.pdf")
                                // 指定需要上传的文件地址
                                .filename("D:\\SoftwareEngineering\\LearningFile\\C语言\\C语言.pdf")
                                .build());
                System.out.println("上传文件成功");
            } catch (MinioException e) {
        
                System.out.println("Error occurred: " + e);
                System.out.println("HTTP trace: " + e.httpTrace());
            }
        }
    }

### 5.2 文件下载 ###

import io.minio.DownloadObjectArgs;
    import io.minio.MinioClient;
    
    /**
     * @author 狐狸半面添
     * @create 2023-02-05 17:12
     */
    public class DownLoadDemo {
        
        public static void main(String[] args) {
        
            // Create a minioClient with the MinIO server playground, its access key and secret key.
            MinioClient minioClient =
                    MinioClient.builder()
                            // 指定连接的ip和端口
                            .endpoint("http://192.168.65.129:9000")
                            // 指定 访问秘钥（也称用户id） 和 私有秘钥（也称密码）
                            .credentials("admin", "12345678")
                            .build();
            // Download object given the bucket, object name and output file name
            try {
        
                minioClient.downloadObject(
                        DownloadObjectArgs.builder()
                                // 指定 bucket 存储桶
                                .bucket("sangxin-fox")
                                // 指定 哪个文件
                                .object("MyC/C语言.pdf")
                                // 指定存放位置与名称
                                .filename("D:\\c语言.pdf")
                                .build());
                System.out.println("下载文件成功");
            } catch (Exception e) {
        
                e.printStackTrace();
            }
        }
    }

### 5.3 删除文件 ###

public static void delete(String bucket,String filepath)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        
        try {
        
    
            minioClient.removeObject(
                RemoveObjectArgs.builder().bucket(bucket).object(filepath).build());
            System.out.println("删除成功");
        } catch (MinioException e) {
        
            System.out.println("Error occurred: " + e);
            System.out.println("HTTP trace: " + e.httpTrace());
        }
    
    }
    
    public static void main(String[] args)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        
        //  upload();
        delete("testbucket","1.mp4");
        delete("testbucket","avi/1.avi");
    
    }

### 5.4 查询文件 ###

public static void getFile(String bucket,String filepath,String outFile)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        
        try {
        
            try (InputStream stream = minioClient.getObject(
                GetObjectArgs.builder()
                .bucket(bucket)
                .object(filepath)
                .build());
                 FileOutputStream fileOutputStream = new FileOutputStream(new File(outFile));
                ) {
        
    
                // Read data from stream
                IOUtils.copy(stream,fileOutputStream);
                System.out.println("下载成功");
            }
    
        } catch (MinioException e) {
        
            System.out.println("Error occurred: " + e);
            System.out.println("HTTP trace: " + e.httpTrace());
        }
    
    }
    
    
    public static void main(String[] args)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        
        upload();
        //  delete("testbucket","1.mp4");
        //  delete("testbucket","avi/1.avi");
        getFile("testbucket","avi/1.avi","D:\\develop\\minio_data\\1.avi");
    }

[minio_minio java client]: https://blog.csdn.net/qq_62982856/article/details/128963301
[minio_minio]: https://blog.csdn.net/qq_62982856/article/details/129002288
[image-20230207012010283]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/716ca30e1fed41cfa8eb6bba7b5d2a48.png
[image-20230207012103774]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/a5a2a65e9cad48b582406ba5585ee0fa.png
[image-20230207012341729]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/8db56ab70a1949388f7b174addd30e89.png
[image-20230207012451759]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/81e0e991c3e34546ba2c4659ebccf201.png
[image-20230207012527131]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/72aa523adbf94f34995c13f7d4f1fba9.png
[image-20230205145344286]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/06baeab1594f4de7b871e640ad8c2480.png
[image-20230207012825273]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/bf92784076084668a8cde12d57cef989.png
[image-20230205145811221]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/507f612858834590b5fb7074226ec241.png
[image-20230205150339626]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b7bf2a50055b4d07b4dfd09bf084bdd3.png
[image-20230205150456196]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/40c4b8af6afe4afab73a18d653f19baa.png
[image-20230205150937540]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/5788e019001d44d9ae7c38456cddeee8.png
[image-20230205153330111]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/e2cf2ca2901843ad9df5807f8b8c9920.png
[image-20230205153916337]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/56850ac0c85846408c106168efc6e1ab.png
[image-20230205154553478]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/09b74ad887fc4bf99d9ca382920ff8aa.png
[image-20230205155452995]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1981fb7388d14b4195df5016c1bc21dc.png
[image-20230205160456221]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/5aa28a4858f14655b85b20d812d168c0.png
[image-20230205161923226]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/9969f59f69fe4649a74228b8e792b78e.png
[image-20230205161311618]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b2106c1644e044048d8325fbb034aa02.png