Minio分布式集群搭建

我会带着你远行 2022-11-07 01:46 604阅读 0赞

# 引用内容 #

[介绍内容来自官方 https://docs.min.io/cn/distributed-minio-quickstart-guide.html][https_docs.min.io_cn_distributed-minio-quickstart-guide.html]  
[部署内容参考 https://blog.csdn.net/ywd1992/article/details/82385101][https_blog.csdn.net_ywd1992_article_details_82385101]

# 一、分布式Minio快速入门 #

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。

## 分布式Minio有什么好处? ##

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。  
**数据保护**  
分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。  
分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。

**高可用**  
单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。  
例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。  
注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。

**一致性**  
Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

# 二、Minio分布式集群搭建 #

**生产环境建议最少4节点**

<table> 
 <thead> 
  <tr> 
   <th>节点</th> 
   <th>IP</th> 
   <th>data</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>minio1</td> 
   <td>172.16.71.172</td> 
   <td>/apps/minio/data/export{1,2,3,4}</td> 
  </tr> 
  <tr> 
   <td>minio2</td> 
   <td>172.16.71.173</td> 
   <td>/apps/minio/data/export{1,2,3,4}</td> 
  </tr> 
  <tr> 
   <td>minio3</td> 
   <td>172.16.71.174</td> 
   <td>/apps/minio/data/export{1,2,3,4}</td> 
  </tr> 
  <tr> 
   <td>minio4</td> 
   <td>172.16.71.182</td> 
   <td>/apps/minio/data/export{1,2,3,4}</td> 
  </tr> 
 </tbody> 
</table>

## 1、获取Minio ##

https://dl.min.io/server/minio/release/linux-amd64/minio

## 2、修改主机名及hosts(可忽略) ##

hostnamectl set-hostname minio1
    hostnamectl set-hostname minio2
    hostnamectl set-hostname minio3
    hostnamectl set-hostname minio4
    ...

cat >> /etc/hosts <<EOF 10.10.0.1 minio1 10.10.0.2 minio2 10.10.0.3 minio3 10.10.0.4 minio4 EOF

## 3、系统最大文件数修改(可忽略) ##

echo "* soft nofile 65535" >> /etc/security/limits.conf
    echo "* hard nofile 65535" >> /etc/security/limits.conf

## 4、目录创建 ##

*  启动脚本及二进制文件目录 run
 *  数据存储目录 data
 *  日志存储目录 logs
 *  配置文件目录/etc/minio

mkdir -p /apps/minio/{ run,data,logs} && mkdir -p /etc/minio
    mkdir /apps/minio/data/export{ 1,2,3,4}

## 5、集群启动文件 ##

vim /data/minio/run/run.sh

*  MINIO\_ACCESS\_KEY：用户名，长度最小是5个字符
 *  MINIO\_SECRET\_KEY：密码，密码不能设置过于简单，不然-minio会启动失败，长度最小是8个字符
 *  –config-dir：指定集群配置文件目录
 *  –address： 指定端口号 默认是9000  
    **注意：下面脚本复制时 \\ 后不要有空格**

#!/bin/bash
    export MINIO_ACCESS_KEY=minioadmin
    export MINIO_SECRET_KEY=minioadmin
    
    /apps/minio/run/minio server --address 0.0.0.0:8000 --config-dir /etc/minio \
    http://172.16.71.172/apps/minio/data/export1 \
    http://172.16.71.172/apps/minio/data/export2 \
    http://172.16.71.172/apps/minio/data/export3 \
    http://172.16.71.172/apps/minio/data/export4 \
    http://172.16.71.173/apps/minio/data/export1 \
    http://172.16.71.173/apps/minio/data/export2 \
    http://172.16.71.173/apps/minio/data/export3 \
    http://172.16.71.173/apps/minio/data/export4 \
    http://172.16.71.174/apps/minio/data/export1 \
    http://172.16.71.174/apps/minio/data/export2 \
    http://172.16.71.174/apps/minio/data/export3 \
    http://172.16.71.174/apps/minio/data/export4 \
    http://172.16.71.182/apps/minio/data/export1 \
    http://172.16.71.182/apps/minio/data/export2 \
    http://172.16.71.182/apps/minio/data/export3 \
    http://172.16.71.182/apps/minio/data/export4 > /apps/minio/logs/minio_server.log

## 6、minio.service ##

*  WorkingDirectory：二进制文件目录
 *  ExecStart：指定集群启动脚本

cat > /usr/lib/systemd/system/minio.service <<EOF [Unit] Description=Minio service Documentation=https://docs.minio.io/ [Service] WorkingDirectory=/apps/minio/run/ ExecStart=/apps/minio/run/run.sh Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF

## 7、二进制文件 ##

将minio二进制文件上传到/apps/minio/run目录

## 8、权限修改 ##

给所有涉及到的文件或目录添加权限

*  service文件
 *  二进制文件
 *  集群启动脚本

chmod +x /usr/lib/systemd/system/minio.service && chmod +x /apps/minio/run/minio && chmod +x /apps/minio/run/run.sh

## 9、启动集群 ##

systemctl daemon-reload
    systemctl enable minio && systemctl start minio

**注意：不要同时启动所有服务。 重启时也不要同时启动。否则容易引起系统一直等待。**  
*遇到的一些问题。启动的时候遭遇了重复启动使得一直提示Waiting for the first server to format the disks. 这时候检查一下是否同时有两个实例在运行*

## 10、代理集群 ##

生产环境需要使用Nginx将集群地址进行代理，对外统一入口

upstream minio{ 
            server 172.16.71.172:8000;
            server 172.16.71.173:8000;
            server 172.16.71.174:8000;
            server 172.16.71.182:8000;
    }
    server { 
            listen 8000;
            server_name minio;
            location / { 
                    proxy_pass http://minio;
                    proxy_set_header Host $http_host;
                    client_max_body_size 1000m;
            }
    }

## 11、测试 ##

浏览器访问minio集群代理地址+8000端口，用户名密码为上文中启动文件run.sh中我们设置的

# 三、bucket配置 #

## 1、新增bucket ##

![需要先创建bucket才能上传图片][bucket]

## 2、配置bucket可免密访问 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaGlfcmFpbg_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaGlfcmFpbg_size_16_color_FFFFFF_t_70 1]  
访问路径为 http://172.16.71.173:8000/default/1.jpg 域名+bucket+文件名/路径

# 四、java 上传文件 （基于 minio 8.1.0） #

## 参考资料 ##

https://docs.min.io/docs/java-client-api-reference  
https://github.com/minio/minio-java/tree/release/examples

## 1.通过流上传文件 ##

package com.dhc.cloud;
    
    import io.minio.BucketExistsArgs;
    import io.minio.MakeBucketArgs;
    import io.minio.MinioClient;
    import io.minio.PutObjectArgs;
    import io.minio.UploadObjectArgs;
    import lombok.SneakyThrows;
    import org.junit.jupiter.api.BeforeEach;
    import org.junit.jupiter.api.Test;
    
    import java.io.File;
    import java.io.FileInputStream;
    
    class MinioStorageServiceTest { 
    
        MinioClient minioClient;
    
        @BeforeEach
        public void init() { 
            minioClient =
                MinioClient.builder()
                    .endpoint("http://172.16.71.172:8000")
                    .credentials("minioadmin", "minioadmin")
                    .build();
        }
    
    
        @Test
        @SneakyThrows
        public void updateStream() { 
            // 检查bucket是否存在
            boolean found =
                minioClient.bucketExists(BucketExistsArgs.builder().bucket("default").build());
            if (!found) { 
                // 创建bucket
                minioClient.makeBucket(MakeBucketArgs.builder().bucket("default").build());
            }
            // 打开本地文件创建流
            File file = new File("C:\\Users\\A11181121050449\\Pictures\\1.jpg");
            FileInputStream fis = new FileInputStream(file);
            minioClient.putObject(
                PutObjectArgs.builder()
                    .bucket("default").object(file.getName()).stream(fis, -1, 10_485_760).build());
        }
    }

## 2.本地文件上传 ##

package com.dhc.cloud;
    
    import io.minio.BucketExistsArgs;
    import io.minio.MakeBucketArgs;
    import io.minio.MinioClient;
    import io.minio.PutObjectArgs;
    import io.minio.UploadObjectArgs;
    import lombok.SneakyThrows;
    import org.junit.jupiter.api.BeforeEach;
    import org.junit.jupiter.api.Test;
    
    import java.io.File;
    import java.io.FileInputStream;
    
    class MinioStorageServiceTest { 
    
        MinioClient minioClient;
    
        @BeforeEach
        public void init() { 
            minioClient =
                MinioClient.builder()
                    .endpoint("http://172.16.71.172:8000")
                    .credentials("minioadmin", "minioadmin")
                    .build();
        }
    
        @Test
        @SneakyThrows
        public void updateImg() { 
            // 检查bucket是否存在
            boolean found =
                minioClient.bucketExists(BucketExistsArgs.builder().bucket("default").build());
            if (!found) { 
                // 创建bucket
                minioClient.makeBucket(MakeBucketArgs.builder().bucket("default").build());
            }
            minioClient.uploadObject(
                UploadObjectArgs.builder()
                    .bucket("default")
                    .object("1.jpg")
                    .filename("C:\\Users\\A11181121050449\\Pictures\\1.jpg")
                    .build());
        }
    }

[https_docs.min.io_cn_distributed-minio-quickstart-guide.html]: https://docs.min.io/cn/distributed-minio-quickstart-guide.html
[https_blog.csdn.net_ywd1992_article_details_82385101]: https://blog.csdn.net/ywd1992/article/details/82385101
[bucket]: /images/20221023/12b7b0859db74257b514e92e13a2742e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaGlfcmFpbg_size_16_color_FFFFFF_t_70]: /images/20221023/98a30f0520b3407e80890c5e36d1b334.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RpYW5zaGlfcmFpbg_size_16_color_FFFFFF_t_70 1]: /images/20221023/4893c1a629fe4676ae68ae391c1501cc.png