【分布式云储存】高性能云存储MinIO简介与Docker部署集群

矫情吗；* 2024-03-02 03:16 50阅读 0赞

#### 文章目录 ####

*   *  前言
     *  MinIO简介
     *   *  MinIO优势
         *  MinIO技术亮点
     *  Docker部署MinIO集群
     *   *  docker与docker-compose安装
         *  新增nginx配置
         *  编写docker-compose.yml文件
     *  启动MinIO容器并验证

### 前言 ###

分布式存储服务一直以来是中大型项目不可或缺的一部分，一般常用的商用文件服务有七牛云、阿里云等等，自建的开源文件服务有FastDFS、HDFS等等。但是对于这些方案有的需要付费有些却太过于笨重，今天我们就分享一款轻量级完全可替代生产的高性能分布式储存服务Minio。

### MinIO简介 ###

MinIO 提供高性能、与S3 兼容的对象存储系统，让你自己能够构建自己的私有云储存服务。  
MinIO原生支持 Kubernetes，它可用于每个独立的公共云、每个 Kubernetes 发行版、私有云和边缘的对象存储套件。  
MinIO是软件定义的，不需要购买其他任何硬件，在 GNU AGPL v3 下是 100% 开源的。  
![在这里插入图片描述][0ba3b9bbb70c405e8d1c87d91070f85c.png]

#### MinIO优势 ####

简单  
简单性是百万兆次级数据基础设施的基础 - 无论是在技术上还是在操作上。MinIO使用和部署非常简单，没有其他对象存储可以让您在最快的时间内实现下载到生产环境的部署  
高性能  
简单性是百万兆次级数据基础设施的基础 - 无论是在技术上还是在操作上。MinIO使用和部署非常简单，没有其他对象存储可以让您在最快的时间内实现下载到生产环境的部署  
kubernetes原生支持  
通过原生 Kubernetes 运营商集成，MinIO 支持公共云、私有云和边缘云上所有主要的 Kubernetes 发行版。

#### MinIO技术亮点 ####

主动复制  
对象存储的主动、多站点复制是任务关键型生产环境的关键要求。MinIO是目前唯一提供它的供应商。MinIO 提供存储桶级粒度，并支持同步和近同步复制，具体取决于架构选择和数据变化率。  
![在这里插入图片描述][d8dd5d316ece4e7183446d0800848441.png]

加密  
在对象存储领域，需要强大的加密才能在谈判桌上占有一席之地。MinIO 通过最高级别的加密以及广泛的优化提供更多功能，几乎消除了通常与存储加密操作相关的开销。  
![在这里插入图片描述][b8d113edf0cf4918b15b08dee4add2fa.png]

可扩展性  
缩放是一个维度概念，但它有一个真理：简单缩放。MinIO 通过称为服务器池的概念进行水平扩展（横向扩展）。服务器池是一种结合了多个技术组件的方法。每个服务器池都是一组独立的节点，具有自己的计算、网络和存储资源。  
![在这里插入图片描述][5baf479a8ac145f6905bd9bbca8bb665.png]

### Docker部署MinIO集群 ###

> 为方便展示操作过程我们选择docker-compose编排容器，并且直接编排四个MinIO服务和一个Nginx服务，有条件的同学可以分别部署在不同服务器上。

Minio目录树  
\[root@master minio\]\# tree  
.

├── docker-compose-minio.yaml  
├── nginx.conf  
├── minio1  
│ ├── config  
│ └── data  
├── minio2  
│ ├── config  
│ └── data  
├── minio3  
│ ├── config  
│ └── data  
├── minio4  
│ ├── config  
│ └── data  
├── ssl  
│ ├── cacert.pem  
│ └── privkey.pem

#### docker与docker-compose安装 ####

#安装docker社区版
    yum install docker-ce
    #版本查看
    docker version
    #docker-compose插件安装
    curl -L https://github.com/docker/compose/releases/download/1.21.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
    #可执行权限
    chmod +x /usr/local/bin/docker-compose
    #版本查看
    docker-compose version

#### 新增nginx配置 ####

nginx.conf创建  
vim nginx.conf

user  nginx;
    worker_processes  auto;
    
    error_log  /var/log/nginx/error.log warn;
    pid        /var/run/nginx.pid;
    
    events {
        worker_connections  4096;
    }
    
    http {
        include       /etc/nginx/mime.types;
        default_type  application/octet-stream;
    
        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
    
        access_log  /var/log/nginx/access.log  main;
        sendfile        on;
        keepalive_timeout  65;
    
        # include /etc/nginx/conf.d/*.conf;
    
        upstream minio {
            server minio1:9000;
            server minio2:9000;
            server minio3:9000;
            server minio4:9000;
        }
    
        server {
            listen       9000;
            listen  [::]:9000;
            server_name  localhost;
            #ssl on; ssl配置自行开启
            #ssl_certificate /ssl/cacert.pem;
            #ssl_certificate_key /ssl/privkey.pem;
            # To allow special characters in headers
            ignore_invalid_headers off;
            # Allow any size file to be uploaded.
            # Set to a value such as 1000m; to restrict file size to a specific value
            client_max_body_size 0;
            # To disable buffering
            proxy_buffering off;
            location / {
                proxy_set_header Host $http_host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header X-Forwarded-Proto $scheme;
    
                proxy_connect_timeout 300;
                # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
                proxy_http_version 1.1;
                proxy_set_header Connection "";
                chunked_transfer_encoding off;
    
                proxy_pass http://minio;
            }
        }
    }

#### 编写docker-compose.yml文件 ####

\#创建minio数据存储目录  
\[root@master minio\]\# pwd  
/app/minio  
\[root@master minio\]\# mkdir -p minio1/data minio1/config minio2/data minio2/config minio3/data minio3/config minio4/data minio4/config

增加docker-compose编排文件  
vim docker-compose-minio.yaml

version: '3.3'
    services:
      minio1:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/minio:RELEASE.2023-07-11T21-29-34Z
        hostname: minio1
        container_name: minio1
        restart: always
        volumes:
          - /app/minio/minio1/data:/data
          - /app/minio/minio1/config:/root/.minio/ # 映射配置目录
        ports:
          - "19001:9000"
          - "18001:8000"
        environment:
          MINIO_ACCESS_KEY: minio
          MINIO_SECRET_KEY: minio123
        command: server http://minio{1...4}/data --console-address ":8000"
        healthcheck:
          test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
          interval: 30s
          timeout: 20s
          retries: 3
     
      minio2:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/minio:RELEASE.2023-07-11T21-29-34Z
        hostname: minio2
        container_name: minio2
        restart: always
        volumes:
          - /app/minio/minio2/data:/data
          - /app/minio/minio2/config:/root/.minio/ # 映射配置目录
        ports:
          - "19002:9000"
          - "18002:8000"
        environment:
          MINIO_ACCESS_KEY: minio
          MINIO_SECRET_KEY: minio123
        command: server http://minio{1...4}/data --console-address ":8000"
        healthcheck:
        healthcheck:
          test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
          interval: 30s
          timeout: 20s
          retries: 3
     
      minio3:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/minio:RELEASE.2023-07-11T21-29-34Z
        hostname: minio3
        container_name: minio3
        restart: always
        volumes:
          - /app/minio/minio3/data:/data
          - /app/minio/minio3/config:/root/.minio/ # 映射配置目录
        ports:
          - "19003:9000"
          - "18003:8000"
        environment:
          MINIO_ACCESS_KEY: minio
          MINIO_SECRET_KEY: minio123
        command: server http://minio{1...4}/data --console-address ":8000"
        healthcheck:
          test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
          interval: 30s
          timeout: 20s
          retries: 3
     
      minio4:
        image: registry.cn-hangzhou.aliyuncs.com/senfel/minio:RELEASE.2023-07-11T21-29-34Z
        hostname: minio4
        container_name: minio4
        restart: always
        volumes:
          - /app/minio/minio4/data:/data
          - /app/minio/minio4/config:/root/.minio/ # 映射配置目录
        ports:
          - "19004:9000"
          - "18004:8000"
        environment:
          MINIO_ACCESS_KEY: minio
          MINIO_SECRET_KEY: minio123
        command: server http://minio{1...4}/data --console-address ":8000"
        healthcheck:
          test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
          interval: 30s
          timeout: 20s
          retries: 3
      nginx-minio:
        image: nginx:1.19.2-alpine
        hostname: nginx-minio
        restart: always
        volumes:
          - /app/minio/nginx.conf:/etc/nginx/nginx.conf:ro
          - /app/minio/ssl:/ssl
        ports:
          - "9100:9000"
        depends_on:
          - minio1
          - minio2
          - minio3
          - minio4

### 启动MinIO容器并验证 ###

\#启动容器  
\[root@master minio\]\# docker-compose -f docker-compose-minio.yaml up -d  
\#查看启动的minio  
\[root@master minio\]\# docker ps | grep minio  
49f824c8af57 minio/minio “/usr/bin/docker-ent…” 10 seconds ago Up 9 seconds (health: starting) 0.0.0.0:18004->8000/tcp, :::18004->8000/tcp, 0.0.0.0:19004->9000/tcp, :::19004->9000/tcp minio4  
5bdf40deb4dc minio/minio “/usr/bin/docker-ent…” 10 seconds ago Up 9 seconds (health: starting) 0.0.0.0:18002->8000/tcp, :::18002->8000/tcp, 0.0.0.0:19002->9000/tcp, :::19002->9000/tcp minio2  
baa7311a31e2 minio/minio “/usr/bin/docker-ent…” 10 seconds ago Up 9 seconds (health: starting) 0.0.0.0:18001->8000/tcp, :::18001->8000/tcp, 0.0.0.0:19001->9000/tcp, :::19001->9000/tcp minio1  
6ddcbfb7114b minio/minio “/usr/bin/docker-ent…” 10 seconds ago Up 9 seconds (health: starting) 0.0.0.0:18003->8000/tcp, :::18003->8000/tcp, 0.0.0.0:19003->9000/tcp, :::19003->9000/tcp minio3

查看启动日志  
http://your\_hostname:18001~18004/login  
分别访问 MinIO 的管理界面。跳出登录页面说明启动成功  
![在这里插入图片描述][bd399c22ec7b48e98534817f341db492.png]

![在这里插入图片描述][397c074e01674096a2a276ffd0441d59.png]

注意事项

> 对于MinIO集群，至少需要提供4个端点，并且端点数量必须为偶数  
> 不同服务器上部署节点时确保使用的端口号防火墙已经放行

[0ba3b9bbb70c405e8d1c87d91070f85c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/817044e40f1940379ff90227a20e6a29.png
[d8dd5d316ece4e7183446d0800848441.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/9737f480f50c4a73b57199fa5c107dbd.png
[b8d113edf0cf4918b15b08dee4add2fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/acec24282889473e81a92af103ac4e8a.png
[5baf479a8ac145f6905bd9bbca8bb665.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/0f485b8ff80f42e79b30c781af80af72.png
[bd399c22ec7b48e98534817f341db492.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/9a60210da1374e09bf3735561892a134.png
[397c074e01674096a2a276ffd0441d59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/957bd4ae10d24dab87245c1fa3f8a382.png