rclone将本地文件或文件夹导入minio中

曾经终败给现在 2024-04-03 12:12 95阅读 0赞

1、背景：公司数据迁移涉及到文件迁移，原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中；由于历史文件数据量大，甲方要求可以通过服务器文件拷贝方式迁移文件，性能、安全性更高；

2、前期准备：

1）minio文件服务器已经安装完成；

2）创建需要的桶，新文件放到files桶中，迁移文件放到oldfiles桶中；

3、实施过程：

1）历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件；

2）配置rclone;

2.1）下载rclone

2.2）配置rclone的配置文件，rclone默认会读取（没有的话自己创建）；

[minio]
    type = s3
    env_auth = false
    access_key_id = admin 				#用户名
    secret_access_key = 12345678		#密码
    region =
    endpoint = http://127.0.0.1:9000	#服务端地址

2.3）常用命令

rclone lsd minio:						#列出minio下所有的bucket信息
    rclone mkdir minio:bucket				#在minio中创建一个名称是bucket的桶
    rclone sync /home/files minio:bucket	#把/home/files文件夹下所有的文件包										                
                                             括子文件都传到bucket下

3）使用2.3的命令，将fileData下的文件复制到桶oldfiles中：

执行：rclone sync /home/fileData/ minio:oldfiles

结果：dan.jpg是被文件服务器识别的文件，而111.jpg是通过物理上传的；

![d6f74147b429444f80c83eaf6af4cd47.png][]

4）文件迁移完成，数据表通过字段对比，进行数据清洗；

5) 通过接口访问上传的文件可以被识别；

[d6f74147b429444f80c83eaf6af4cd47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/74211c0e19aa41a398e15416f858ea97.png