rclone将本地文件或文件夹导入minio中 曾经终败给现在 2024-04-03 12:12 26阅读 0赞 1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高; 2、前期准备: 1)minio文件服务器已经安装完成; 2)创建需要的桶,新文件放到files桶中,迁移文件放到oldfiles桶中; 3、实施过程: 1)历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件; 2)配置rclone; 2.1)下载rclone 2.2)配置rclone的配置文件,rclone默认会读取(没有的话自己创建); [minio] type = s3 env_auth = false access_key_id = admin #用户名 secret_access_key = 12345678 #密码 region = endpoint = http://127.0.0.1:9000 #服务端地址 2.3)常用命令 rclone lsd minio: #列出minio下所有的bucket信息 rclone mkdir minio:bucket #在minio中创建一个名称是bucket的桶 rclone sync /home/files minio:bucket #把/home/files文件夹下所有的文件包 括子文件都传到bucket下 3)使用2.3的命令,将fileData下的文件复制到桶oldfiles中: 执行:rclone sync /home/fileData/ minio:oldfiles 结果:dan.jpg是被文件服务器识别的文件,而111.jpg是通过物理上传的; ![d6f74147b429444f80c83eaf6af4cd47.png][] 4)文件迁移完成,数据表通过字段对比,进行数据清洗; 5) 通过接口访问上传的文件可以被识别; [d6f74147b429444f80c83eaf6af4cd47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/74211c0e19aa41a398e15416f858ea97.png
还没有评论,来说两句吧...