Java大文件上传（秒传、分片上传、断点续传）

傷城~ 2024-03-17 14:18 15阅读 0赞

### 一、秒传 ###

秒传就是不传，实现逻辑就是看数据库或者缓存里是否已经有这个文件了，有了，直接从已有的文件去拿就可以了（返回文件地址）。  
这里判断是否是相同文件，要用到**信息摘要**算法，详情可以参考：[一文读懂当前常用的加密技术体系。][Link 1]  
信息摘要算法常常被用来保证信息的完整性，防止信息在传输过程中被篡改（无法确定信息是否被监听）。常用的就是MD5算法。

### 二、分片上传 ###

分片上传，就相当于把一个大文件，拆成很多个小份，就想hls文件一样，一片一片的，上传完成后组合起来形成一个完整的文件。  
一般和断点续传一起使用。

### 三、断点续传 ###

分片上传过程中，会话失效、网络问题、系统问题导致的上传中断，恢复后再次上传，不用从头开始了，就是断点续传。

### 四、RandomAccessFile类 ###

**支持随意跳转到文件的任意位置进行读写**，RandomAccessFile类的作用就很明显了，可以支持分片上传和断点续传。  
其部分源码如下：

public RandomAccessFile(File file, String mode)
            throws FileNotFoundException
        {
        
            String name = (file != null ? file.getPath() : null);
            int imode = -1;
            if (mode.equals("r"))
                imode = O_RDONLY;
            else if (mode.startsWith("rw")) {
        
                imode = O_RDWR;
                rw = true;
                if (mode.length() > 2) {
        
                    if (mode.equals("rws"))
                        imode |= O_SYNC;
                    else if (mode.equals("rwd"))
                        imode |= O_DSYNC;
                    else
                        imode = -1;
                }
            }
            ......
            fd = new FileDescriptor();
            fd.attach(this);
            path = name;
            open(name, imode);
        }

> r : 只读模式。  
> rw: 读写模式  
> rws: 相对于 rw，rws 同步更新对“文件的内容”或“元数据”的修改到外部存储设备。  
> rwd : 相对于 rw，rwd 同步更新对“文件的内容”的修改到外部存储设备。

文件内容指的是文件中实际保存的数据，元数据则是用来描述文件属性比如文件的大小信息、创建和修改时间。  
代码示例：

public static void main(String[] args) throws IOException {
        
            RandomAccessFile randomAccessFile = new RandomAccessFile(new File("input.txt"), "rw");
            System.out.println("读取之前的偏移量：" + randomAccessFile.getFilePointer() +
                    ",当前读取到的字符" + (char) randomAccessFile.read() +
                    "，读取之后的偏移量：" + randomAccessFile.getFilePointer());
            randomAccessFile.seek(4);
            // 从偏移量 4 的位置开始往后写入字节数据
            randomAccessFile.write(new byte[]{
        'H', 'I', 'J', 'K','L','M'});
            System.out.println("读取之前的偏移量：" + randomAccessFile.getFilePointer() +
                    ",当前读取到的字符" + (char) randomAccessFile.read() +
                    "，读取之后的偏移量：" + randomAccessFile.getFilePointer());
    
        }

write()方法是覆盖写入，对于input.txt文件，初始值是ABCDE，执行后值是ABCDHIJKLM，执行结果如下：

读取之前的偏移量：0,当前读取到的字符A，读取之后的偏移量：1
    读取之前的偏移量：10,当前读取到的字符，读取之后的偏移量：10

### 五、实现分片上传+断点续传 ###

关于这方面的前后端实现，网上有一大推，可以参考：  
https://blog.csdn.net/qq\_31448387/article/details/127983860  
https://blog.csdn.net/shark\_chili3007/article/details/118385682  
总结一下：  
**1、前端实现**  
（1）利用file.slice(start,end)方法将文件分片，获取总分片数、当前分片序号、当前分片文件；  
（2）将以上信息传入后端，期间定义文件MD5摘要，确定断传后能够秒传；  
（3）当分片序号==总分片数时，将状态（end）传给后端，通知后端合并分片文件。（并发情况下，定义标志位，确认每一个分片上传完成通知合并。）  
**2、后端实现**  
RandomAccessFile 实现合并的核心代码如下：

RandomAccessFile raf = new RandomAccessFile(file,"rw");
    raf.seek(keyIndex);//seek（int n）从n处处理
    byte[] bytes = fileValue.getBytes();//提区文件的字节流
    raf.write(bytes);//上面的seek方法已经把指针放在这里从这直接写入

[Link 1]: https://blog.csdn.net/liwangcuihua/article/details/120860557?spm=1001.2014.3001.5502