阿里云OSS appendObject 获取 position

比眉伴天荒 2022-12-28 14:08 293阅读 0赞

# 阿里云OSS appendObject 获取 position #

## 背景 ##

项目有个需求，每次调用接口，都需要把一行的数据存储到阿里OSS的某个文件去，之后就去翻看 [阿里OSS官方文档][OSS]，发现个[追加上传appendObject][appendObject] 的刚好符合需求。

## SDK版本 ##

本文例子基于以下SDK JAVA 版本

<dependency>
        <groupId>com.aliyun.oss</groupId>
        <artifactId>aliyun-sdk-oss</artifactId>
        <version>3.11.2</version>
    </dependency>

## 官网例子 ##

[官网例子][appendObject]：

// Endpoint以杭州为例，其它Region请按实际情况填写。
    String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
    String accessKeyId = "<yourAccessKeyId>";
    String accessKeySecret = "<yourAccessKeySecret>";
    
    String content1 = "Hello OSS A \n";
    String content2 = "Hello OSS B \n";
    String content3 = "Hello OSS C \n";
    
    // 创建OSSClient实例。
    OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
    ObjectMetadata meta = new ObjectMetadata();
    // 指定上传的内容类型。
    meta.setContentType("text/plain");
    
    // 通过AppendObjectRequest设置多个参数。
    AppendObjectRequest appendObjectRequest = new AppendObjectRequest("<yourBucketName>", "<yourObjectName>", new ByteArrayInputStream(content1.getBytes()),meta);
    
    // 第一次追加。
    // 设置文件的追加位置。
    appendObjectRequest.setPosition(0L);
    AppendObjectResult appendObjectResult = ossClient.appendObject(appendObjectRequest);
    // 文件的64位CRC值。此值根据ECMA-182标准计算得出。
    System.out.println(appendObjectResult.getObjectCRC());
    
    // 第二次追加。
    // nextPosition指明下一次请求中应当提供的Position，即文件当前的长度。
    appendObjectRequest.setPosition(appendObjectResult.getNextPosition());
    appendObjectRequest.setInputStream(new ByteArrayInputStream(content2.getBytes()));
    appendObjectResult = ossClient.appendObject(appendObjectRequest);
    
    // 第三次追加。
    appendObjectRequest.setPosition(appendObjectResult.getNextPosition());
    appendObjectRequest.setInputStream(new ByteArrayInputStream(content3.getBytes()));
    appendObjectResult = ossClient.appendObject(appendObjectRequest);
    
    // 关闭OSSClient。
    ossClient.shutdown();

--------------------

## 问题发现 ##

通过阿里云oss存储追加文件 `appendObject`类型时，每次 append 都需要指定一个 `position` 参数，如果`position` 参数不对，还会报一个 `OssExcetion` ,内容如下：

![image-20201217155558393][]

**那么问题来了，这个position要怎么获取呢？**

--------------------

## position获取 ##

### 1. 同一个请求的多次写入 ###

如果是在同一个方法追加多条，可以通过上一次的执行结果 `AppendObjectResult` 中的 `appendObjectResult.getNextPosition()` 方法获取下一次插入的 position 位置。

// 第二次追加。
    // nextPosition指明下一次请求中应当提供的Position，即文件当前的长度。
    appendObjectRequest.setPosition(appendObjectResult.getNextPosition());
    appendObjectRequest.setInputStream(new ByteArrayInputStream(content2.getBytes()));
    appendObjectResult = ossClient.appendObject(appendObjectRequest);

### 2. 两次不同的请求 ###

如果是两次不同的请求，阿里OSS有一个元数据 `ObjectMetadata`的维护，可以通过 [HeadObject ][HeadObject] 中的

`x-oss-next-append-position` 获取。

String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
    String accessKeyId = "<yourAccessKeyId>";
    String accessKeySecret = "<yourAccessKeySecret>";
    String fileName = "<your fileName>";
    String bucketName = "your bucketName"
        
    // 创建OSSClient实例。
    OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
    // 创建 headObject 请求
    HeadObjectRequest request = new HeadObjectRequest(bucketName, fileName);
    ObjectMetadata objectMetadata = ossClient.headObject(request);
    // 通过反射获取
    Field metadataField = ObjectMetadata.class.getDeclaredField("metadata");
    metadataField.setAccessible(true);
    Map<String, Object> metadata = (Map<String, Object>) metadataField.get(objectMetadata);
    String positionStr = (String) metadata.get("x-oss-next-append-position");
    long position = Long.parseLong(positionStr);
    System.out.println(position);

> **说明：**
> 
> 1.  **`x-oss-next-append-position` 只有在对于Appendable类型的Object才会返回此Header，指明下一次请求应当提供的position。参考链接：[headObject 返回值说明][HeadObject]**
> 2.  **`x-oss-next-append-position` 在`ObjectMetadata` 中 没有具体的 api 获取 ，存放在`ObjectMetadata` 中的一个Map 集合中，这个Map属性是一个`protected`关键字修饰的，不能直接获取。因此需要通过反射获取到 `ObjectMetadata` 中的 Map 集合，然后通过map.get(“x-oss-next-append-position”) 获取**

## 后记 ##

刚开始获取这个 `position` 走了不少弯路，主要是没有仔细看过[OSS官方文档][OSS] ，之前还试过一个在网上看到的说法，可以通过以下的方式获取，结果发现根本不行，时不时还是会报 `OssException`异常。这才重新去看官方文档找解决方法。

**这里也记录下，免得后来者继续采坑**

错误的获取方式：

// 判断文件是否存在
    boolean exists = ossClient.doesObjectExist(bucketName, fileName);
    long position = 0L;
    if(exists){ 
        // 获取文件
        OSSObject cdrObject = ossClient.getObject(bucketName, fileName);
        InputStream objectInputStream = cdrObject.getObjectContent();
        // 直接获取输入流的 available 并不准确，会时不时报错
        position = objectInputStream.available();
    }

## 参考链接 ##

[阿里OSS官方文档][OSS]  
[appendObject][]  
[ oss 异常类型 ][oss _]  
[ headObject ][HeadObject]

## **如果对您有帮助，请帮忙点个赞和收藏！** ##

## **原创不易，转载请注明出处！** ##

[OSS]: https://help.aliyun.com/product/31815.html?spm=5176.7933691.1309819.8.2e392a66vTTtra
[appendObject]: https://help.aliyun.com/document_detail/31851.html?spm=a2c4g.11174283.6.643.220f7da2sgoIpT
[image-20201217155558393]: /images/20221120/834ba5bde9754f3f8bfd37d8e1b353ae.png
[HeadObject]: https://help.aliyun.com/document_detail/31984.html?spm=a2c4g.11186623.6.1663.5885793ftqO1bb
[oss _]: https://help.aliyun.com/document_detail/32023.html?spm=a2c4g.11186623.6.991.78c963d3ZthWpe