[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南

短命女 2023-10-15 11:38 17阅读 0赞

![在这里插入图片描述][cbf556213f85462d9ebdcd6238f2ea45.png]

### 文章目录 ###

*   *  一、前言
     *  二、所需 Maven 依赖
     *  三、先决必要的几个条件信息
     *  四、创建客户端连接
     *  五、Amazon S3 存储桶操作
     *   *  5.1. 创建桶
         *  5.2. 列出桶
     *  六、Amazon S3 对象操作
     *   *  6.1. 上传对象
         *  6.2. 列出对象
         *  6.3. 下载对象
         *  6.4. 复制、重命名和移动对象
         *  6.5. 删除对象
         *  6.6. 删除多个对象
     *  七、文末总结

## 一、前言 ##

在本文中，我们将探索如何利用 Java 编程与 Amazon S3（即简单存储服务）存储系统进行互动。

需要牢记，S3 的结构异常简单：每个存储桶能够容纳大量的对象，这些对象可以通过 SOAP 接口或 REST 风格的 API 进行访问。

接下来，我们将使用适用于Java的AWS开发工具包来实现S3存储桶的创建、列举以及删除。同时，我们还将学会如何上传、列举、下载、复制、移动、重命名以及删除这些存储桶内的各个对象。

## 二、所需 Maven 依赖 ##

在开始之前，我们需要在项目中声明 AWS SDK 依赖项：

<dependency>
        <groupId>software.amazon.awssdk</groupId>
        <artifactId>s3</artifactId>
        <version>2.20.52</version>
    </dependency>

> 要查看最新版本，我们可以检查 [Maven Central][]，或者其他的国内 Maven 仓库。

## 三、先决必要的几个条件信息 ##

要使用AWS SDK，我们需要一些东西：

1.  AWS 帐户：我们需要一个 Amazon Web Services 帐户。如果我们没有，我们可以直接在 AWS 控制台创建一个帐户。
2.  AWS 安全凭证：这些是我们的访问密钥，允许我们以编程方式调用 AWS API 操作。我们可以通过两种方式获取这些凭证：使用“安全凭证”页面的访问密钥部分中的 AWS 根账户凭证，或者使用`IAM`控制台中的 IAM 用户凭证。
3.  选择 AWS 区域（Region）：我们还必须选择要存储 Amazon S3 数据的 AWS 区域。请记住，S3 存储价格因地区而异。有关更多详细信息，请参阅官方文档。

## 四、创建客户端连接 ##

首先，我们需要创建一个客户端连接来访问 Amazon S3 Web 服务。为此，我们将使用 Amazon S3 接口：

AWSCredentials credentials = new BasicAWSCredentials(
      "<AWS accesskey>", 
      "<AWS secretkey>"
    );

然后我们将配置客户端：

AmazonS3 s3client = AmazonS3ClientBuilder
      .standard()
      .withCredentials(new AWSStaticCredentialsProvider(credentials))
      .withRegion(Regions.US_EAST_2)
      .build();

## 五、Amazon S3 存储桶操作 ##

### 5.1. 创建桶 ###

需要注意的是，存储桶命名空间是由系统的所有用户共享的。**因此，我们的存储桶名称在 Amazon S3 中的所有现有存储桶名称中必须是唯一的**（稍后我们将了解如何检查这一点）。

另外，根据官方文档规定，Bucket 名称必须符合以下要求：

*  名称不应包含下划线
 *  名称长度应介于 3 到 63 个字符之间
 *  名称不应以破折号结尾
 *  名称不能包含相邻的句点
 *  名称后面不能包含破折号（例如，“my-.bucket.com”和“my.-bucket”无效）
 *  名称不能包含大写字符

现在让我们创建一个存储桶：

String bucketName = "baeldung-bucket";
    
    if(s3client.doesBucketExist(bucketName)) {
        
        LOG.info("Bucket name is not available."
          + " Try again with a different Bucket name.");
        return;
    }

CreateBucketRequest bucketRequest = CreateBucketRequest.builder()
        .bucket(bucketName)
        .build();
    
    s3Client.createBucket(bucketRequest);

在创建存储桶之前，我们必须使用`doesBucketExist()`方法检查存储桶名称是否可用。如果名称可用，那么我们将构建一个`CreateBucketRequest` 并提供存储桶名称。最后一步是将`bucketRequest`传递给 S3Client 的`CreateBucketRequest createBucketRequest`的`createBucket`。

### 5.2. 列出桶 ###

现在我们已经创建了一些存储桶，让我们使用`listBuckets ()`方法打印 S3 环境中可用的所有存储桶的列表。此方法将返回一个`ListBucketsResponse`， 其中包含有关存储桶的信息。

ListBucketsResponse listBucketsResponse = s3Client.listBuckets();
    
    // Display the bucket names
    List<Bucket> buckets = listBucketsResponse.buckets();
    System.out.println("Buckets:");
    for (Bucket bucket : buckets) {
        
        System.out.println(bucket.name());
    }

这将列出 S3 环境中存在的所有存储桶：

baeldung-bucket
    baeldung-bucket-test2
    elasticbeanstalk-us-east-2

5.3. 删除桶

\*\*在删除存储桶之前，确保存储桶是空的非常重要。\*\*否则，将会抛出异常。

首先，我们需要构建一个`DeleBucketRequest`实例并向其传递存储桶名称。然后，我们调用 s3Client 对象上的`deleteBucket`方法，并将请求作为参数传递。

另请注意，只有存储桶的所有者才能删除它，无论其权限如何（访问控制策略）：

try {
        
        DeleteBucketRequest deleteBucketRequest = DeleteBucketRequest.builder()
            .bucket(bucketName)
            .build();
    
        s3Client.deleteBucket(deleteBucketRequest);
        System.out.println("Successfully deleted bucket : " + bucketName);
    } catch (S3Exception e) {
        
        System.err.println(e.getMessage());
        System.exit(1);
    }

## 六、Amazon S3 对象操作 ##

Amazon S3 存储桶内的文件或数据集合称为对象。我们可以对对象执行多种操作，例如上传、列出、下载、复制、移动、重命名和删除。

### 6.1. 上传对象 ###

上传对象是一个非常简单的过程。首先，我们将构建一个`PutObjectRequest`实例，指定存储桶名称和密钥。然后，我们将该请求和包含数据的文件的路径传递给 s3Client 的`putObject`方法：

PutObjectRequest request = PutObjectRequest.builder()
        .bucket(bucketName)
        .key(key)
        .build();
    
    return s3Client.putObject(request, Path.of(file.toURI()) );

### 6.2. 列出对象 ###

我们将使用`listObjects()`方法列出 S3 存储桶中的所有可用对象：

ListObjectsV2Request listObjectsV2Request = ListObjectsV2Request.builder()
        .bucket(bucketName)
        .build();
    ListObjectsV2Response listObjectsV2Response = s3Client.listObjectsV2(listObjectsV2Request);
    
    List<S3Object> contents = listObjectsV2Response.contents();
    
    System.out.println("Number of objects in the bucket: " + contents.stream().count());
    contents.stream().forEach(System.out::println);

要列出 AWS S3 存储桶中的对象，我们需要创建一个`ListObjectsV2Request`实例并指定存储桶名称。然后，我们在 s3Client 对象上调用 `listObjectsV2`方法，并将请求作为参数传递。此方法返回一个`ListObjectsV2Response`，其中包含有关存储桶中对象的信息。

### 6.3. 下载对象 ###

要下载对象，我们首先创建一个`GetObjectRequest`实例并将存储桶名称和密钥作为输入参数传递给它。然后，我们将其提供给 `getObjectAsBytes()`方法并获取响应。一旦我们得到响应，我们就可以提取字节数组。最后一步是处理字节数组：

GetObjectRequest objectRequest = GetObjectRequest.builder()
        .bucket(bucketName)
        .key(objectKey)
        .build();
    
    ResponseBytes<GetObjectResponse> responseResponseBytes = s3Client.getObjectAsBytes(objectRequest);
    
    byte[] data = responseResponseBytes.asByteArray();
    
    // Write the data to a local file.
    java.io.File myFile = new java.io.File("/Users/user/Desktop/hello.txt" );
    OutputStream os = new FileOutputStream(myFile);
    os.write(data);
    System.out.println("Successfully obtained bytes from an S3 object");
    os.close();

### 6.4. 复制、重命名和移动对象 ###

我们可以通过调用 s3client 上的`copyObject()`方法来复制对象，该方法接受`CopyObjectRequest`实例。因此，`CopyObjectRequest`接受四个参数：

1.  源存储桶名称
2.  源存储桶中的对象键
3.  目标存储桶名称（可以与源存储桶名称相同）
4.  目标存储桶中的对象键

CopyObjectRequest copyObjectRequest = CopyObjectRequest.builder()
        .sourceBucket(sourceBucketName)
        .sourceKey(sourceKey)
        .destinationBucket(destinationBucketName)
        .destinationKey(destinationKey)
        .build();
    
    return s3Client.copyObject(copyObjectRequest);

注意：我们可以结合使用`copyObject()`方法和`deleteObject()`来执行移动和重命名任务。这将涉及首先复制对象，然后将其从旧位置删除。

### 6.5. 删除对象 ###

要删除对象，我们将在s3client上调用`deleteObject()`方法并传递`DeleteObjectRequest`实例。为了创建`DeleteObjectRequest`实例，我们需要传递要删除的对象的键和存储桶名称：

DeleteObjectRequest deleteObjectRequest = DeleteObjectRequest.builder()
        .bucket(bucketName)
        .key(objectKey)
        .build();
    
    s3Client.deleteObject(deleteObjectRequest);

### 6.6. 删除多个对象 ###

要一次删除多个对象，我们首先创建`DeleteObjectsRequest`对象并传递存储桶。然后我们将传递一个包含所有要删除的对象键的 ArrayList。

一旦我们有了这个`DeleteObjectsRequest`对象，我们就可以将它作为参数传递给我们的 s3client 的`deleteObjects()`方法。如果成功，它将删除我们提供的所有对象：

ArrayList<ObjectIdentifier> toDelete = new ArrayList<>();
    for(String objKey : keys) {
        
        toDelete.add(ObjectIdentifier.builder()
            .key(objKey)
            .build());
    }
    
    DeleteObjectsRequest deleteObjectRequest = DeleteObjectsRequest.builder()
        .bucket(bucketName)
        .delete(Delete.builder()
            .objects(toDelete).build())
        .build();
    
    s3Client.deleteObjects(deleteObjectRequest);

## 七、文末总结 ##

在本文中，我们重点介绍了在存储桶级别和对象级别与 Amazon S3 Web 服务交互的基础知识。重点在 Java 应用中使用 Amazon S3（Simple Storage Service）进行存储桶和对象操作的方法、详细说明了如何进行存储桶操作，包括创建桶和列出桶。在对象操作部分，我们涵盖了上传、列出和下载对象的过程，还介绍了复制、重命名、移动对象以及删除对象的方法。此外，我们还提供了删除多个对象的操作步骤。通过本文，小伙伴们可以了解如何通过 Java 代码有效地与 Amazon S3 进行交互，实现对存储桶和对象的各种操作。

[cbf556213f85462d9ebdcd6238f2ea45.png]: https://img-blog.csdnimg.cn/cbf556213f85462d9ebdcd6238f2ea45.png
[Maven Central]: https://central.sonatype.com/