拓展 Amazon S3 技术边界：Amazon S3 Express One Zone 的创新之路

ゝ一纸荒年。 2024-02-05 15:25 3阅读 0赞

> 授权说明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 亚马逊云科技开发者社区, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

自 Amazon S3 服务推出以来，一直是全球各行各业数百万客户钟爱的云存储服务。然而，随着新兴用例的不断涌现，传统存储方式面临性能瓶颈，尤其是对于对延迟极为敏感的应用程序。为前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 Amazon S3 Express One Zone ，一种高性能存储类，为客户提供最快的数据访问速度和卓越的性能。

![1978d6f544434e9291cce1b446bcd68a.png][]

**目录**

一、降本增效：S3 Express One Zone 的性能优势与成本削减

1. 技术挑战：数据访问速度与性能需求

2. 技术突破：Amazon S3 Express One Zone 的创新

3. 技术突破：与计算资源并置的一体化解决方案

4. 技术突破：解决复杂性与提高灵活性

二、体验测试使用

三、体验感悟和个人总结

--------------------

## **一、降本增效：S3 Express One Zone 的性能优势与成本削减** ##

### **1. 技术挑战：数据访问速度与性能需求** ###

随着新兴用例的崛起，一些应用程序每分钟需要执行数百万次的数据写入和访问，并对个位数毫秒级的响应时间提出苛刻要求。特别是在人工智能和机器学习模型训练、交互式分析、财务模型模拟等场景中，数据的快速访问对于计算效率至关重要。传统存储方式难以满足这些性能需求，客户通常将最常访问的数据移动到自定义缓存解决方案，以降低存储延迟。

![55007165f3364acc8d84716b6749fa05.png][]

### **2. 技术突破：Amazon S3 Express One Zone 的创新** ###

Amazon S3 Express One Zone 创新性地解决了数据访问速度与性能需求之间的矛盾。通过在专用硬件和软件上复制和存储数据，它实现了比 Amazon S3 Standard 快 10 倍的访问速度，大幅提高了数据处理速度。为了进一步支持每分钟数百万个请求，引入了一种新的存储桶类型，即 Amazon S3 目录存储桶，有效降低了请求成本。

![2c7d6a07e61d416d90cd738ec46db5e6.png][]

### **3. 技术突破：与计算资源并置的一体化解决方案** ###

Amazon S3 Express One Zone 提供了与计算资源并置的选择，使客户能够更快地运行性能关键型应用程序。通过将数据与计算资源置于同一 亚马逊云科技 可用区，降低了计算成本，满足了对处理要求最苛刻的工作负载的需求。性能关键型应用程序如查询密集型分析实现了个位数毫秒级的数据访问速度，同时相较于 Amazon S3 Standard，请求成本降低了多达 50%，计算成本降低了多达 60%。

![7037ce2608a3483191488ecc60a5d139.png][]

### **4. 技术突破：解决复杂性与提高灵活性** ###

传统方式中，客户通过移动数据到自定义缓存解决方案来解决性能问题，但这也带来了操作负担和对应用程序的修改。Amazon S3 Express One Zone 帮助客户摆脱这一困境，无需管理多个存储系统以实现低延迟工作负载。通过使用相同的 Amazon S3 API 访问数据，客户不再需要额外的存储基础架构，从而简化了架构，降低了复杂性。

![8f3b401a9b14475a81b64fd37c605324.png][]

## **二、体验测试****使用** ##

在亚马逊云科技官网进行账号登录，没有账号的可以注册一个账号，登录之后进入个人控制台，在顶部搜索栏搜索S3存储桶服务

![53d0e2e787bf459eac295c0b973d1cff.png][]存储桶类型分为通用存储桶和目录存储桶，目录存储桶是针对需要稳定毫秒级延迟的应用场景进行了优化，这里我们选择创建目录存储桶，通过点击图中右方按钮创建存储桶

![5365c82bad784e9f9f03b532b5feab59.png][]创建存储桶时，我们选择存储桶类型为目录--新建，用于低延迟应用场景，其他配置信息根据开发需求进行选择

![411c87f80507428b9ab79be2713e5650.png][]

进入目录存储桶，可以进行一些相关的操作，包括对资源的上传和管理操作，进入上传界面之后![750f6257d4f343a5a88a0028be8e0c8b.png][]

我们可以通过拖拽目标文件和文件夹，也可以从本地上传文件和文件夹资源，**S3 Express One Zone支持在目录存储桶中执行批量操作**，包括清单操作。用户可以方便地操作和管理目录存储桶中的对象，同时保留清单的有效性和完整性

![9667e299ef664d5cbd39c00d38e15e2c.png][]上传资源后，只需稍等片刻，即可查看上传状态。如图所示，照片已成功上传。在这里，我上传了一些照片，**S3 Express One Zone是Amazon S3的一种存储类别，为用户提供了默认的服务器端加密（SSE-S3）和传输中的HTTPS安全访问。通过区域和区域API终端节点，用户可以根据实际需要选择访问方式。此存储类别支持用户选择校验和算法，包括SHA和CRC，用于在上传或下载期间验证数据完整性**。

![aa34efe4b626407e820f81fd87ce0e87.png][]

进入我们要查看的存储桶，可以获得存储桶的相关信息，当其他功能中需要使用到存储桶时，可以根据相关名称和信息进行选中和使用

![bdd57d986cc144238449fbd99c58ca16.png][]

创建目录存储桶后，您将立即体验到极低的读写延迟。这一体验可以通过建立VPC终端节点连接来实现，或者通过使用区域和区域终结点进行管理对象和目录存储桶的API操作。

**目录存储桶 S3 Express 单区添加****创建存储桶策略****示例**：在 IAM 用户的身份下，确保用户拥有s3express:CreateBucket 权限。这可以通过向用户的 IAM 策略中添加如下权限来实现例如：以下示例存储桶策略允许 AWS 账户 ID 将 API 操作用于默认会话 对于指定的目录存储桶。此策略授予对区域终结点（对象）的访问权限 level） API 操作。

例 – 允许使用默认会话进行调用的存储桶策略CreateSessionReadWrite
    {
           
        "Version": "2012-10-17",
        "Statement": [
            {
           
                "Sid": "ReadWriteAccess",
                "Effect": "Allow",
                "Resource": "arn:aws:s3express:us-west-2:111122223333:bucket/DOC-EXAMPLE-BUCKET--usw2-az1--x-s3",  
                "Principal": {
           
                    "AWS": [
                        "111122223333"
                    ]
                },
                "Action": [//获得对应权限
                   "s3:CreateBucket",
                   "s3:PutBucketPolicy",
                   "s3:GetBucketPolicy"            ]
            }
        ]
    }

Amazon S3 Express One Zone存储类支持区域级别（存储桶或控制平面）和对象级别（数据平面）的终端节点API操作，以创建存储桶为例，请求语法如下：

PUT / HTTP/1.1
    Host: Bucket.s3.amazonaws.com
    x-amz-acl: ACL
    x-amz-grant-full-control: GrantFullControl
    x-amz-grant-read: GrantRead
    x-amz-grant-read-acp: GrantReadACP
    x-amz-grant-write: GrantWrite
    x-amz-grant-write-acp: GrantWriteACP
    x-amz-bucket-object-lock-enabled: ObjectLockEnabledForBucket
    x-amz-object-ownership: ObjectOwnership
    <?xml version="1.0" encoding="UTF-8"?>
    <CreateBucketConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
       <LocationConstraint>string</LocationConstraint>
       <Location>
          <Name>string</Name>
          <Type>string</Type>
       </Location>
       <Bucket>
          <DataRedundancy>string</DataRedundancy>
          <Type>string</Type>
       </Bucket>
    </CreateBucketConfiguration>

同时Amazon S3 还提供了接入点功能，如图所示，都有着对应的适用场景和用途。接入点是连接到可用于执行 S3 对象操作的存储桶的命名网络终端节点。接入点别名提供与接入点 ARN 相同的功能，并且可以替代 S3 存储桶名称在任何地方使用（通常用于数据访问）

![e29257db01d54a908854a8d03aebfb2a.png][]批处理操作是可以对 Amazon S3 对象执行大规模分批操作。我们可以通过创建作业实现对一系列S3对象执行批处理操作

![adf6a099b98245dabfba8e709434857f.png][]

## **三、体验感悟****和个人总结** ##

在学习和使用Amazon S3 Express One Zone之后，我深刻感受到了技术的革新如何极大地改善了数据处理的效率。Amazon S3 Express One Zone有着出色的数据访问速度，为我的日常工作带来了很多帮助。**相比传统存储方式，S3 Express One Zone以专用硬件和软件复制存储数据，让访问速度比以往更快，这使得处理大规模数据时的体验变得高效而便捷。**在处理人工智能和机器学习模型训练、交互式分析等场景时，我感受到了数据访问速度带来的显著提升，同时为我的工作提供了更大的灵活性和可操作性。

![dd5787eb1f984743b3c312bc7d98527a.png][]

值得一提的是，Amazon S3 Express One Zone引入了全新的存储桶类型，即Amazon S3目录存储桶，这种创新性的设计在降低请求成本方面发挥了巨大作用。不仅在性能上有所提升，同时在经济效益上也更为划算。这种高性能与经济实惠的完美结合，使得在数据处理体验方面也变得尤为出色。

![64986e9b104a40f0bd591ba563e28e2d.png][]

Amazon S3 Express One Zone的技术革新为数据访问速度与性能需求之间的矛盾提供了一种极为出色的解决方案。通过专用硬件和软件的创新应用，实现了对数据的更快访问速度，为性能关键型应用程序带来了显著的改善。新型存储桶设计的引入进一步提高了整体效能，有效降低了请求成本，为用户提供了更为经济实惠的选择。这一系列的技术革新不仅提升了数据处理的速度和效率，同时也为用户带来了更加灵活和可控的数据管理体验。 Amazon S3 Express One Zone通过技术的前瞻性应用，为用户创造了一个更加智能、高效且经济实惠的数据处理环境。

##  ##

[1978d6f544434e9291cce1b446bcd68a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/8cf04f9e982e4ecfbd287e6b0e1ec922.png
[55007165f3364acc8d84716b6749fa05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/035cd89783f34368a45c0b3437ef6d3f.png
[2c7d6a07e61d416d90cd738ec46db5e6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/5a01f48e29aa4a1ba00fe5bf268c9a7a.png
[7037ce2608a3483191488ecc60a5d139.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/f2705df1cb6149f89c82ea104a009b30.png
[8f3b401a9b14475a81b64fd37c605324.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/dc2778bcf40847df80adb1aa60b1b4a9.png
[53d0e2e787bf459eac295c0b973d1cff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/0439bd68c1894b4bbbbcf4013ba291aa.png
[5365c82bad784e9f9f03b532b5feab59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/4dff1df4bc53420a91fd44d27891aa60.png
[411c87f80507428b9ab79be2713e5650.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/eaf6061cea834a909ee732f471cf955d.png
[750f6257d4f343a5a88a0028be8e0c8b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/354d5a39488d41daabdeae328db3b039.png
[9667e299ef664d5cbd39c00d38e15e2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/04443f4ba21347cbb63ad8f5671f12fd.png
[aa34efe4b626407e820f81fd87ce0e87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/6b7df131da4f45c0a253e0351e8dac2e.png
[bdd57d986cc144238449fbd99c58ca16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/c291bc7aa4ce41a18631a4090aebe8c1.png
[e29257db01d54a908854a8d03aebfb2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/3209078abf1741c68aa0b8cfdddb027b.png
[adf6a099b98245dabfba8e709434857f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/d7328895430d4a52bf925e468b0ee1a3.png
[dd5787eb1f984743b3c312bc7d98527a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/a083182985e6419d82b9bae51f590cbe.png
[64986e9b104a40f0bd591ba563e28e2d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/6bf0aa1be75543d3b6dc0cfc00566fb6.png