Amazon FSx for Lustre 更新：用于长期高性能工作负载的持久性存储

去年，我曾写过关于 Amazon FSx for Lustre 的博文，我在其中介绍了客户如何用它来创建兼容 POSIX 的 PB 级高并行文件系统，为数千个客户端同时提供服务，以亚毫秒级延迟驱动数百万次 IOPS（每秒的输入/输出操作）。

作为一项托管服务，Amazon FSx for Lustre 让您可以轻松地启动和运行世界上最热门的高性能文件系统。我们的客户将此服务用于需要速度的工作负载，包括机器学习、高性能计算 (HPC) 和金融建模。

现在，我们对 Amazon FSx for Lustre 进行了增强，使您能够创建具有三个性能级别的耐用、高可用性高性能文件系统，以及旨在为突增工作负载提供更好支持的新的第二代暂存文件系统。

最新更新

在深入了解今天的新闻前，我们先来看一看我们最近对该服务进行的几项更新：

数据存储库 API – 此次更新推出了一组 API，可使您将文件从 FSx 轻松导出至 S3，包括启动、监控和取消已更改文件到 S3 的传输的能力。要了解更多信息，请阅读在 Amazon FSx for Lustre 与 Amazon S3 之间移动数据的新增强功能。

SageMaker 集成 – 经过此次更新，您可以将 Amazon FSx for Lustre 文件系统上存储的数据用作 Amazon SageMaker 模型的训练数据。您可以使用海量数据来训练您的模型，无需先将数据移动至 S3。

ParallelCluster 集成 – 经过此次更新，您可以在使用 AWS ParallelCluster 创建 HPC 集群时创建 Amazon FSx for Lustre 文件系统，并且也可以选择使用现有的文件系统。

EKS 集成 – 此次更新让您可以使用新的 AWS FSx 容器存储接口 (CSI) 驱动程序从您的 Amazon EKS 集群访问 Amazon FSx for Lustre 文件系统。

更小的文件系统大小 – 除了原来的 3.6 TiB 之外，经过此次更新，您还可以创建 1.2 TiB 和 2.4 TiB Lustre 文件系统。

CloudFormation 支持 – 此次更新让您可以使用 AWS CloudFormation 模板来部署使用 Amazon FSx for Lustre 文件系统的堆栈。要了解更多信息，请查看 AWS::FSx::FileSystem LustreConfiguration。

SOC 合规性 – 此次更新宣布，Amazon FSx for Lustre 现在可以与受服务组织控制 (SOC) 约束的应用程序结合使用。要了解此合规性计划和其他合规性计划的更多信息，请查看按合规性计划划分的范围内 AWS 服务。

Amazon Linux 支持 – 此次更新允许运行 Amazon Linux 或 Amazon Linux 2 的 EC2 实例访问 Amazon FSx for Lustre 文件系统。

客户端存储库 – 您现在可以使用兼容最新版本 Ubuntu、Red Hat Enterprise Linux 和 CentOS 的 Lustre 客户端。要了解更多信息，请阅读安装 Lustre 客户端。

新的持久性和暂存部署选项

最初，我们推出此服务是为了对数据进行高速短期处理，而且，在今天以前，FSx for Lustre 都在提供适合进行临时存储和短期数据处理的暂存文件系统 – 如果文件服务器发生故障，数据将不会被复制，且不会保留。现在，我们扩展到短期处理之外，推出了旨在用于更长期存储和工作负载的持久性文件系统，在此系统中，数据将得到复制，且故障的文件服务器也会被替换。

除了这个新的部署选项之外，我们还推出了旨在为突增工作负载提供更好支持的第二代暂存文件系统，它能够提供比基线最多高 6 倍的突增吞吐量。与第一代暂存文件系统相同的是，该系统非常适合临时存储和短期数据处理。

下面的表格可帮助您在部署选项中进行选择：

         col 1               |                                                                                          col 2                                                                                           |                                                                                          col 3                                                                                           |          col 4         

:--------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:-----------------------:

| 持久性 | 暂存 2 | 暂存 1

**API 名称

** | PERSISTENT_1 | SCRATCH_2 | SCRATCH_1

存储复制 | 相同可用区 | 无 | 无

**总吞吐量

（每 TiB 预置容量）

** | 50 MB/秒、100 MB/秒、200 MB/秒 | 200 MB/秒，突增至 1200 MB/秒 | 200 MB/秒

IOPS | 数百万 | 数百万 | 数百万

延迟 | 亚毫秒，较高的差值 | 亚毫秒，非常低的差值 | 亚毫秒，非常低的差值

工作负载预期生命周期 | 天，周，月 | 小时，天，周 | 小时，天，周

静态加密 | 客户托管和 FSx 托管密钥 | FSx 托管密钥 | FSx 托管密钥

传输中加密 | 是，从这些区域中的支持 EC2 实例访问时。 | 是，从这些区域中的支持 EC2 实例访问时。 | 否

**初始的存储分配

** | 1.2 TiB、2.4 TiB，以 2.4 TiB 为增量 | 1.2 TiB、2.4 TiB，以 2.4 TiB 为增量 | 1.2 TiB、2.4 TiB、3.6 TiB

额外的存储分配 | 2.4 TiB | 2.4 TiB | 3.6 TiB

创建持久性文件系统

我可以使用 AWS 管理控制台、AWS 命令行界面 (CLI) (create-file-system)、CloudFormation 模板或 FSx for Lustre API (CreateFileSystem) 创建使用持久性部署选项的文件系统。我将使用控制台：

然后，将它像其他文件系统一样安装，并照常访问它。

注意事项

这里需要牢记几点：

Lustre 客户端 – 您将需要使用包含 Lustre 客户端的 AMI（Amazon 系统映像）。您可以使用最新的 Amazon Linux AMI，或者可以创建自己的 AMI。

S3 导出 – 通过这两个选项，您都可以使用 CreateDataRepositoryTask 函数将更改导出至 S3 中。这使您能够在达到严格的恢复点目标 (RPO) 的同时，利用 S3 可提供 99.999999999% 耐用性这一设计优点。

现已推出

持久性文件系统已在所有 AWS 区域推出。暂存 2 文件系统已在所有商用 AWS 区域推出，欧洲（斯德哥尔摩）除外。

价格基于您选择的性能级别和您预置的存储量；请参阅 Amazon FSx for Lustre 定价页面了解更多信息。

本文转载自 AWS 技术博客。

原文链接：https://amazonaws-china.com/cn/blogs/china/amazon-fsx-for-lustre-persistent-storage/