借用我自己以前说过的话,AWS Storage Gateway 是一项包含多协议存储设备的服务,适合用于您的现有应用程序与 AWS 云之间。根据配置方式的不同,您的应用程序会将网关视为文件系统、本地磁盘卷或虚拟磁带库。
今天,我想分享一些有关 Storage Gateway 的文件网关配置的新近更新,还会展示一下如何将其结合使用,以支持某些新的处理模型。首先,我们来看一下最新更新:
SMB 支持 – 文件网关已支持通过使用 NFS(支持版本 3 和 4.1)的客户端进行访问。上个月,我们添加了对服务器信息块 (SMB) 协议的支持。这允许使用 SMB v2 或 v3 进行通信的 Windows 应用程序通过网关将文件作为对象存储在 S3 中,从而实现混合云使用案例,例如备份、内容分发以及机器学习和大数据工作负载的处理。您可以使用现有的本地 Active Directory (AD) 域或 AWS Directory Service 中托管的基于云的域来控制对网关的访问,也可以使用经过身份验证的访客访问。要了解更多有关此次更新的信息,请参阅 AWS Storage Gateway 添加 SMB 支持以在 Amazon S3 存储桶中存储和访问对象。
跨账户权限 – 部分客户在一个 AWS 账户中运行网关,并将其配置为上传到另一个账户拥有的 S3 存储桶。这允许他们使用实际扣款和名义扣款模型跟踪部门存储和检索成本。为了简化此重要使用案例,您可以配置网关,以便为存储桶拥有者提供完整权限。这可以避免存储桶拥有者无法查看对象时出现的难题。要了解具体设置方法,请参阅使用文件共享进行跨账户访问。
申请方付款 – 存储桶拥有者负责存储成本。默认情况下由拥有者支付数据传输费用,但也可以选择由申请方付款。为了支持此使用案例,文件网关现支持 S3 的申请方付款存储桶。数据收集者和聚合者可以使用此功能,与大学和实验室等研究组织共享数据,而不会产生访问成本。文件网关提供对 S3 对象的基于文件的访问权限,在本地缓存最近访问的数据,从而帮助申请方降低延迟和成本。要了解更多信息,请参阅创建 NFS 文件共享和创建 SMB 文件共享。
文件上传通知 – 网关在本地缓存文件,并在后台将其上传到指定的 S3 存储桶。去年年底,我们为您提供了请求在上传新文件时接收通知(以 CloudWatch 事件的形式)的功能。您可以利用此功能,启动基于云的处理,或者实施高级日志记录。要了解更多信息,请参阅收到文件上传通知,并研究 NotifyWhenUploaded
函数。
缓存刷新事件 – 您很早之前就已可使用 RefreshCache
函数来确保网关关注存储桶中的对象添加、删除或替换。新的 Storage Gateway 缓存刷新事件可让您了解缓存现与 S3 保持同步,并可用作启动本地处理的信号。要了解更多信息,请参阅获取刷新缓存通知。
使用文件网关的混合处理
您可以使用文件上传通知和缓存刷新来自动执行一些例行混合处理任务!
假设您经营着一家分散在多个地理位置的办公企业或零售企业,经营网点遍布全球各地。您在每个位置收集原始数据(指标、收银机收据或时间表),然后使用托管在各位置的文件网关将这些数据上传到 S3。在收到数据时,您使用文件上传通知处理各 S3 对象,或许会利用一个 AWS Lambda 函数,调用 Amazon Athena 对各对象运行一组查询。数据集中在几个小时的时间段内送达,结果造成大量数据聚集在另一个存储桶内。在报告期结束时,中间结果将得到处理,系统会为每个分支位置生成自定义报告,然后将其存储在另一个存储桶中(事实证明,这个存储桶也与网关相关联,并且每个网关都拥有先前版本报告的缓存副本)。生成报告后,您可以刷新各网关缓存,等待相应的通知,然后向分支经理发送电子邮件,告知他们新报告已经可用。
现已推出
上述所有功能均已推出,从现在起,即可在提供 Storage Gateway 的所有区域使用。
本文转载自 AWS 技术博客。
原文链接:
评论