AWS Snowmobile——在数周内将数 EB 数据迁移至云端

将大规模数据由内部环境迁移至云端往往是业务转移工作中的最大挑战——但这种挑战本不必存在。即使配合高速传输连接，将 PB 甚至 EB 规模的影片库、财务记录、卫星图像或者科学数据通过互联网进行转移仍然需要耗时数年甚至数十年。从商业角度来看，添置新型网络或者升级现有连接显然并不现实，特别是考虑到转移完成后数据中心将不再需要这样奢侈的网络资源。

去年我们公布了AWS Snowball服务（具体请参阅AWS Snowball——利用Amazon提供的存储设备在一周内迁移1 PB数据）作为大规模数据迁移的一种可行方案。凭借着 80 TB 高存储容量，这些设备能够很好地解决大多数客户面临的难题，而且其目前已经得到广泛采用。

然而，对于拥有 EB 级别内部存储规模的客户，这 80 TB 容量仍然显得相当可怜。通过计算，他们发现要完成全部数据的迁移需要大量设备，并且需要解决令人头痛的大规模物流寄送问题。

AWS Snowmobile 介绍

为了满足此类客户的实际需求，我们在 AWS re:Invent 2016 上公布了 Snowmobile 服务。这一安全数据存储车可容纳高达 100 PB 数据，从而帮助大家在数周之内将 EB 级别数据迁移至 AWS 当中（如果必要，您还可以使用多辆存储车）。其设计目标在于帮助来自金融服务、媒体及娱乐、科学乃至其它行业的客户解决问题。Snowmobile 可接入您的网络并作为本地 NFS 挂载式分卷使用。大家可利用现有备份与归档工具将需要上传至 Amazon 简单存储服务（简称 S3）或者 Amazon Glacier 的数据导入其中。

从物理结构来看地，Snowmobile 采用一款坚固耐用且难于侵入的，尺寸为 45 英尺长、9.6 英尺高、8 英尺宽海运集装箱作为外壳。Snowmobile 具备防水防恶劣天气设计，能够随意停靠在您现有数据中心附近。每台 Snowmobile 需要使用 350 千瓦交流电源; 如果大家现场不具备充足电力，我们还可提供发电机供其运作。

在安全层面，Snowmobile 将包括从监管追踪到视频监控在内的多个逻辑与物理保护层，并加以结合。用户的数据利用 AWS 密钥管理服务（简称 KMS）提供的密钥进行加密，而后才会被写入设备当中。每套集装箱都配备有 GPS 追踪，其利用蜂窝或者卫星连接与 AWS 方面进行通信。我们将在 Snowmobile 行进过程中安排一辆安保车全程保护。在 Snowmobile 处于您的内部基础设施附近时，我们还可以提供专门的安保人员进行配合。

每台 Snowmobile 中包含一根网络线缆，连接在一台高速交换机上，能够通过多条 40 Gb/S 的连接以 1 Tb/S 的速率传输数据，从而实现高速数据交换能力。假定大家的现有网络能够在传输速度上达到这一水平，则可在约 10 天时间内装满一台 Snowmobile。

Snowmobile 的运作

我个人手头没有 EB 级别数据中心，我当然也没有足够的空间容纳这一 45 英尺长的大型集装箱。不过为了帮助大家更好地理解 Snowmobile 的运作流程，我决定使用自己的乐高组装台，并借此建立起一套缩小模型。我希望大家能够喜欢这种以小见大的解释方式！

下面从客户的数据中心起步。其之前就已经构建完成，而且已经颇有年头。机架中塞满了不同年份的磁盘与磁带驱动器，每一台都包含有珍贵的关键性业务数据。而您和您的同事则不得不将大量时间投入到规划楼层面积、追踪线路排布以及尽可能压榨性能方面：

而管理者则越来越沮丧，不知道这样勉强为之的作法还能持续多久：

幸运的是，一位同事每天都在关注博客，而她借此找到了解决问题的办法：

在与 AWS 进行通话之后，双方很快安排了一次会议：

大家齐聚 AWS 办公室，希望了解更多与 Snowmobile 以及迁移计划相关的细节信息：

大家围在 Snowmobile 微缩模型周边，连小狗也来凑热闹。管理者则拍下了照片：

一辆 Snowmobile 出现在您的数据中心附近：

AWS Professional Services（专业服务）帮助大家将其与设施对接，从而开始进行数据传输：

Snowmobile 重新驶回 AWS，而您的数据亦按照指定要求导入至云端！

Snowmobile 在 DigitalGlobe 的表现

作为我们的合作伙伴，DigitalGlobe 公司利用 Snowmobile 将 100 PB 卫星图像数据迁移至 AWS 当中。以下为 Jay Littlepage（前 Amazon 员工，现任 DigitalGlobe 公司基础设施与运营副总裁）对于这项服务的评论：

与多数大型企业一样，我们也在努力将 IT 运营负载由自有数据中心迁移至 AWS。我们的地理空间大数据平台 GBDX 自建立以来始终以 AWS 作为运行基础。但我们的高分辨率卫星影像已经拥有 16 年的收集历史，其覆盖地球表面 60 亿平方

公里面积且始终存放在自有设施之内。我们虽然已经开始将归档逐步迁移至 AWS，但整个过程缓慢且效率低下。我们的卫星每年都在生成更多地球拍摄影像（10 PB），而其总量甚至超过了以往迁移能力的上限。

我们需要一套解决方案，能够把我们现有的 100 PB 归档快速迁移至 AWS 环境当中，但在 Snowmobile 出现之后并无可行的途径可用。DigitalGlobe 公司目前能够将全部原始影像归档直接通过一辆 Snowmobile 转移至 Amazon Glacier 存储库内。AWS Snowmobile 运营人员提供极为出色的定制化服务，他们协助进行了配置、监控与物流追踪。利用 Snowmobile 强大的数据传输能力，我们得以越来越快地将影像归档导入至 AWS 端，这使得我们的客户及合作伙伴能够快速获取海量数据集。通过在 GBDX 当中使用 AWS 的弹性计算平台，我们将能够运行分布式图像分析、以前所未有的速度揭示全球范围内的环境变化速度与格局发展趋势，并以较内部设施更具成本效益的方式获得洞察结论。如果没有 Snowmobile，我们无法在这么短的时间内传递如此庞大的数据集或者为客户创造新的商业机遇。Snowmobile 已经成为真正的游戏规则改变者！

需要了解的情况

以下为大家应当了解的，与 Snowmobile 相关的一些情况：

数据导出——这项服务的最初目标在于实现面向 AWS 的数据导入。但我们很清楚，也有一部分客户希望借此实现数据导出，从而建立起更为快速高效的灾难恢复用例。

推出时间——Snowmobile 目前已经在全部 AWS 服务区正式上线。正如在以上章节中所提到，其并不属于自助服务型产品。大家可以同 AWS 方面的销售人员讨论实际需求以及需要进行导入的具体数据类型与规模。

价格——目前还无法公布确切的定价信息。然而，我们可以保证 Snowmobile 在速度与实施成本上优于基于网络的数据传输模式。

-Jeff

原文链接：

https://aws.amazon.com/cn/blogs/aws/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/

本文转载自 AWS 技术博客。

原文链接：

https://amazonaws-china.com/cn/blogs/china/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/