Hadoop 的快速发展带动了对数据迁移工具的需求

Hadoop 是由 Apache 基金会所开发的分布式处理平台。其最核心的设计就是： HDFS 分布式文件系统和分布式计算框架 Map/Reduce。HDFS 具有高容错性、高吞吐量的特点，为海量数据提供存储；Map/Reduce 则为大数据数据计算提供支持。目前，Hadoop 以其低成本、高扩展性、靠可靠性以及靠容错性等优点，成为新一代的大数据处理平台。很多公司也开始提供基于 Hadoop 的商业软件、支持、服务以及培训。据估计，每年 Hadoop 的销售额会增长近 60%，到 2020 年会达到 500 亿左右。随着越来越多的公司开始使用 Hadoop 产品，大量的数据迁移工作由此产生。

理论上讲，Hadoop 平台数据的迁移（包括迁入和迁出）是相关软件以及用户就可以完成的工作。例如，Apache 的 Sqoop 就是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具。它可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导入到关系型数据库中。然而，大数据时代是的数据迁移需要耗费大量的人力。于是，Hadoop 相关的数据迁移工具和服务的需求相应增加。

为了能够方便数据迁移，无论是原有的数据迁移或者数据备份工具相关的公司，还是 Hadoop 厂商都开始提供相应的产品和服务。例如，Attunity 公司推出的数据复制产品——Attunity Replicate。该产品针对 EMC Greenplum 多款产品进行了性能优化。除了 Hadoop，它所支持的数据复制 / 迁移平台还包括 Oracle、DB2、SQL Server、Greenplum 以及 Teradata 等。此外，Diyotta DataMover 也同样支持 Hadoop 平台中多种格式的数据迁入和迁出。大型机数据集成厂商 Syncsort 已经与 Hadoop 厂商 Cloudera 宣布合作，准备将大型机数据与 Hadoop 集群更紧密地联系起来，从而进行大数据分析。据 Syncsort 总裁 Josh Rogers 预测，将大型机负载逐渐迁移到 Hadoop 集群将是未来 Hadoop 在企业中的一个主要应用场景。

可以看出，基本上所有的数据迁移工具和服务都能够支持多数平台间的数据迁移。那么，方便性和整体服务就成为了提高产品竞争力的重要方面。像 Hortonworks 这样的 Hadoop 厂商充分利用自身的优势，已经开始推出自己的迁移支持和服务。这样，Hadoop 厂商就可以在数据迁移工具和服务方面占据自己的市场，避免让 Sqoop 这样的产品成为 Hadoop 平台数据迁移中必须的第三方工具。

在 Hadoop 相关的数据迁移工具和服务激烈的竞争中，寻求更好的设计理念，并能够把产品设计的目光放得更加长远就十分关键。在现在的设计中，能够为未来可能的变化预留接口。例如，提供对未来的 Hadoop 数据安全框架 Apache Argus 的支持就是十分重要的一方面。总的来讲，最好的 Hadoop 数据迁移方面的长期投资还在于理解目前已经存在的工具，然后结合其中的优点创造出更能满足用户需求产品。

感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ）或者腾讯微博（ @InfoQ ）关注我们，并与我们的编辑和其他读者朋友交流。