看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!
继去年九月发布了 Microsoft Azure Data Factory(ADF)第二版(v2)的公共预览版之后,近期 Microsoft 继续跟进,发布了该服务新的可视化工具的公开预览版。
在前期发布的 ADF v2 服务中,添加了对下列功能的支持:
- 新的调度功能,支持一次运行(Run-Once)和复杂调度场景。
- 增加了对条件循环(Conditional Looping)等复杂工作流的控制能力。
- 支持用于数据出入(Ingress/Egress)的 Web 端点。
- 支持在基于云的 Integration Runtime 中执行 SSIS 软件包。
但是在去年九月发布 ADF v2 服务时,并未提供可视化工具,依然需要手工创建 ADF v2 组件和流水线。最新发布的可视化工具,使 v2 版服务具备了和以前版本相同的功能。
新的可视化工具是基于 Web 的。对于已部署的 Azure Data Factory,需要在 Azure 门户上加载。
工具在启动后,提供以下功能:
- 创建新的 ADF 流水线。允许用户通过拖放可视化接口构建处理流水线,并支持复杂分支、计算组件(例如 HDInsight 和 Azure Data Lake Analytics)。流水线中可添加一些基于 Web 的新数据源,也支持更多的传统数据源,例如 Azure SQL Database 和文件。
- 创建新的 ADF 复制(Copy)流水线。与 ADF v1 中使用的自动过程一样,允许用户选取源数据集和目标数据集,快速地创建一个复制流水线。当前,ADF v2 的源数据支持 33 种数据源,包括 Amazon Redshift、Oracle 和 SAP HANA 等;目标数据支持 13 种数据源,包括部分 Azure 服务,以及 Oracle 和 Salesforce 等。
- 配置新的 SSIS Integration Runtime。允许用户在 Azure SQL Database 中创建新的 SSIS Integration Runtime,以支持在云升级转换(Lift-and-Shift)场景下执行 SSIS 软件包。据 Microsoft 宣称,只要满足数据源连接性和可用性要求,本地部署(On-Premises)的 SSIS 软件包同样可在 Azure 中正常执行。
- 配置 Git 软件库。允许用户配置 ADF 实例和 Visual Studio Team Services 账户间的连接性。但目前尚不支持软件库以 GitHub 作为宿主。
为支持复制活动和计算任务卸载(Offloading),ADF v2 还提供了一种同时支持基于 Azure(Azure-based)或本机(Self-Hosted)运行的 Intergration Runtime 组件类型。具体使用哪一种方式,取决于数据源和计算资源的位置。
图片来源: https://docs.microsoft.com/en-us/azure/data-factory/concepts-integration-runtime
Self-Hosted Integration Runtime 可用于集成本地部署资源,它替代了上一版 ADF 中推出的 On-Premises Data Management Gateway 组件。该组件可以下载并安装在Windows 系统中,目前尚不支持任何Linux 系统。对于运行在ADF v2 服务上的Azure-based Integration Runtime 组件,至少需要关联两个节点才能实现本地部署组件的高可用性,目前最多可以关联四个节点。
该可视化工具的发布,弥补ADF v2 发布后一直缺失的易用性。Microsoft 的大数据管理解决方案,意在抗衡 Software AG webMethods 、 Talend Big Data Platform 或 Hitachi Pentaho 的类似方案,同时在 Azure Logic Apps 、 Mulesoft 或 Dell Boomi 等工具之外,为用户另提供了一种 iPaaS(集成平台即服务,Integration Platform as a Service)工具选择,解决了原有 iPaaS 工具并不能很好地适用于大规模和大批量数据的问题。
在 Azure 上运行的 SSIS Integration Runtime,给出了 SSIS 软件包的迁移路径。这样,Microsoft 具备在云平台服务上继续使用本地部署投资的能力。
当前,Azure Data Factory v2 工作负载可部署到 East US、East US2 和 West Europe 数据中心,但服务依然是公开预览版的。
使用 ADF 服务的详细信息,可参考 Microsoft 官方文档。在 Microsoft 自己的媒体频道上,也提供了演示工具基本使用的视频。
查看英文原文: Microsoft Releases Azure Data Factory V2 Visual Tools in Public Preview
评论