数据迁移同步平台 CloudCanal 免费社区版正式发布

近日，CloudCanal 社区版正式发布。据悉，这次社区版的发布花了近 2 年时间准备，将免费开放并持续维护。同时，官方透露 CloudCanal 内核未来会开源，相关工作正在准备阶段。

CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力，助力企业打破数据孤岛、完成数据互融互通，从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队，长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具，当前支持的数据源主要如下（2021 年 8 月 1 日版本，数据源持续添加中）：

源端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka

目标端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下：

• 数据源管理：产品化添加阿里云数据源；产品化添加自建数据源；修改内网网 Host 地址；修改数据源在 CloudCanal 平台存储的账号密码；针对阿里云数据源自动添加机器白名单；删除数据源，数据源多维筛选搜索。

• 机器管理：集群化管理，机器生命周期控制，机器系统信息实时监控，白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件)，产品化添加 ECS，产品化添加自建机器，集群搜索；

• 监控管理：监控大盘查看整体任务创建情况、机器使用情况；白屏化全局异常事件搜集，支持按照任务搜索并且查看异常堆栈；异常事件搜索；告警发送日志。

• 系统管理：用户管理（支持用户搜索）；状态机管理（支持查看任务状态机详情和状态）；异步任务管理（支持查看异步任务详情、状态、失败时异常堆栈）；支持全局操作审计、条件过滤。

• 任务管理：支持卡片、列表两种任务展示方式；任务迁移同步进度、状态查看；任务生命周期控制（任务启动、删除、批量操作）；任务详情查看（同步的源、目标查看，运行机器查看，任务各同步阶段状态，统计信息查看）；清除位点（从当前时间点开始同步）。

• 重置位点：设置位点的开始时间；任务实时监控数据查看（实时 RPS、任务引擎监控、资源监控等）；任务参数修改（支持任务内核参数调整、生效）；支持查看任务订阅情况，并且支持多维筛选；支持白屏化查看任务关键日志；任务监控报警（支持设定延迟阈值进行钉钉、短信、电话报警）；支持新增、删除订阅（新订阅的表会自动进行全量同步）；支持异常跳过策略参数配置；支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

• 可视化任务创建：支持可视化配置源、目标以及任务运行机器；支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型；支持创建任务规格选择；支持库、表、列订阅裁剪；支持整库迁移；支持库树形批量筛选；支持表过滤条件设置、表批量设置过滤条件；支持丰富的筛选条件批量设置订阅；支持按照列搜索并批量设置过滤条件；支持列映射；支持无主键表设置自定义主键；支持虚拟列设置；支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分：

• 控制台：完成 CloudCanal 的主要产品化能力

• Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

• 任务内核：任务内核进程，负责具体同步任务的执行

附上 CloudCanal 社区版下载地址：

OSS 下载地址：https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z

安装教程：https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2

官方社区地址：https://www.askcug.com