写点什么

数据迁移同步平台 CloudCanal 免费社区版正式发布

  • 2021-08-06
  • 本文字数:1476 字

    阅读完需:约 5 分钟

数据迁移同步平台CloudCanal免费社区版正式发布

近日,CloudCanal 社区版正式发布。据悉,这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。


CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具,当前支持的数据源主要如下(2021 年 8 月 1 日版本,数据源持续添加中):


源端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka


目标端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下:


  • 数据源管理:产品化添加阿里云数据源;产品化添加自建数据源;修改内网网 Host 地址;修改数据源在 CloudCanal 平台存储的账号密码;针对阿里云数据源自动添加机器白名单;删除数据源,数据源多维筛选搜索。

  • 机器管理:集群化管理,机器生命周期控制,机器系统信息实时监控,白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件),产品化添加 ECS,产品化添加自建机器,集群搜索;

  • 监控管理:监控大盘查看整体任务创建情况、机器使用情况;白屏化全局异常事件搜集,支持按照任务搜索并且查看异常堆栈;异常事件搜索;告警发送日志。

  • 系统管理:用户管理(支持用户搜索);状态机管理(支持查看任务状态机详情和状态);异步任务管理(支持查看异步任务详情、状态、失败时异常堆栈);支持全局操作审计、条件过滤。

  • 任务管理:支持卡片、列表两种任务展示方式;任务迁移同步进度、状态查看;任务生命周期控制(任务启动、删除、批量操作);任务详情查看(同步的源、目标查看,运行机器查看,任务各同步阶段状态,统计信息查看);清除位点(从当前时间点开始同步)。

  • 重置位点:设置位点的开始时间;任务实时监控数据查看(实时 RPS、任务引擎监控、资源监控等);任务参数修改(支持任务内核参数调整、生效);支持查看任务订阅情况,并且支持多维筛选;支持白屏化查看任务关键日志;任务监控报警(支持设定延迟阈值进行钉钉、短信、电话报警);支持新增、删除订阅(新订阅的表会自动进行全量同步);支持异常跳过策略参数配置;支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

  • 可视化任务创建:支持可视化配置源、目标以及任务运行机器;支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型;支持创建任务规格选择;支持库、表、列订阅裁剪;支持整库迁移;支持库树形批量筛选;支持表过滤条件设置、表批量设置过滤条件;支持丰富的筛选条件批量设置订阅;支持按照列搜索并批量设置过滤条件;支持列映射;支持无主键表设置自定义主键;支持虚拟列设置;支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分:

  • 控制台:完成 CloudCanal 的主要产品化能力

  • Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

  • 任务内核:任务内核进程,负责具体同步任务的执行



附上 CloudCanal 社区版下载地址:


OSS 下载地址:https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z


安装教程:https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2


官方社区地址:https://www.askcug.com

2021-08-06 15:119619
用户头像
罗燕珊 AI practitioner | Tech media

发布了 519 篇内容, 共 374.4 次阅读, 收获喜欢 839 次。

关注

评论

发布
暂无评论
发现更多内容

喜报!博睿数据荣获中信银行2023年度优秀服务伙伴奖

博睿数据

博睿数据率先发布HarmonyOS NEXT系统的应用异常观测SDK

博睿数据

4家券商综合评级上升,1月券商App终端业务体验评测报告发布

博睿数据

龙年大吉,新的一年开启你的职业飞跃之旅

亚马逊云科技 (Amazon Web Services)

架构师 亚马逊云科技 培训与认证

分布式存储技术:总结2023,展望2024

黄岩

分布式存储 zstorage 全闪分布式

高院司法观点、法官评析等一键获取,海量数据尽在Alpha法律智能操作系统

科技汇

数据价值在线化,TiDB 在企查查数据中台的应用

编程猫

OpenLDAP 接入 NineData SSO

NineData

SSO openldap 单点登录 NineData phpLDAPadmin

万字干货-京东零售数据资产能力升级与实践

京东零售技术

大数据 数据资产

SDWAN组网基于软件,部署灵活且周期短

Geek一起出海

《数字化运维路线图》第四部分-数字化运维转型场景 震撼发布!

博睿数据

关于RestCloud iPaaS平台的板块详解

RestCloud

低代码 api 网关 可视化编排 ipaas 消息集成

低代码开发应对AI时代到来的挑战与机遇

不在线第一只蜗牛

人工智能 低代码 AI技术

员工活动 | 并肩携手,温暖前行

MatrixOrigin

数据库 云原生 分布式,

文心一言 VS 讯飞星火 VS chatgpt (199)-- 算法导论15.2 1题

福大大架构师每日一题

福大大架构师每日一题

2024年工业展|2024越南国际工业技术装备展会

秋硕展览

提高代码质量的十条编码原则

互联网工科生

代码规范

喜报,喜报!MO 荣获六个年度大奖!

MatrixOrigin

数据库 云原生 分布式,

京东app商品详情数据接口

tbapi

京东 京东商品详情接口 京东API 京东APP商品详情接口

Azuki NFT 概览与数据分析

Footprint Analytics

NFT

全新市场周期推动 LaunchPad 迎新起点, Penpad 成新兴生力军

西柚子

数据迁移同步平台CloudCanal免费社区版正式发布_开源_罗燕珊_InfoQ精选文章