写点什么

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

  • 2021-09-28
  • 本文字数:2215 字

    阅读完需:约 7 分钟

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

9 月 26 日,以“数聚云端·智驭未来”为主题的阿里云数据库创新上云峰会在北京举行。阿里云数据库产品事业部负责人李飞飞、华东师范大学副校长周傲英等发表主题演讲,共议云原生数据库 2.0 的发展、机遇与挑战,以及一站式数据管理的最佳实践。会上,李飞飞表示阿里云将在今年的云栖大会上开源云原生分布式数据库 PolarDB-X,并发布 PolarDB 最新技术。此外,本次大会阿里云还发布首个一站式敏捷数据仓库解决方案。


据了解,该方案结合一站式数据管理平台 DMS 及云原生数据仓库 AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,令企业在线数据释放最大价值。


此外,通过低代码操作,阿里云一站式敏捷数据仓库解决方案大幅降低了实时数仓的构建难度和数据加工门槛,同时可支撑企业各类高频、动态化的实时分析场景和需求,帮助用户破解实时数仓建设难题,加速企业数字化转型。

阿里云发布一站式敏捷数据仓库解决方案


当前,随着企业数字化程度加深,如何通过数据提升生产力是企业不断探索的方向。作为数据集成、开发和服务的核心载体,数据仓库在其中发挥着关键作用。


传统数据仓库一般基于 T+1 数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求,随着企业对于数据价值变现和应用的时效性要求越来越高,实时数仓应运而生。


传统实时数仓构建方案通常难以满足多源异构数据实时入仓的需求,同时数据处理链路较长,效率无法保证。阿里云一站式敏捷数据仓库解决方案基于阿里集团多年实时数仓建设经验,结合一站式数据管理平台 DMS 及云原生数据仓库 ADB,支持业务数据实时入仓+增删改查、基于拉链表的 T+1 周期性快照等功能,充分满足企业应用场景对生产数据进行实时分析的需求,如:促销大屏、监控报表、精准营销、交互式运营分析等。


相较于传统方案,阿里云一站式敏捷数据仓库解决方案有以下 4 大核心优势:


  1. 对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于 5%。

  2. 事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率 100m/s,数据延时在 10 秒内。

  3. 支持复杂实时数据加工、计算逻辑。

  4. 低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。



DMS 集成数据传输服务 DTS,可支持数十种数据源的存量数据+增量更新数据,实时同步到 ADB,确保实时数仓侧数据与生产端保持一致。此外,DTS 支持在实时数据入仓、数据集成过程中,对数据进行实时加工处理,帮助企业降本增效。


同时,传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。


针对 T+1 周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的 T+1 全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城表示:“一站式数据管理 DMS 的目标是帮助企业在线数据价值最大化,企业通过一站式数据管理 DMS+ADB 可快速构建实时数仓,实现库仓一体的技术架构。


相比传统方案,可有效解决多种在线数据资产化的难题,实现按需建仓、数据集中和敏捷开发。借助库仓一体的 DMS 数据传输与加工链路,大大缩短数据流 ETL 链路,降低维护成本,通过数据开发进行灵活的任务编排和产品化支持 T+1 场景,可降低数据加工门槛,快速发挥企业在线数据价值。”


阿里云研究员、数据库产品事业部OLAP产品部负责人占超群


阿里云研究员、数据库产品事业部 OLAP 产品部负责人占超群表示:“云原生数据仓库 AnalyticDB 以云原生、数据库与大数据一体化为核心,支持一份数据多计算场景、全链路数据实时化等特点,支持结构化和非结构化数据融合分析,可实现超大规模实时增删改查、高并发低延时的按需低成本复杂分析,助力业务实现敏捷、实时、智能的数字化创新。


阿里云一站式敏捷数据仓库解决方案,结合一站式数据管理 DMS+ADB 为企业提供了敏捷的数据入仓、ETL 管理、任务编排、资产管理等能力,将企业数据资产价值最大化,未来我们还将推出更多企业级的能力,欢迎大家关注。”

数据库的未来:云原生+分布式是标配


当前,我国数据库产业加速发展。中国信息通信研究院日前发布的《数据库发展研究报告(2021 年)》指出,当前新一轮科技革命迅猛发展,数据规模爆炸性增长,数据类型愈发丰富,数据应用快速深化。全球创新型数据库产品快速涌现,市场格局剧烈变革,我国数据库产业进入重大发展机遇期。


至于未来的数据库发展将呈现哪些趋势,李飞飞在会后接受采访时表示,“未来的数据库,云原生+分布式一定是标配,用云原生的方式构建数据库系统,同时,分布式已经不是选项,而是必然。”


其次,未来的数据库还将朝着更加智能化的方向发展,AI for DB,通过机器学习将数据库运维管控智能化,这一点在云原生+分布式的前提下更加重要;DB for AI,需要具备面对越来越多非结构化数据的分析能力。


第三,需要具备安全性,确保数据库系统在处理数据全链路过程中提供加密能力、多方安全计算能力以及隐私保护能力。


第四,支持多模数据处理,一些信息场景对新型数据库多模态的处理 AIoT 场景非常重要。


第五,具备一站式在线数据处理平台,数据之间实现打通,用户只需管理一份数据。

2021-09-28 16:212764

评论

发布
暂无评论
发现更多内容

2021年学习Java还有意义吗?

爱好编程进阶

Java 程序员 后端开发

SecurityContextPersistenceFilter 过滤器链

急需上岸的小谢

5月月更

在线Excel转Text工具

入门小站

工具

三、应用高可用之数据设计

穿过生命散发芬芳

5月月更 高可用设计

win10搜索功能失效用不了如何解决

Sher10ck

2020最新蚂蚁金服三面+HR一面,面试经验总结及分享

爱好编程进阶

Java 程序员 后端开发

在线JSON转换成Excel文件工具

入门小站

工具

毕业设计项目

achilles

[Day34-02]-[二叉树]从前序与中序遍历序列构造二叉树

方勇(gopher)

LeetCode 二叉树 数据结构和算法

实战:向GitHub提交代码时触发Jenkins自动构建

程序员欣宸

DevOps jenkins java 5月月更

在 HarmonyOS 中实现 CircleImageView 库

海拥(haiyong.site)

鸿蒙 5月月更

#define定义标识符——定义宏——替换规则——##的作用—

爱好编程进阶

Java 程序员 后端开发

12 Steps to Better Code【改善代码的12步】

爱好编程进阶

Java 程序员

关于Flutter中的RichText组件,你了解多少?

坚果

5月月更

ElasticSearch Client详解

爱好编程进阶

Java 程序员 后端开发

超级原始人系列盲盒即将上线,PlatoFarm赋能超多权益

BlockChain先知

毕业总结

achilles

《深入理解计算机系统》读书笔记——第一章

如浴春风

5月月更

@requestMapping参数详解

爱好编程进阶

Java 程序员 后端开发

linux线上CPU100%排查

入门小站

Linux

产品经理好用易上手的数据分析方法

龙国富

数据分析 产品经理

30个类手写Spring核心原理之Ioc顶层架构设计(2)

爱好编程进阶

Java 程序员 后端开发

7月编程语言排行榜来了,为什么不同媒体报道的结果不一样?

爱好编程进阶

Java 程序员 后端开发

LeetCode 24:交换链表

武师叔

5月月更

19 分布式缓存集群的伸缩性设计

爱好编程进阶

Java 程序员 后端开发

eclispe git 安装使用

爱好编程进阶

Java 程序员 后端开发

从火车票验票来说Flutter的网络请求会话管理

岛上码农

flutter 安卓开发 跨平台开发 ios 开发 5月月更

读《Software Engineering at Google》(25)

术子米德

架构师成长笔记

Docker从入门到干事,看这一篇就够了

爱好编程进阶

Java 程序员 后端开发

dubbo + zookeeper + spring 分布式系统

爱好编程进阶

Java 程序员 后端开发

架构实战营模块二作业

哈啰–J

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力_数据库_凌敏_InfoQ精选文章