当前,数字化转型已成为很多企业的必修课。而面对如今的经济形势,企业为数字化转型迈出的每一步都至关重要。过去,不少企业为充分发挥数据价值,已经做了很多相关努力,从以 Hadoop 为核心的数据湖,到 Snowflake、Databricks 等云上数据仓库,再到湖仓一体化...... 这些举措真的解决了与日俱增的数据问题吗?未必。今年 Gartner 发布的《分析查询加速的市场引导报告》就曾指出,企业在享受数据湖带来灵活性的同时,也承受着因数据使用和管理混乱带来的不利影响。
传统 BI 已经无法满足需求?
事实上,不管是数据仓库、数据湖、还是湖仓一体,都是典型的中心化模式。随着云时代的到来,中心化的模式已不再适用。整个行业、架构、信息显现出新的趋势,去中心化的分析模式将是未来。
传统 BI 主要是依托于数据仓库作为支撑。传统数据集成系统位于本地的数据中心,而类似 Snowflake 这样的产品的出现颠覆了企业级数据仓库(EDW),在云和数据仓库之间找到了平衡。与传统数据仓库解决方案相比,云数据仓库安全灵活,且能够提供更多即时性、自主性和控制性。然而,想要用好云数据仓库却并不容易。首先,云数据仓库的核心功能并不是为多并发用户在大型数据集上提供交互式查询,其查询优化都是在其内部完成,因此,查询性能较差,且用户的发挥空间有限。其次,采用云数据仓库一旦超出标准,比如数据量过大或者希望获得更高的可用性及更快的获得结果,用户就需要负担超额的成本。
数据仓库的位置介于可视化报表和底层业务系统数据源之间。即便云数据仓库努力拥抱变化,但仍不能解决企业数据分析面临的难题,BI 项目解决方案的应用依托云数据仓库,也因此受到限制。
从业务维度,消费数据的人群也发生了变化。过去分析工具只提供给数据分析师这样专业的人员使用,而现在,更多的数据需要提供给一线业务人员使用。在这样的情况下,传统 BI 已无法满足需求。传统 BI 的确是非常专业的工具,但恰恰是因为过于专业,一线业务人员很难承担复杂知识背后的学习成本。根据 IBM 的统计数据,实施传统 BI 的项目失败率达到近 70%,大量的 BI 系统并没有得到有效的使用。究其原因是⽤⼾⽤不起来、不会⽤数据分析⼯具把业务和数据进⾏转换。
此外,采用传统 BI 工具必然会牵扯到团队间的协作,除了学习成本,还会带来巨大的沟通成本,导致数据无法及时、快速地反馈到数据使用者的手中。
一方面,数据分析项目从提出需求到最终交付,是一个漫长而繁琐的过程,需要进行数据源整合、指标定义、模型开发、数仓任务开发及运维、报表开发等一系列流程。更可怕的是,业务场景并非一成不变,一旦指标逻辑变更,数仓就要重新开发刷数。
另一方面,在实际使用过程中,传统 BI 很容易变成报表的游戏。传统 BI 的架构思维是数据通过 ETL 流向数据湖或数据仓库,并通过报表实现可视化。报表的需求与业务的需求和个人习惯有关。一旦业务需求或者人员发生变动,就需要重新进行报表开发,即使以往有类似的需求,报表也很难复用,这就造成严重的报表堆叠。
近年来,大量互联网公司都在不断使用更多的 SaaS 服务,而这些 SaaS 服务背后所产生的数据割裂在不同的云和 SaaS 产品之间。在这样的情况下,已无法使用以往的方式把数据汇集起来,进行建模,再制成报表给到业务人员,而需要更加敏捷的方式,为业务人员提供数据分析和决策的能力。
数据的基础架构、数据的使用对象、数据的消费方式都发生了变化。InfoQ 也于近日采访 Kyligence,一起聊了聊行业中的最新洞察与实践。在采访中,公司联合创始人兼 CEO 韩卿认为,当今已进入 SaaS 时代,面对 SaaS 时代带来的数据割裂及传统数据分析方式难以适用等诸多问题,就需要用 SaaS 的方式去解决。
一站式云端指标中台的技术架构
现代管理学之⽗彼得·德鲁克有⼀句⾮常经典的话:“What gets measured gets done”,意思是只有⼀个事情能被量化,才能够被解决。数据分析的目标就是找到能够量化业务的关键指标,从中进行洞察,并做出决策。
指标中台的出现正是为了达成这一目标。
对于指标中台,来自领先的市场研究和咨询机构 Ventana Research 的 David Menninger 给出定义,指标中台是一个指标的仓库,存储了我们之前提到的各项规则,定义了如何进行计算以及对齐了与指标相关的各项目标。
在指标中台里,“指标”成为数据和业务交互的主体,通过对“指标”的标准化,进而实现数据开发和管理的标准化,有效衡量业务经营和发展情况。通过指标中台降低数据使用门槛,有效推动数据赋能一线业务,从而推进企业的数字化经营。
指标中台产品陆续面世,产品均以实现 OLAP 下的数据治理,减少计算逻辑和数据逻辑的重复为目标,但最终将走向何方,还需要进一步探索与实践。Kyligence 也于近日宣布推出了一站式云端指标中台 Kyligence Zen。据了解,Kyligence Zen 是处于数据层和应用层之间的指标中台,可以统一管理所有业务指标,自动完成数据加工、指标计算等过程,企业可以在不同应用中实现指标的复用,形成以指标为核心的共同语言,提高协同管理的效率。
Kyligence Zen 的本质其实是一款基于 Kyligence OLAP 能力打造的 SaaS 产品。用韩卿的话来说,SaaS 时代就需要⽤ SaaS 的⽅式解决数据分析面临的挑战。作为一款 SaaS 产品,Kyligence Zen 致力于把数据指标化,把指标智能化。相比于 BI 来说,Kyligence Zen 指标中台以更简单的方式,使业务人员能够更加个性化、自动化的使用好指标,并通过提供合适的指标模版,快速建立自己的指标体系。
随着云时代的到来,大量测试、开发、应用全都部署在了云上。据 Flexera 2020 State of the Cloud Report 统计,应用部署到云上之后将近 30%-35% 的资源被浪费。初创公司 Milkie Way 在对 Firebase 和 Cloud Run 进行内部测试期间,一不小心在几个小时里就在云上烧掉了 72,000 美元,差点导致这家公司破产。如果没有一个好的云端的费用的管控,成本方面就会形成一个巨大的黑洞。
通过 Kyligence Zen 可以帮助企业从事前规划、事中监控、事后评估三个阶段实现云成本管控。事前基于用途进行云资源规划,事中对所有云资源的使用情况进行持续监控,事后基于云账单建立指标体系,定期对指标进行管理和分析,帮助合理管控云成本。
Zoom 公司在 2021 年一季度的财报中称,其毛利率从前一季度的 69.4% 上升至 73.9%,这主要是由于其在公共云资源的优化上下了很大功夫。Spotify 自研了追踪云计算开支的工具,同时鼓励工程师们掌握云计算支出的所有权,使其每年节省了几百万美元的云计算开支。在企业全面上云的浪潮之中,Kyligence Zen 指标中台很好地解决云成本管控场景中的挑战,帮助企业内部建立可观测的管理系统,对齐所有团队的运营过程。
全球视角下看指标中台
在海外,近年来有关现代化数据堆栈的谈论持续掀起热浪。从更广阔的视角来看,指标中台其实就是现代化数据堆栈中一个非常重要的组成部分,在 Gartner 最新发布的 《指标中台创新洞察报告》(Innovation Insight: Metrics Stores) 中也证实了这一点,同时该报告将 Kyligence 列为指标中台的代表厂商。
现代数据堆栈技术是基于云原生数据平台的技术集合,用于降低运行传统数据平台的复杂性。在现代数据堆栈中,为什么需要指标中台呢?核心原因是现代的企业使用数据的场景加更多元,数据驱动已经涉及到了企业运用的各个方面,如果没有统一的指标中台,就会造成每个使用数据的下游都有自己的指标技术逻辑,利用数据进行决策时数据的不统一。
从现代化数据堆栈的维度,Kyligence Zen 指标中台更多地关注到了业务和管理,而非技术本身,更多关注到服务业务的用户,而不是服务 IT 或者底层的工程师。据韩卿介绍,Kyligence 指标中台曾帮助某股份制银行管理了超过 1.4 万多指标,成为他们非常核心的运营决策体系。他说:“我们希望 Kyligence Zen 能够成为数字化转型的重要平台,帮助客户构建整个数字化智慧体系。一个公司,没有度量就没有管理,而度量的核心就是指标,因此,Kyligence Zen 目标管理会更加偏重管理性的能力。”
从产品角度来看,韩卿表示,Kyligence Zen 未来将朝着更简化、更智能、成本更优化的方面不断改进。随着 AI 增强技术的演进,Kyligence 将通过更多 AI 能力的融合,给用户更多的智能的推荐,从而降低人力成本,帮助用户从数据中发现更多未知且有价值的洞察。
从行业趋势与价值来看,随着数字化转型的深入,业务人员将需要更加主动、自主的使用数据,管理指标。SaaS 产品本身方便、易用的特点适应时代的需求,而指标中台所提供的数据分析和决策能力,为企业管理、经营,更好的数字化转型提供新的方式和可能,有望引领数智时代新一轮数据分析的浪潮。
评论