以“Data@Future”为主题,由 StartDT(奇点云、GrowingIO)主办的 2023 StartDT Day 数智科技大会暨数据云操作系统产品发布会于近日召开。
会上,奇点云自研的新一代数据云操作系统 StartDT SimbaOS 正式亮相,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。
告别“烟囱”,进阶的数字化需要“DT 时代的 OS”
面向数据量爆发、数据需求激增的未来,企业的数据系统应做好哪些准备?
从众多客户的实践出发,StartDT COO、奇点云联合创始人刘莹谈到,企业对数据系统的要求可归纳为三层:
更简单有效的数据应用,让数据直接为业务所用。
更强大的数据平台,来保障规模化、持续稳定的数据生产。
更极致的存算调度能力,来满足越来越高难度的数据处理需求。
过去,数据产品厂商往往只能“烟囱式”地提供或拼装上述三层能力:以数据应用需求为起点,逐个对接云资源、数据源和存算引擎,逐个配置权限体系和安全机制,在该应用涉及的范围内进行数据治理和分析。
而当数字化转型深入,企业的数据应用越来越多,每每出现应用新增或配置变更时,仍然只能采用“烟囱式”从 0 到 1 建设,甚至不得不把过去的应用铲平重建。
这不仅会累积时间与资源浪费,也无从实现全域数据资产的统一管理。最终,一家企业的数据系统里烟囱林立,迭代困难。
数据应用“烟囱式建设”示意
在 StartDT CEO、奇点云创始人行在看来,面向因时而变的业务,面对层出不穷的数字化进阶挑战,数据云操作系统是最优解。
与计算机领域的操作系统原理相似,数据云操作系统封装底层各项常用能力,以标准接口的方式向外提供:
对于应用开发者而言,直接调用 OS 已有的能力,一套代码解决“多云适配”、“多数据源集成”、“多引擎整合”等难题,有效降低对接底层的复杂性,更专注于应用本身的研发。
对于企业而言,则能实现用同一套稳定的基础设施支撑丰富的数据应用,避免“烟囱式”开发;架构具备灵活度,告别“数据系统逐渐‘锁死’又铲平重建”的轮回。
StartDT SimbaOS,奇点云自研的第一代数据云操作系统
“历经 4 年‘雪藏式研发’,今天,奇点云第一代数据云操作系统 StartDT SimbaOS 终于面世。”
SimbaOS 是奇点云自研的数据云操作系统,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。
谈及设计逻辑与技术实现,StartDT 合伙人、CTO 地雷介绍,SimbaOS 采用分层结构,中间层为 SimbaOS Kernel(数据云操作系统内核),将数据领域常用的存算、调度、服务、安全、元数据等核心能力抽象,封装为一套对象体系。“这极为重要,也是 OS 研发的关键挑战所在。”地雷介绍,目前 Kernel 共包含 32 个对象,分为 6 个域。
数据云操作系统架构
通过 API、SDK、Schema 三类方式,数据应用开发者可以快速调用 SimbaOS 的能力,高效创建数据应用:
API:提供南向接口和北向接口,前者对接多云、多引擎、多数据源(包括数据源集成接口、元数据采集接口、数据引擎适配接口、云对接接口等),后者面向应用开发者,便于他们调用各个对象的动词。
SDK:在 API 基础上,提供 Java、Python、JS 等编程语言开发包 SDK。
Schema:支持用户使用 SQL 查询系统元数据,并基于多款内置的分析模型,洞察系统状态。
“把复杂交给操作系统,把简单留给开发者。”行在介绍,“基于 SimbaOS 构建数据应用,效率可以提升 4 倍,帮助企业应对汹涌而来的数据应用需求和进阶的数据技术挑战。”
内核加持、能力升级,多款数据应用产品更新
目前,StartDT SimbaOS 生态内的应用共有“开发”、“安全”、“增长”、“增效”、“AI”五大类。
没错,面向 AI 应用大爆发的未来,SimbaOS 不仅支持开发者构建数据应用,也支持构建 AI 应用,帮助开发者基于数据优化算法,提升训练数据的质量,加快模型部署的速度。
本次发布会,针对数据开发、指标资产管理及安全合规场景,三款数据应用率先带来最新动态:
企业级“RAS”的数据云平台 DataSimba
地雷介绍,构建企业级“RAS”(可靠性、可用性、可服务性)的数据生产系统,既需要数据工程的最佳实践,也需要专业可靠的数据云平台。就像“好车手”和“好赛车”,两者缺一不可。
因此,一方面,DataSimba 持续加固稳定性,提供高可用部署方案,可用性达 99.95%。依托 SimbaOS 的 Schema,帮助用户构建可观测性,以数据驱动运维巡检、血缘治理、研发风控等多个场景;
另一方面,还提供针对大数据迁移、备份、CI/CD 等场景的专业自动化工具,以及开发陪跑、迁移发布及各类运维服务包,支持客户数据团队成为“好车手”、“好车队”。
DataSimba-Schema 目前提供的 10 个模型
指标全生命周期管理平台 SimbaMetric
SimbaMetric 提供数仓规划、维度建模、业务指标体系等完善功能,支持业务、研发等角色通过一个产品完成无缝协作,实现围绕指标资产的全生命周期管理。
奇点云认为,指标工具不仅要完成“总线矩阵户口本”的基本职责,还应帮助客户提高效率,让指标资产的运营管理高效、方便、可持续。因此,SimbaMetric 还提供配套的自动化工具,来完成批量转换、自动扫描等工作,解决迁移、兼容、规范性检测等繁杂问题,提升指标交付效率。
此外,企业还可以通过 SimbaOS Kernel 的元数据域,实现 BI、大屏、报表等应用之间指标数据的交互查询。
SimbaMetric 与 SimbaOS 的交互
全域数据安全管理平台 DataBlack
DataBlack 推出了“数据云标准版”、“分析云标准版”、“专业版”三大版本产品,满足不同类型企业不同的数据安全合规需要。
DataBlack 产品三版本
StartDT 资深算法专家曾博指出,数据安全之于企业,已从过去小部分的风控需求,转向全面的合规建设需求。如果仍“烟囱式”地逐个数据应用实施合规治理,不仅重复建设耗时费力,还可能出现“漏网之鱼”。
得益于 SimbaOS Kernel,DataBlack 支持对接企业所有数据源,完成统一的安全合规治理,助客户告别数据安全“短板”。
重塑数据应用构建的方式,让数据驱动更简单
本次大会的圆桌环节,StartDT 的产品专家、行业专家们进一步分享了基于 SimbaOS 研发应用、服务客户的亲身体验,解读真正支持业务、赋能业务、陪伴业务进化的数据应用如何炼成。
简化技术复杂性,SimbaOS 为 OneID 等组件/应用开发提供强劲支撑
OneID 是全域用户运营的基础,看似老生常谈,却始终未得到有效解决——用户 ID 增长,端/触点/渠道增加,用传统的研发方式不仅费时费力、灵活度不足,时效性和准确度也远远达不到需求。StartDT 合伙人、资深行业专家追风介绍,现在基于 StartDT 标准的 OneID 组件,客户可以轻松配置不同数据源与身份体系的优先级,或按需新增渠道,完成实时 OneID 融合。
OneID 组件能支撑海量数据的实时复杂计算,处理结果准确度高,与 SimbaOS 的能力密不可分。StartDT 副总裁、GrowingIO 联合创始人叶玎玎解释道:“以 OneID 底层的‘流批图一体’为例,我们原本需要 3~4 个月才能适配一个引擎,现在 SimbaOS 已经解决了这个问题,预先完成了 7 类不同引擎的对接,还天然支持多引擎混合调度。”
积木式研发,让大规模打造贴合企业场景的数据应用成为可能
相较有多年成熟方法论的前链路,企业后链路实现数据驱动的场景往往更为复杂多样。
以制造业为例,订单、库存、工厂、供应商等环节各有各的逻辑。StartDT 资深行业专家、制造业产研负责人航宇表示,哪怕处于同一个细分行业,企业的情况也常常千差万别。
如何大规模满足这些个性化的需求,提供贴合客户场景的数据应用?
StartDT 合伙人、资深产品专家星魁介绍:“经过多年的客户实践和产品调研,我们把数据应用研发抽象为‘存算模块’、‘分析模块’、‘数据模型’和‘服务模块’,共四大类标准模块。其中,存算模块和服务模块由 SimbaOS Kernel 提供能力支撑。”
基于标准模块完成“积木式的产品开发”,让 StartDT 能更及时地响应客户“个性化”产品需求。今年推出面向制造业的六大数据产品,就采用上述方式研发,并已在多家制造企业客户落地实践。同时,客户的数据团队也能更轻松地组装出数据应用,快速把自身 Know-how 转变为数字化工具。
如行在所说:“数据的价值在于应用,而应用的核心在于人。只有关注人的需求,让人可以更简单有效地使用数据,才能用数据驱动企业和社会进步。”
StartDT SimbaOS 的研发和迭代,正为更简单高效、更具性价比、更可持续、更规模化的数据生产和消费而来,让数据为人所用,为人好用。
StartDT SimbaOS 期待得到更多客户的使用,也期待收到更多 DT 开发者的反馈。
Data@Future. Data for all.
评论