写点什么

奇点云 2023 数智科技大会:发布自研数据云操作系统及多款数据应用更新

  • 2023-12-19
    北京
  • 本文字数:3395 字

    阅读完需:约 11 分钟

大小:1.67M时长:09:43
奇点云2023数智科技大会:发布自研数据云操作系统及多款数据应用更新

以“Data@Future”为主题,由 StartDT(奇点云、GrowingIO)主办的 2023 StartDT Day 数智科技大会暨数据云操作系统产品发布会于近日召开。


会上,奇点云自研的新一代数据云操作系统 StartDT SimbaOS 正式亮相,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。

告别“烟囱”,进阶的数字化需要“DT 时代的 OS”


面向数据量爆发、数据需求激增的未来,企业的数据系统应做好哪些准备?


从众多客户的实践出发,StartDT COO、奇点云联合创始人刘莹谈到,企业对数据系统的要求可归纳为三层:


  • 更简单有效的数据应用,让数据直接为业务所用。

  • 更强大的数据平台,来保障规模化、持续稳定的数据生产。

  • 更极致的存算调度能力,来满足越来越高难度的数据处理需求。

 

过去,数据产品厂商往往只能“烟囱式”地提供或拼装上述三层能力:以数据应用需求为起点,逐个对接云资源、数据源和存算引擎,逐个配置权限体系和安全机制,在该应用涉及的范围内进行数据治理和分析。


而当数字化转型深入,企业的数据应用越来越多,每每出现应用新增或配置变更时,仍然只能采用“烟囱式”从 0 到 1 建设,甚至不得不把过去的应用铲平重建。


这不仅会累积时间与资源浪费,也无从实现全域数据资产的统一管理。最终,一家企业的数据系统里烟囱林立,迭代困难。

 

数据应用“烟囱式建设”示意


在 StartDT CEO、奇点云创始人行在看来,面向因时而变的业务,面对层出不穷的数字化进阶挑战,数据云操作系统是最优解

 

与计算机领域的操作系统原理相似,数据云操作系统封装底层各项常用能力,以标准接口的方式向外提供:


  • 对于应用开发者而言,直接调用 OS 已有的能力,一套代码解决“多云适配”、“多数据源集成”、“多引擎整合”等难题,有效降低对接底层的复杂性,更专注于应用本身的研发。

  • 对于企业而言,则能实现用同一套稳定的基础设施支撑丰富的数据应用,避免“烟囱式”开发;架构具备灵活度,告别“数据系统逐渐‘锁死’又铲平重建”的轮回。

StartDT SimbaOS,奇点云自研的第一代数据云操作系统

 

“历经 4 年‘雪藏式研发’,今天,奇点云第一代数据云操作系统 StartDT SimbaOS 终于面世。”

 


SimbaOS 是奇点云自研的数据云操作系统,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。



谈及设计逻辑与技术实现,StartDT 合伙人、CTO 地雷介绍,SimbaOS 采用分层结构,中间层为 SimbaOS Kernel(数据云操作系统内核),将数据领域常用的存算、调度、服务、安全、元数据等核心能力抽象,封装为一套对象体系。“这极为重要,也是 OS 研发的关键挑战所在。”地雷介绍,目前 Kernel 共包含 32 个对象,分为 6 个域。


数据云操作系统架构

 

通过 API、SDK、Schema 三类方式,数据应用开发者可以快速调用 SimbaOS 的能力,高效创建数据应用:


  • API:提供南向接口和北向接口,前者对接多云、多引擎、多数据源(包括数据源集成接口、元数据采集接口、数据引擎适配接口、云对接接口等),后者面向应用开发者,便于他们调用各个对象的动词。

  • SDK:在 API 基础上,提供 Java、Python、JS 等编程语言开发包 SDK。

  • Schema:支持用户使用 SQL 查询系统元数据,并基于多款内置的分析模型,洞察系统状态。


“把复杂交给操作系统,把简单留给开发者。”行在介绍,“基于 SimbaOS 构建数据应用,效率可以提升 4 倍,帮助企业应对汹涌而来的数据应用需求和进阶的数据技术挑战。”


内核加持、能力升级,多款数据应用产品更新


目前,StartDT SimbaOS 生态内的应用共有“开发”、“安全”、“增长”、“增效”、“AI”五大类。

没错,面向 AI 应用大爆发的未来,SimbaOS 不仅支持开发者构建数据应用,也支持构建 AI 应用,帮助开发者基于数据优化算法,提升训练数据的质量,加快模型部署的速度。

 

本次发布会,针对数据开发、指标资产管理及安全合规场景,三款数据应用率先带来最新动态:

企业级“RAS”的数据云平台 DataSimba


地雷介绍,构建企业级“RAS”(可靠性、可用性、可服务性)的数据生产系统,既需要数据工程的最佳实践,也需要专业可靠的数据云平台。就像“好车手”和“好赛车”,两者缺一不可。


因此,一方面,DataSimba 持续加固稳定性,提供高可用部署方案,可用性达 99.95%。依托 SimbaOS 的 Schema,帮助用户构建可观测性,以数据驱动运维巡检、血缘治理、研发风控等多个场景;


另一方面,还提供针对大数据迁移、备份、CI/CD 等场景的专业自动化工具,以及开发陪跑、迁移发布及各类运维服务包,支持客户数据团队成为“好车手”、“好车队”。

 

DataSimba-Schema 目前提供的 10 个模型 

指标全生命周期管理平台 SimbaMetric


SimbaMetric 提供数仓规划、维度建模、业务指标体系等完善功能,支持业务、研发等角色通过一个产品完成无缝协作,实现围绕指标资产的全生命周期管理。


奇点云认为,指标工具不仅要完成“总线矩阵户口本”的基本职责,还应帮助客户提高效率,让指标资产的运营管理高效、方便、可持续。因此,SimbaMetric 还提供配套的自动化工具,来完成批量转换、自动扫描等工作,解决迁移、兼容、规范性检测等繁杂问题,提升指标交付效率。


此外,企业还可以通过 SimbaOS Kernel 的元数据域,实现 BI、大屏、报表等应用之间指标数据的交互查询。


SimbaMetric 与 SimbaOS 的交互

全域数据安全管理平台 DataBlack


DataBlack 推出了“数据云标准版”、“分析云标准版”、“专业版”三大版本产品,满足不同类型企业不同的数据安全合规需要。


DataBlack 产品三版本


StartDT 资深算法专家曾博指出,数据安全之于企业,已从过去小部分的风控需求,转向全面的合规建设需求。如果仍“烟囱式”地逐个数据应用实施合规治理,不仅重复建设耗时费力,还可能出现“漏网之鱼”。


得益于 SimbaOS Kernel,DataBlack 支持对接企业所有数据源,完成统一的安全合规治理,助客户告别数据安全“短板”。

重塑数据应用构建的方式,让数据驱动更简单


本次大会的圆桌环节,StartDT 的产品专家、行业专家们进一步分享了基于 SimbaOS 研发应用、服务客户的亲身体验,解读真正支持业务、赋能业务、陪伴业务进化的数据应用如何炼成

简化技术复杂性,SimbaOS 为 OneID 等组件/应用开发提供强劲支撑


OneID 是全域用户运营的基础,看似老生常谈,却始终未得到有效解决——用户 ID 增长,端/触点/渠道增加,用传统的研发方式不仅费时费力、灵活度不足,时效性和准确度也远远达不到需求。StartDT 合伙人、资深行业专家追风介绍,现在基于 StartDT 标准的 OneID 组件,客户可以轻松配置不同数据源与身份体系的优先级,或按需新增渠道,完成实时 OneID 融合。

 

OneID 组件能支撑海量数据的实时复杂计算,处理结果准确度高,与 SimbaOS 的能力密不可分。StartDT 副总裁、GrowingIO 联合创始人叶玎玎解释道:“以 OneID 底层的‘流批图一体’为例,我们原本需要 3~4 个月才能适配一个引擎,现在 SimbaOS 已经解决了这个问题,预先完成了 7 类不同引擎的对接,还天然支持多引擎混合调度。”



积木式研发,让大规模打造贴合企业场景的数据应用成为可能


相较有多年成熟方法论的前链路,企业后链路实现数据驱动的场景往往更为复杂多样。


以制造业为例,订单、库存、工厂、供应商等环节各有各的逻辑。StartDT 资深行业专家、制造业产研负责人航宇表示,哪怕处于同一个细分行业,企业的情况也常常千差万别。


如何大规模满足这些个性化的需求,提供贴合客户场景的数据应用?

 

StartDT 合伙人、资深产品专家星魁介绍:“经过多年的客户实践和产品调研,我们把数据应用研发抽象为‘存算模块’、‘分析模块’、‘数据模型’和‘服务模块’,共四大类标准模块。其中,存算模块和服务模块由 SimbaOS Kernel 提供能力支撑。”


基于标准模块完成“积木式的产品开发”,让 StartDT 能更及时地响应客户“个性化”产品需求。今年推出面向制造业的六大数据产品,就采用上述方式研发,并已在多家制造企业客户落地实践。同时,客户的数据团队也能更轻松地组装出数据应用,快速把自身 Know-how 转变为数字化工具。



如行在所说:“数据的价值在于应用,而应用的核心在于人。只有关注人的需求,让人可以更简单有效地使用数据,才能用数据驱动企业和社会进步。”


StartDT SimbaOS 的研发和迭代,正为更简单高效、更具性价比、更可持续、更规模化的数据生产和消费而来,让数据为人所用,为人好用。

 

StartDT SimbaOS 期待得到更多客户的使用,也期待收到更多 DT 开发者的反馈。

Data@Future. Data for all.

2023-12-19 15:467464

评论

发布
暂无评论
发现更多内容

读完这些“Java技术栈”,拿下阿里Offer没问题

Java MySQL spring 程序员 JVM

华为云GaussDB持续深耕创新与开放,打造企业核心数据上云信赖之选

华为云数据库小助手

GaussDB GaussDB(for openGauss) 华为云数据库 GaussDB(for MySQL) UGO

android activity Intent 传值 传对象,android开发框架开源登录界面

android 程序员 移动开发

Android Activity 启动出现白屏带标题或闪屏问题解决,移动开发者社区

android 程序员 移动开发

软件测试常用工具总结(测试管理、单元测试、接口测试、自动化测试、性能测试、负载测试...)

六十七点五

程序员 软件测试 自动化测试 接口测试 测试工程师

Android Framework学习笔记(七)AMS全家桶,剖析Android开发未来的出路在哪里

android 程序员 移动开发

android hxgsecurity 常用的集中加密方式封装,android项目开发案例

android 程序员 移动开发

Android 12体验!新的黑夜模式、影音格式,详解系列文章

android 程序员 移动开发

Android NDK 开发之 CMake 必知必会,后台开发Android岗

android 程序员 移动开发

Android 11 Beta 版正式发布!以及众多面向开发者的重磅更新

android 程序员 移动开发

Android App关于应用程序升级的一点内容,app软件开发课程

android 程序员 移动开发

Android Dialog 的一些使用和优化心得(DialogFragment的使用和优化)

android 程序员 移动开发

android Jetpack Navigation组件——堆栈操作和动画效果

android 程序员 移动开发

Android 6,android网络开发技术实战详解

android 程序员 移动开发

Android APK反编译就这么简单 详解(附图),字节跳动大神讲座

android 程序员 移动开发

Android App Bundle探索,android系统软件开发

android 程序员 移动开发

Android Binder 的主要内容概述以及特性和原理,Android开发前景怎么样

android 程序员 移动开发

Android Material Design尝鲜,阿里P8面试官都说太详细了

android 程序员 移动开发

怎么用EasyRecovery恢复sd卡中的数据

淋雨

EasyRecovery

Android Launcher——ui框架,嵌入式音视频方向

android 程序员 移动开发

Android 3年外包工面试笔记,有机会还是要去大厂学习提升

android 程序员 移动开发

android activity Intent 传值 传对象(1),头条三面技术四面HR

android 程序员 移动开发

Android Glide 3,flutter小程序

android 程序员 移动开发

墨刀发布企业版v3.5 ! 再度赋能“团队协同”新模式

Android 8 通知渠道(Notification Channels),美团移动端开发工程师

android 程序员 移动开发

Android MTK 设置默认启动 Launcher,android实战pdf

android 程序员 移动开发

云原生:详解|K8s技术栈解析, 一文读懂K8s工作原理

息之

架构 容器 云原生 k8s 集群

Android - 定位方式,火星坐标系统,一键锁屏,字节Android高工面试

android 程序员 移动开发

Android Jsoup:实现HTML解析和Epub解析,论程序员成长的正确姿势

android 程序员 移动开发

android LifeCycle-简单使用和详细原理解析,2021大厂Android面试经历

android 程序员 移动开发

Android - 在线浏览源码,电话短信相关,文本变化监听器

android 程序员 移动开发

奇点云2023数智科技大会:发布自研数据云操作系统及多款数据应用更新_大数据_奇点云_InfoQ精选文章