写点什么

奇点云 2023 数智科技大会:发布自研数据云操作系统及多款数据应用更新

  • 2023-12-19
    北京
  • 本文字数:3395 字

    阅读完需:约 11 分钟

大小:1.67M时长:09:43
奇点云2023数智科技大会:发布自研数据云操作系统及多款数据应用更新

以“Data@Future”为主题,由 StartDT(奇点云、GrowingIO)主办的 2023 StartDT Day 数智科技大会暨数据云操作系统产品发布会于近日召开。


会上,奇点云自研的新一代数据云操作系统 StartDT SimbaOS 正式亮相,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。

告别“烟囱”,进阶的数字化需要“DT 时代的 OS”


面向数据量爆发、数据需求激增的未来,企业的数据系统应做好哪些准备?


从众多客户的实践出发,StartDT COO、奇点云联合创始人刘莹谈到,企业对数据系统的要求可归纳为三层:


  • 更简单有效的数据应用,让数据直接为业务所用。

  • 更强大的数据平台,来保障规模化、持续稳定的数据生产。

  • 更极致的存算调度能力,来满足越来越高难度的数据处理需求。

 

过去,数据产品厂商往往只能“烟囱式”地提供或拼装上述三层能力:以数据应用需求为起点,逐个对接云资源、数据源和存算引擎,逐个配置权限体系和安全机制,在该应用涉及的范围内进行数据治理和分析。


而当数字化转型深入,企业的数据应用越来越多,每每出现应用新增或配置变更时,仍然只能采用“烟囱式”从 0 到 1 建设,甚至不得不把过去的应用铲平重建。


这不仅会累积时间与资源浪费,也无从实现全域数据资产的统一管理。最终,一家企业的数据系统里烟囱林立,迭代困难。

 

数据应用“烟囱式建设”示意


在 StartDT CEO、奇点云创始人行在看来,面向因时而变的业务,面对层出不穷的数字化进阶挑战,数据云操作系统是最优解

 

与计算机领域的操作系统原理相似,数据云操作系统封装底层各项常用能力,以标准接口的方式向外提供:


  • 对于应用开发者而言,直接调用 OS 已有的能力,一套代码解决“多云适配”、“多数据源集成”、“多引擎整合”等难题,有效降低对接底层的复杂性,更专注于应用本身的研发。

  • 对于企业而言,则能实现用同一套稳定的基础设施支撑丰富的数据应用,避免“烟囱式”开发;架构具备灵活度,告别“数据系统逐渐‘锁死’又铲平重建”的轮回。

StartDT SimbaOS,奇点云自研的第一代数据云操作系统

 

“历经 4 年‘雪藏式研发’,今天,奇点云第一代数据云操作系统 StartDT SimbaOS 终于面世。”

 


SimbaOS 是奇点云自研的数据云操作系统,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。



谈及设计逻辑与技术实现,StartDT 合伙人、CTO 地雷介绍,SimbaOS 采用分层结构,中间层为 SimbaOS Kernel(数据云操作系统内核),将数据领域常用的存算、调度、服务、安全、元数据等核心能力抽象,封装为一套对象体系。“这极为重要,也是 OS 研发的关键挑战所在。”地雷介绍,目前 Kernel 共包含 32 个对象,分为 6 个域。


数据云操作系统架构

 

通过 API、SDK、Schema 三类方式,数据应用开发者可以快速调用 SimbaOS 的能力,高效创建数据应用:


  • API:提供南向接口和北向接口,前者对接多云、多引擎、多数据源(包括数据源集成接口、元数据采集接口、数据引擎适配接口、云对接接口等),后者面向应用开发者,便于他们调用各个对象的动词。

  • SDK:在 API 基础上,提供 Java、Python、JS 等编程语言开发包 SDK。

  • Schema:支持用户使用 SQL 查询系统元数据,并基于多款内置的分析模型,洞察系统状态。


“把复杂交给操作系统,把简单留给开发者。”行在介绍,“基于 SimbaOS 构建数据应用,效率可以提升 4 倍,帮助企业应对汹涌而来的数据应用需求和进阶的数据技术挑战。”


内核加持、能力升级,多款数据应用产品更新


目前,StartDT SimbaOS 生态内的应用共有“开发”、“安全”、“增长”、“增效”、“AI”五大类。

没错,面向 AI 应用大爆发的未来,SimbaOS 不仅支持开发者构建数据应用,也支持构建 AI 应用,帮助开发者基于数据优化算法,提升训练数据的质量,加快模型部署的速度。

 

本次发布会,针对数据开发、指标资产管理及安全合规场景,三款数据应用率先带来最新动态:

企业级“RAS”的数据云平台 DataSimba


地雷介绍,构建企业级“RAS”(可靠性、可用性、可服务性)的数据生产系统,既需要数据工程的最佳实践,也需要专业可靠的数据云平台。就像“好车手”和“好赛车”,两者缺一不可。


因此,一方面,DataSimba 持续加固稳定性,提供高可用部署方案,可用性达 99.95%。依托 SimbaOS 的 Schema,帮助用户构建可观测性,以数据驱动运维巡检、血缘治理、研发风控等多个场景;


另一方面,还提供针对大数据迁移、备份、CI/CD 等场景的专业自动化工具,以及开发陪跑、迁移发布及各类运维服务包,支持客户数据团队成为“好车手”、“好车队”。

 

DataSimba-Schema 目前提供的 10 个模型 

指标全生命周期管理平台 SimbaMetric


SimbaMetric 提供数仓规划、维度建模、业务指标体系等完善功能,支持业务、研发等角色通过一个产品完成无缝协作,实现围绕指标资产的全生命周期管理。


奇点云认为,指标工具不仅要完成“总线矩阵户口本”的基本职责,还应帮助客户提高效率,让指标资产的运营管理高效、方便、可持续。因此,SimbaMetric 还提供配套的自动化工具,来完成批量转换、自动扫描等工作,解决迁移、兼容、规范性检测等繁杂问题,提升指标交付效率。


此外,企业还可以通过 SimbaOS Kernel 的元数据域,实现 BI、大屏、报表等应用之间指标数据的交互查询。


SimbaMetric 与 SimbaOS 的交互

全域数据安全管理平台 DataBlack


DataBlack 推出了“数据云标准版”、“分析云标准版”、“专业版”三大版本产品,满足不同类型企业不同的数据安全合规需要。


DataBlack 产品三版本


StartDT 资深算法专家曾博指出,数据安全之于企业,已从过去小部分的风控需求,转向全面的合规建设需求。如果仍“烟囱式”地逐个数据应用实施合规治理,不仅重复建设耗时费力,还可能出现“漏网之鱼”。


得益于 SimbaOS Kernel,DataBlack 支持对接企业所有数据源,完成统一的安全合规治理,助客户告别数据安全“短板”。

重塑数据应用构建的方式,让数据驱动更简单


本次大会的圆桌环节,StartDT 的产品专家、行业专家们进一步分享了基于 SimbaOS 研发应用、服务客户的亲身体验,解读真正支持业务、赋能业务、陪伴业务进化的数据应用如何炼成

简化技术复杂性,SimbaOS 为 OneID 等组件/应用开发提供强劲支撑


OneID 是全域用户运营的基础,看似老生常谈,却始终未得到有效解决——用户 ID 增长,端/触点/渠道增加,用传统的研发方式不仅费时费力、灵活度不足,时效性和准确度也远远达不到需求。StartDT 合伙人、资深行业专家追风介绍,现在基于 StartDT 标准的 OneID 组件,客户可以轻松配置不同数据源与身份体系的优先级,或按需新增渠道,完成实时 OneID 融合。

 

OneID 组件能支撑海量数据的实时复杂计算,处理结果准确度高,与 SimbaOS 的能力密不可分。StartDT 副总裁、GrowingIO 联合创始人叶玎玎解释道:“以 OneID 底层的‘流批图一体’为例,我们原本需要 3~4 个月才能适配一个引擎,现在 SimbaOS 已经解决了这个问题,预先完成了 7 类不同引擎的对接,还天然支持多引擎混合调度。”



积木式研发,让大规模打造贴合企业场景的数据应用成为可能


相较有多年成熟方法论的前链路,企业后链路实现数据驱动的场景往往更为复杂多样。


以制造业为例,订单、库存、工厂、供应商等环节各有各的逻辑。StartDT 资深行业专家、制造业产研负责人航宇表示,哪怕处于同一个细分行业,企业的情况也常常千差万别。


如何大规模满足这些个性化的需求,提供贴合客户场景的数据应用?

 

StartDT 合伙人、资深产品专家星魁介绍:“经过多年的客户实践和产品调研,我们把数据应用研发抽象为‘存算模块’、‘分析模块’、‘数据模型’和‘服务模块’,共四大类标准模块。其中,存算模块和服务模块由 SimbaOS Kernel 提供能力支撑。”


基于标准模块完成“积木式的产品开发”,让 StartDT 能更及时地响应客户“个性化”产品需求。今年推出面向制造业的六大数据产品,就采用上述方式研发,并已在多家制造企业客户落地实践。同时,客户的数据团队也能更轻松地组装出数据应用,快速把自身 Know-how 转变为数字化工具。



如行在所说:“数据的价值在于应用,而应用的核心在于人。只有关注人的需求,让人可以更简单有效地使用数据,才能用数据驱动企业和社会进步。”


StartDT SimbaOS 的研发和迭代,正为更简单高效、更具性价比、更可持续、更规模化的数据生产和消费而来,让数据为人所用,为人好用。

 

StartDT SimbaOS 期待得到更多客户的使用,也期待收到更多 DT 开发者的反馈。

Data@Future. Data for all.

2023-12-19 15:467476

评论

发布
暂无评论
发现更多内容

APICloud 原生模块、H5模块、多端组件使用教程

YonBuilder低代码开发平台

前端开发 APP开发 APICloud 模块 跨端开发

深入浅出Apache Pulsar(1):Pulsar vs Kafka

云智慧AIOps社区

kafka 云原生 消息队列 kafka运维 Apache Pulsar 消息系统

【高并发】导致并发编程频繁出问题的“幕后黑手”

冰河

并发编程 多线程 高并发 协程 异步编程

(1-14/14) 首位销售人员

mtfelix

300天创作 2022Y300P

Android 64位架构适配

百瓶技术

andiod 客户端

Kafka 为什么这么快?多的是你不知道的事

码哥字节

kafka 消息队列 1月日更 1月月更

3DCAT荣获2021金陀螺“年度XR行业技术创新奖”“年度优秀VR行业应用奖”两项大奖

3DCAT实时渲染

云计算 教育 VR/AR 渲染 渲染器

如何基于知识图谱实体解析技术进行数据优化?

索信达控股

人工智能 AI 知识图谱 数据优化 索信达控股

人效将是快消品企业未来发展的最大瓶颈

百度大脑

人工智能

混沌工程之 Linux 网络故障模拟工具TC

zuozewei

Linux 混沌工程 1月月更

低代码实现探索(二十二)如何构建一个可以看的懂的系统

零道云-混合式低代码平台

使用Rainbond打包业务模块,实现业务积木式拼装

北京好雨科技有限公司

Hoo虎符研究院|区块链简报 20220117期

区块链前沿News

Hoo虎符 Hoo 虎符研究院 区块链资讯

使用无参数函数进行命令执行

网络安全学海

黑客 网络安全 信息安全 渗透测试 安全漏洞

Python 为什么不设计 do-while 循环结构?

Python猫

Python

Go 语言快速入门指南:Go 并发初识

宇宙之一粟

golang 并发 Go 语言 1月月更

架构实战训练营-模块7-作业

温安适

「架构实战营」

十大视频场景化应用工具+五大视频领域冠军/顶会算法重磅开源!

百度大脑

CPython 性能将提升 5 倍?faster-python 项目 PEP 659 源码级解读

阿里巴巴终端技术

Python 源码 源码分析 CPython

Scrum Master如何参与每日Scrum(Daily Scrum)

Bruce Talk

Scrum 敏捷 Agile Coach/Facilitate

如何处理消息丢失问题?

JavaEdge

1月月更

聚类算法有哪些?又是如何分类?

郑州埃文科技

数据分析 聚类算法

表单数据高级搜索功能设计

全象云低代码

搜索引擎 前端 低代码 搜索 表单

架构实战营第 4 期 -- 模块七作业

烈火干柴烛灭田边残月

架构实战营

前额皮质如何影响我们的工作效率?

LigaAI

工作效率 脑科学

redis未授权访问漏洞复现

喀拉峻

redis 黑客 网络安全 安全 信息安全

为什么HashMap会产生死循环?

王磊

政法委跨单位重点人员联防联控平台建设,治安防控系统开发

a13823115807

网络安全kali渗透学习 web渗透入门 Kali系统的国内源配置

学神来啦

ThinkPHP6和GatewayWorker简单的示例

CRMEB

项目管理是做什么

爱吃小舅的鱼

奇点云2023数智科技大会:发布自研数据云操作系统及多款数据应用更新_大数据_奇点云_InfoQ精选文章