写点什么

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

云器科技

  • 2025-01-17
    北京
  • 本文字数:2106 字

    阅读完需:约 7 分钟

大小:1.05M时长:06:07
重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

2025 年 1 月 15 日,云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司,正式向全球用户开放体验其创新的云湖仓产品。


云器 Lakehouse 开放注册


云器科技 CEO 喻思成宣布云器 Lakehouse 正式开放注册,同时宣布了产品已经完成了在全球七大主流云平台的适配,并且已经在大部分云平台开服。这意味着云器提供了统一的数据底座,让企业可以在异构云环境中获得一致的数据平台体验。


云器 Lakehouse:基于增量计算的云湖仓平台


喻思成表示,十年前“云”让计算像水电一样触手可及,今天云器的开放注册:旨在让数据和 AI 更普惠,像煤气炉一样触手可及——不需要专业团队,不需要开源自建。就是这次云器开放注册的意义,开放注册即所谓 GA—— General Available,就是“你只管写 SQL,其它的交给云器。”



云器 Lakehouse 完成了全球七大主流云平台适配


云器 Lakehouse 产品采用了 Single-Engine 和通用增量计算技术。据云器科技 CTO 关涛介绍,通过深度优化的全 Native C++实现的向量化引擎,并得益于软件、硬件技术、网络技术的突破,Lakehouse 产品表现出多面且优异的性能,以在批处理领域为例,云器 Lakehouse 在标准 TPC-DS 10TB 测试中展现出比开源 Spark 快 10 倍的性能优势。


关涛在发布会上分享了引擎性能突破背后的技术改进项,并逐条解析了性能提升的关键因素:自研的基于 Cascades 模型的 CBO 优化器带来 2 倍性能提升,Native 引擎实现提供 3 倍性能提升,直连调度方案实现 1.3 倍提升,以及默认开启的自动缓存带来 1.3 倍性能提升。此外,云器 Lakehouse 还实现了 MPP 和 BSP 两种调度模式的融合架构,为不同场景提供最优性能。




统一数据、统一引擎、统一体验


在产品能力方面,云器科技 Lakehouse 产品总监曲宁分享了“统一数据、统一引擎、统一体验”的设计理念,并详细分享数据平台的架构设计。曲宁详细介绍了平台的四大核心能力:


  • 全面 Serverless 化的计算服务,支持秒级弹性伸缩

  • 基于增量计算实现统一计算模式,可实现 ETL 链路的大幅简化

  • Data+AI 融合分析能力,支持对企业所有数据资产的统一管理

  • 一体化的开发治理平台 Lakehouse Studio,提供数据团队开发运维数据的全家桶套件


发布数据智能产品功能


值得关注的是,云器科技在此次发布会上还重点展示了数据与 AI 的结合能力。云器科技 AI 产品总监孟硕表示,企业已普遍认识到构建 AI 就绪的知识库系统是当前 AI 投资的最佳切入点。为提升企业数据与 AI 融合能力,云器科技全面升级数据平台,新增 RAG 就绪层,整合向量检索、倒排索引及语义引擎等关键功能。基于升级后的平台架构,推出两款创新应用产品:智能对话式数据分析工具 Lakehouse DataGPT,和智能开发助手 Lakehouse Copilot,两款重要产品功能,致力于让企业数据资产更易于被 AI 利用和访问。


Lakehouse DataGPT 基于云器统一的数据底座,在对话式 BI 分析场景中,可以准确理解复杂的业务语境,将用户的自然语言准确转化为数据查询,并提供清晰的推理过程展示,确保分析结果的可信度。这些创新有效降低了企业构建 AI 应用的技术门槛,加速了企业数据智能化转型。


云器提出“通用增量计算”的首个行业标准-SPOT


此次发布会,云器展现的一大亮点是增量计算技术——既通过只计算数据变化部分,提升计算效能,保持高性能的同时显著降低计算成本。关涛谈到增量计算技术的巨大潜力,并提出“增量计算将成为继批处理、流计算、交互分析之后的第四代主流计算模式。”特别的,关涛强调了云器在增量计算技术前沿的实践,提出“通用增量计算”概念,旨在让通用计算不再只是于狭窄场景下具备优化意义,而是在更普遍的场景实装,甚至包括对 UDF 的支持。


通用增量计算的定义


作为业界首个提出并落地通用增量计算(Generic Incremental Computing, GIC)技术的企业,云器科技 CTO 关涛在发布会上系统性地阐述了这一创新技术。通用增量计算是一种同时面向高性能和低延迟优化的新计算模式,当上游数据持续变更时,系统只计算数据变化的部分并与之前的查询结果合并,从而以最小的计算成本快速生成最新结果。不同于传统流计算中的增量计算,GIC 采用统一的计算逻辑,可以同时支持批处理、流处理和交互式分析三种场景。



通用增量计算的 SPOT 技术标准


关涛在发布会上公布了行业首个通用增量计算的技术标准——SPOT 技术标准,旨在促进交流推动行业技术创新。



通用增量计算的技术标准-SPOT


SPOT 标准:

  • S - Standard SQL with Full Synatx/Semantics

  • P - Performance

  • O - Open Format

  • T - Trande-off seamlessly between T+0 and T+1


CTO 关涛分享了过去几年云器实现通用增量计算技术的经验和实现路径,预告即将在未来向行业公开更多重磅的客户案例。并表示未来几个月内将发布《通用增量计算技术白皮书》,以推动这项技术的发展。


体验开箱即用的云湖仓


试用云器 Lakehouse 产品,可以在不到 5 分钟的时间内完成从注册到运行测试 SQL 的全过程。除了能够快速分析数据,观察云器 Lakehouse 的数据导入、运维、管理等功能,可以看出它不仅提供一个数据处理分析的引擎,也提供一整套大数据分析平台的组件能力。这是原来在互联网大厂和业内头部数据型企业才能配备的数据处理和管理能力,现在通过注册账号就能获得。


—— 数据技术普惠正在发生。


观看本次发布会的回放,可以访问云器科技官网https://www.yunqi.tech/open2025

2025-01-17 14:4910833

评论

发布
暂无评论

用友自主研发企业商用版TimensionDB时序数据库重磅发布!

用友BIP

数据库 用友iuap 用友技术大会 升级企业数智化底座

Wallys/QSDK/IPQ4019 and IPQ4029 chipsets support 20 km remote transmission

Cindy-wallys

IPQ4019 ipq4029

为什么老有人想让我们“程序员”失业? | 社区征文

不叫猫先生

人工智能 程序人生 ChatGPT 三周年征文

5.10版本的linux内核pgtable_init函数解析

linux大本营

Linux内核

HSM加密机集群&监控方案

白粥

监控 集群 加密机

升级企业数智化底座是数智化2.0阶段的“最优解”

用友BIP

用友iuap 用友技术大会 数智化底座 数智化2.0阶段

c语言把8个char类型的值(char中存放的是16进制值)转换成一个int类型代码

linux大本营

C语言 char int

PVP2多屏幕演示投放软件:PVP2 ProVideoPlayer2 中文版

真大的脸盆

Mac Mac 软件 视频播放器 视频播放

软件测试/测试开发丨uiautomator2 自动化测试工具使用

测试人

软件测试 自动化测试 测试开发 uiautomator

用c++写一段快速排序算法

linux大本营

排序算法 数据结构与算法 C++

5.10版本的linux内核create_boot_cache函数解析

linux大本营

Linux内核

洞见数字时代的创新原力,数云原力大会暨 2023TECH 第五届数字中国技术年会开幕

通明湖

iOS MachineLearning 系列(5)—— 视频中的物体运动追踪

珲少

awk常量和标识符

linux大本营

脚本 awk

用AI赋能基础教育,小度人工智能青竹公开课现已走进6所知名小学

科技热闻

攻防大牛在身边,2023首届阿里云CTF 大赛冠军揭晓

Lily

DataX助力Oracle数据库迁移

白粥

数据迁移 DataX

在 Kubernetes 中实施零信任的七条准则

NGINX开源社区

nginx Kubernetes

软件测试/测试开发丨Linux 常用高频命令

测试人

Linux 软件测试 自动化测试 测试开发

sougou的workflow的10个技术点

linux大本营

workflow 异步框架 C++

5.10版本的linux内核setup_kmalloc_cache_index_table函数解析

linux大本营

内存管理 内存泄漏 Linux内核

如何系统地学习Spring Boot?

博文视点Broadview

从“捐赠”到“接受捐赠”,这背后是openEuler的两次蜕变

Geek_2d6073

耗时72天!终于把GitHub上热度最高的Java面试八股文整理出来了,涵盖多家大厂面试真题

架构师之道

Java 面试

测试Java初学者建议

FunTester

linuxc获取文件内容

linux大本营

Linux

c++生成pdf

linux大本营

C++ libHaru

强强联手:机器学习与运筹学

鼎道智联

算法

设计模式天花板,详解23种设计模式+7大设计原则

小小怪下士

Java 程序员 设计模式

招商基金数字化转型下的研发管理|标杆案例

万事ONES

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用_大数据_InfoQ精选文章