写点什么

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

云器科技

  • 2025-01-17
    北京
  • 本文字数:2106 字

    阅读完需:约 7 分钟

大小:1.05M时长:06:07
重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用

2025 年 1 月 15 日,云器科技举行了云器 Lakehouse 产品开放注册发布会。这标志着这家专注于数据基础设施的科技公司,正式向全球用户开放体验其创新的云湖仓产品。


云器 Lakehouse 开放注册


云器科技 CEO 喻思成宣布云器 Lakehouse 正式开放注册,同时宣布了产品已经完成了在全球七大主流云平台的适配,并且已经在大部分云平台开服。这意味着云器提供了统一的数据底座,让企业可以在异构云环境中获得一致的数据平台体验。


云器 Lakehouse:基于增量计算的云湖仓平台


喻思成表示,十年前“云”让计算像水电一样触手可及,今天云器的开放注册:旨在让数据和 AI 更普惠,像煤气炉一样触手可及——不需要专业团队,不需要开源自建。就是这次云器开放注册的意义,开放注册即所谓 GA—— General Available,就是“你只管写 SQL,其它的交给云器。”



云器 Lakehouse 完成了全球七大主流云平台适配


云器 Lakehouse 产品采用了 Single-Engine 和通用增量计算技术。据云器科技 CTO 关涛介绍,通过深度优化的全 Native C++实现的向量化引擎,并得益于软件、硬件技术、网络技术的突破,Lakehouse 产品表现出多面且优异的性能,以在批处理领域为例,云器 Lakehouse 在标准 TPC-DS 10TB 测试中展现出比开源 Spark 快 10 倍的性能优势。


关涛在发布会上分享了引擎性能突破背后的技术改进项,并逐条解析了性能提升的关键因素:自研的基于 Cascades 模型的 CBO 优化器带来 2 倍性能提升,Native 引擎实现提供 3 倍性能提升,直连调度方案实现 1.3 倍提升,以及默认开启的自动缓存带来 1.3 倍性能提升。此外,云器 Lakehouse 还实现了 MPP 和 BSP 两种调度模式的融合架构,为不同场景提供最优性能。




统一数据、统一引擎、统一体验


在产品能力方面,云器科技 Lakehouse 产品总监曲宁分享了“统一数据、统一引擎、统一体验”的设计理念,并详细分享数据平台的架构设计。曲宁详细介绍了平台的四大核心能力:


  • 全面 Serverless 化的计算服务,支持秒级弹性伸缩

  • 基于增量计算实现统一计算模式,可实现 ETL 链路的大幅简化

  • Data+AI 融合分析能力,支持对企业所有数据资产的统一管理

  • 一体化的开发治理平台 Lakehouse Studio,提供数据团队开发运维数据的全家桶套件


发布数据智能产品功能


值得关注的是,云器科技在此次发布会上还重点展示了数据与 AI 的结合能力。云器科技 AI 产品总监孟硕表示,企业已普遍认识到构建 AI 就绪的知识库系统是当前 AI 投资的最佳切入点。为提升企业数据与 AI 融合能力,云器科技全面升级数据平台,新增 RAG 就绪层,整合向量检索、倒排索引及语义引擎等关键功能。基于升级后的平台架构,推出两款创新应用产品:智能对话式数据分析工具 Lakehouse DataGPT,和智能开发助手 Lakehouse Copilot,两款重要产品功能,致力于让企业数据资产更易于被 AI 利用和访问。


Lakehouse DataGPT 基于云器统一的数据底座,在对话式 BI 分析场景中,可以准确理解复杂的业务语境,将用户的自然语言准确转化为数据查询,并提供清晰的推理过程展示,确保分析结果的可信度。这些创新有效降低了企业构建 AI 应用的技术门槛,加速了企业数据智能化转型。


云器提出“通用增量计算”的首个行业标准-SPOT


此次发布会,云器展现的一大亮点是增量计算技术——既通过只计算数据变化部分,提升计算效能,保持高性能的同时显著降低计算成本。关涛谈到增量计算技术的巨大潜力,并提出“增量计算将成为继批处理、流计算、交互分析之后的第四代主流计算模式。”特别的,关涛强调了云器在增量计算技术前沿的实践,提出“通用增量计算”概念,旨在让通用计算不再只是于狭窄场景下具备优化意义,而是在更普遍的场景实装,甚至包括对 UDF 的支持。


通用增量计算的定义


作为业界首个提出并落地通用增量计算(Generic Incremental Computing, GIC)技术的企业,云器科技 CTO 关涛在发布会上系统性地阐述了这一创新技术。通用增量计算是一种同时面向高性能和低延迟优化的新计算模式,当上游数据持续变更时,系统只计算数据变化的部分并与之前的查询结果合并,从而以最小的计算成本快速生成最新结果。不同于传统流计算中的增量计算,GIC 采用统一的计算逻辑,可以同时支持批处理、流处理和交互式分析三种场景。



通用增量计算的 SPOT 技术标准


关涛在发布会上公布了行业首个通用增量计算的技术标准——SPOT 技术标准,旨在促进交流推动行业技术创新。



通用增量计算的技术标准-SPOT


SPOT 标准:

  • S - Standard SQL with Full Synatx/Semantics

  • P - Performance

  • O - Open Format

  • T - Trande-off seamlessly between T+0 and T+1


CTO 关涛分享了过去几年云器实现通用增量计算技术的经验和实现路径,预告即将在未来向行业公开更多重磅的客户案例。并表示未来几个月内将发布《通用增量计算技术白皮书》,以推动这项技术的发展。


体验开箱即用的云湖仓


试用云器 Lakehouse 产品,可以在不到 5 分钟的时间内完成从注册到运行测试 SQL 的全过程。除了能够快速分析数据,观察云器 Lakehouse 的数据导入、运维、管理等功能,可以看出它不仅提供一个数据处理分析的引擎,也提供一整套大数据分析平台的组件能力。这是原来在互联网大厂和业内头部数据型企业才能配备的数据处理和管理能力,现在通过注册账号就能获得。


—— 数据技术普惠正在发生。


观看本次发布会的回放,可以访问云器科技官网https://www.yunqi.tech/open2025

2025-01-17 14:499

评论

发布
暂无评论

佬技术总监,是这样优化产线MySQL数据库配置的

梦想橡皮擦

5月月更

SAP Marketing Cloud Contact 模型的导入配置和数据合并原理

汪子熙

Cloud SAP 云产品 5月月更

JVM进阶(十四)——初识JAVA 类加载机制

No Silver Bullet

Java 类加载机制 5月月更

Clickhouse:日志表占用大量磁盘空间怎么办?

Ken

Clickhouse 日志表

用了Scrum越来越累?这三点帮你走出困境

华为云开发者联盟

Scrum 团队 估算 计划会议 需求梳理

Spring Boot 输出 Web 请求响应报文

TRAMP

Spring Boot

零元尝鲜|阿里云 Grafana 商业化服务正式发布

阿里巴巴云原生

阿里云 云原生 Grafana 可观测工具

FinClip SaaS 版本重磅上线,打开全行业技术普惠大门

Geek_99967b

SaaS 小程序容器 小程序开发

【C 语言】指针 Four 之[" * & 的应用"、通过指针交换变量值、指针变量的说明、 指针类型的意义(1)、指针类型的意义(2)]

謓泽

5月月更

【刷题第13天】剑指 Offer 06. 从尾到头打印链表

白日梦

5月月更

Nacos源码系列—订阅机制的前因后果(下)

牧小农

源码 nacos

[模块一作业]

wuli洋

基于Keras的视觉结算平台构想

工程师日月

人工智能 keras 5月月更

强化 WordPress 的 11 种有效方法

海拥(haiyong.site)

安全 WordPress 5月月更

天才制造者:独行侠、科技巨头和AI |深度学习崛起十年

OneFlow

人工智能 神经网络 深度学习 DeepMind 开源公司

Fruity Loops Studio20.9中文版水果软件

茶色酒

FL STUDIO20.9 FL Studio

ffmpeg命令参数类型

Loken

音视频 5月月更

从Flutter浅谈跨平台移动开发框架

Geek_99967b

flutter 移动开发 小程序开发

Docker下Java文件上传服务三部曲之一:准备环境

程序员欣宸

Java Docker 5月月更

(win)C、C++处理文件名称

DS小龙哥

5月月更

详解CVE-2022-0847 DirtyPipe漏洞

华为云开发者联盟

安全 漏洞 splice syscall 内存未初始化

带你聚焦GaussDB(DWS)存储时游标使用

华为云开发者联盟

sql 数据处理 GaussDB(DWS) 游标 动态游标

Java Optional 初始为空

HoneyMoose

Druid 连接池源码阅读 08

石小天

[ kitex 源码解读 ] 限流

baiyutang

Go 微服务 云原生 5月月更 kitex

“易+”开源计划丨基于标准 WebRTC 低延迟直播开源实践

网易智企

WebRTC 低延时

Mindmanager2022绿色版本

茶色酒

Mindmanager Mindmanager2022

透过实例demo带你认识gRPC

华为云开发者联盟

spring gRPC 数据编码 请求映射

typeof和instanceof

源字节1号

Android技术分享| Context浅析

anyRTC开发者

android 音视频 WebRTC Context 移动开发

学生管理系统架构设计

Geek_e8bfe4

重磅!云器数据平台即日起免费开放,通用增量计算引擎首次面向全行业试用_大数据_InfoQ精选文章