QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

官宣!开源 Delta Lake 正式加入 Linux 基金会,共同打造数据湖开放标准

  • 2019-10-16
  • 本文字数:1360 字

    阅读完需:约 4 分钟

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准

今天,在荷兰阿姆斯特丹举行的 Spark+AI 欧洲峰会上,DataBricks 和Linux基金会联合宣布,开源项目Delta Lake正式成为 Linux 基金会的托管项目。



Delta Lake 由 Databricks 在今年年初开源,该项目旨在与社区共同打造一个开放标准,以管理数据湖中的大量数据,并不断提高数据湖的可靠性、质量和性能(关于 Delta Lake 的更多技术特性可以参考 InfoQ 早前的报道《Databricks 开源存储层 Delta Lake,欲取代传统数据湖》)。成为 Linux 基金会项目后,Delta Lake 原来采用的 Apache 2.0 开源许可将保持不变。目前 Delta Lake 已经被成千上万的组织采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其开源生态一员。为了进一步推动 Delta Lake 开原生态的发展,让更多开发者和企业采用 Delta Lake 并参与贡献项目代码,Databricks 决定让 Delta Lake 成为 Linux 基金会的托管项目并使用开放式的治理模式。


如今,每个公司都希望通过数据科学、机器学习和分析等手段从数据中获得更多价值,但由于数据湖中数据可靠性较差,从数据中获取价值的难度极大。Delta Lake 通过为 Apache Spark 和其他大数据引擎提供可伸缩的 ACID 事务,让用户可以基于 HDFS 和云存储构建可靠的数据湖。自 2017 年 10 月推出以来,Delta Lake 已被四千多家组织采用,每月处理超过 2 exabytes 的数据。


“将 Delta Lake 引入 Linux 基金会这样的中立组织,将有助于开源社区更好地基于该项目开发解决大数据(本地和云端)存储和处理问题的技术,”Linux 基金会战略计划副总裁 Michael Dolan 说,“ Linux 基金会致力于帮助开源社区采用开放治理模式来实现广泛的行业贡献和共识建立,这将有助于改善当前数据存储和可靠性相关技术。”


Databricks 的联合创始人也是开源项目 Apache Spark 的创始成员,如今 Spark 早已成为大规模数据处理的事实标准。Databricks 的首席执行官兼联合创始人 Ali Ghodsi 对 Delta Lake 项目再次经历这一旅程感到兴奋。“我们的团队一直致力于创建开源项目并为之做出贡献,因为我们知道这是最快、最好的创新方式。为了解决不同组织在数据方面的挑战,我们希望保证 Delta Lake 项目真正彻底地开源。借助 Linux 基金会社区的力量和贡献,我们相信 Delta Lake 很快就会成为数据湖中数据存储的标准。


尽管 Delta Lake 最初是为了与 Apache Spark 配合使用而设计的,但如今 Delta Lake 已经构建了一个更加开放且蓬勃发展的社区,且增加了对其他开源数据系统的支持。


阿里巴巴大数据/人工智能副总裁贾扬清表示:


“作为主要的云计算提供商,阿里巴巴一直是各种开源项目(尤其在大数据和 AI 领域)的领导者、贡献者、使用者和支持者。我们一直在与 Databricks 合作开发 Delta Lake 的原生 Hive 连接器,我们非常高兴看到该项目加入 Linux 基金会。我们将继续推动 Delta Lake 开源社区的发展并为之做出贡献。”


英特尔架构、图形和软件副总裁兼机器学习性能总经理李伟(Wei Li)表示:


“英特尔与 Databricks 已经合作了非常长时间,我们共同致力于通过创新的数据分析和 AI 解决方案推动 Apache Spark 技术的发展,并帮助企业做好准备。Databricks 贡献给 Linux 基金会的 Delta Lake 项目是一项相当重要的开源存储技术,可以帮助采用者提高数据湖的可靠性。我们期待加入 Delta Lake 项目,并继续与 Databricks 和 Apache 社区进行合作。”


2019-10-16 18:485382
用户头像
蔡芳芳 InfoQ主编

发布了 804 篇内容, 共 574.6 次阅读, 收获喜欢 2799 次。

关注

评论 1 条评论

发布
用户头像
关于为什么Delta Lake没有选择加入Apache基金会,我们也专门询问了Databricks的同学,得到的答复是“近期Apache基金会政治氛围有点浓厚”,并且本质上Linux基金会的Cloud属性更强。

It’s interesting to see Databricks choose the Linux Foundation for this project, given that its roots are in the Apache Foundation. “We’re super excited to partner with them,” Ghodsi said about why the company chose the Linux Foundation. “They run the biggest projects on the planet, including the Linux project but also a lot of cloud projects. The cloud-native stuff is all in the Linux Foundation.”
展开
2019-10-17 10:34
回复
没有更多了
发现更多内容

RabbitMQ基础知识

龙空白白

RabbitMQ

准备好迁移上云了?请收下这份迁移步骤清单

龙智—DevSecOps解决方案

迁移计划 迁移上云计划 迁移上云步骤 上云步骤清单 云迁移策略

如何使用物联网低代码平台进行流程管理?

AIRIOT

低代码 物联网,

直播分享| 腾讯云 MongoDB 智能诊断及性能优化实践

MongoDB中文社区

mongodb

好用的人事管理软件有哪些?人事管理系统软件排名!

优秀

企业管理软件 OA管理系统

八大误区,逐个击破(终篇):云难以扩展、定制性差,还会让管理员失去控制权?

龙智—DevSecOps解决方案

Atlassian 云版 版本选择 迁移上云

脚本之美│VBS 入门交互实战

Windows Server 6月月更 VBS 脚本之美

为什么你的数据图谱分析图上只显示一个值?

清林情报分析师

数据分析 可视化 知识图谱 三元组 情报分析

活动报名 | MongoDB 5.0 时序存储特性介绍

MongoDB中文社区

mongodb

应用实践 | Apache Doris 整合 Iceberg + Flink CDC 构建实时湖仓一体的联邦查询分析架构

SelectDB

数据库 flink Doris iceberg

火线沙龙第26期-多云安全专场

腾源会

如何轻松快速构建区块链应用?技术大牛带来一线技术实践分享

腾源会

小程序容器到底是什么

Geek_99967b

区块哈希竞猜游戏系统开发(dapp)

薇電13242772558

哈希值

如何通过7个步骤编写出色的在线用户手册

小炮

直播回顾 | 云原生混部系统 Koordinator 架构详解(附完整PPT)

阿里巴巴云原生

阿里云 架构 云原生 混部 Koordinator

Fabric.js 手动加粗文本iText

德育处主任

canvas FabricJS 6月月更

JDBC 在性能测试中的应用

阿里巴巴云原生

阿里云 云原生 JDBC 压测

游戏资产复用:更快找到所需游戏资产的新方法

龙智—DevSecOps解决方案

游戏开发 游戏资产 艾尔登法环 游戏资产复用

远程办公之:如何成为时间管理大师?| 社区征文

甜甜的白桃

初夏征文

Flutter中的GetX状态管理用起来真的那么香吗?

岛上码农

flutter ios 移动端开发 安卓开发 6月月更

SLSA: 成功SBOM的促进剂

安势信息

开源 开源软件供应链 软件物料清单 SBOM SLSA

微信视频号如何用 PC 电脑做直播?

boshi

直播 视频号

Helix QAC更新至2022.1版本,将持续提供高标准合规覆盖率

龙智—DevSecOps解决方案

C语言 静态代码分析 Helix QAC 代码合规率 代码合规

在宇宙的眼眸下,如何正确地关心东数西算?

脑极体

学C++还是学Java?做软件研发还需掌握哪些知识和技能?

dvlinker

Java c++ 数据库 网络知识 汇编代码

RabbitMQ访问Web端口报错User can only log in via localhost

龙空白白

openGauss Developer Day 2022正式开启,与开发者共建开源数据库根社区

开发协同,高效管理 | 社区征文

武师叔

初夏征文

混沌工程,了解一下

华为云开发者联盟

云计算 测试 后端 混沌工程 华为云

Python 设计模式:适配器模式

宇宙之一粟

设计模式 适配器模式 6月月更

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准_大数据_蔡芳芳_InfoQ精选文章