快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

Data Artisans 发布支持 ACID 事务的流式处理框架 Streaming Ledger

  • 2018-09-17
  • 本文字数:1135 字

    阅读完需:约 4 分钟

data Artisans 宣布推出 Streaming Ledger ,它扩展了 Apache Flink,提供了跨表、键和事件流执行可序列化 ACID 事务的功能。这项正在申请专利的技术是 Flink 的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。

在发布 Streaming Ledger 之前,流式处理框架(如 Flink 和 Spark)只提供一次性语义,只能在单个键上实现一致性。然而,随着 data Artisans Streaming Ledger 的发布,Flink 现在允许跨越事件状态边界,同时仍然能够保证 ACID 事务。ACID 是事务系统关键组件的首字母缩写。

原子性:事务以原子方式应用所有更改,事务函数要么执行全部修改或不执行任何修改。

一致性:事务函数将表从一个一致状态带入另一个一致状态。

隔离:执行事务时,就好像当前事务是在表上运行的唯一事务。

持久性:事务所做的更改是持久的,永远不会丢失。

根据 ACID 原则实现的事务作为单个操作执行,要么全部完成要么全部失败。这确保了数据一致性,即使是发生了中断或应用程序错误。ACID 事务的一个常用例子是将资金从一个银行账户转移到另一个银行账户。虽然 Streaming Ledger 是流式处理框架中第一个实现 ACID 事务的,但 ACID 事务已经在 SQL Server 和 Oracle 等关系数据库系统中存在了很长时间。

来源:Data Artisans Streaming Ledger 白皮书

Artisans 公司由开源流式处理框架 Apache Flink 的原作者创建,提供了一个流式处理基础设施,其中包括数据 Artisans Platform,也称为 dA 平台。该平台由 Apache Flink、dA 应用程序管理器和 Streaming Ledger 组成。该公司专注于流式处理领域,WSO2 研究副总裁 Srinath Perera 将其描述为一种大数据技术,允许查询数据流并基于信息做出决策。

流式处理是一种大数据技术。它让用户能够在接收数据之后的一小段时间内快速查询持续数据流并检测条件。检测时间段可以从几毫秒到几分钟不等。例如,通过流式处理,你可以查询温度传感器的数据流并检测温度何时达到冰点,以便接收警报。

data Artisans 还发布了一份白皮书,介绍了 Streaming Ledger 的细节和架构。例如,我们发现该架构由四个基本构建块组成。用于维护应用程序状态的表、用于更新表的事务函数、驱动事务的事务事件流和根据流处理成功或失败发出事件的可选结果流。此外,在事务中修改表时,表与并发更改是相互隔离的。因此,即使是跨多个流,也可以确保数据一致性。

来源:Data Artisans Streaming Ledger 白皮书

Data Artisans 还提供了一个 GitHub 存储库,可以从源代码构建 Streaming Ledger 或从 Maven Central 中获取它。此外,存储库还提供了几个入门示例,如 SimpleTrade 示例,演示了如何使用 Streaming Ledger。

查看英文原文 Data Artisans Announces Serializable ACID Transactions on Streaming Data

2018-09-17 19:001457
用户头像

发布了 731 篇内容, 共 446.8 次阅读, 收获喜欢 2001 次。

关注

评论

发布
暂无评论
发现更多内容

Menuwhere for Mac(菜单栏工具) v2.2.2免激活版

iMac小白

从《繁花》看图数据库的关联力!

博文视点Broadview

如何做代币分析:以 USDC 币为例

Footprint Analytics

blockchain Token

释放全球互连的数字潜力!MWC 2024云网高峰论坛召开,中国电信天翼云扬帆起航!

天翼云开发者社区

云计算 峰会 世界移动通信大会

好物期刊#1:我每天都使用的在线工具

JavaPub

程序员 计算机 在线工具

钉钉如何通过AppLink快速连接仓储系统

RestCloud

钉钉 APPlink 自动化集成 仓储系统

Sermant运行流程学习笔记,速来抄作业

华为云开发者联盟

开发 华为云 华为云开发者联盟 sermant

应用监控 eBPF 版:实现 Golang 微服务的无侵入应用监控

阿里巴巴云原生

阿里云 云原生 应用监控

LLM 推理优化探微 (2) :Transformer 模型 KV 缓存技术详解

Baihai IDP

程序员 AI LLM 白海科技 KV缓存

向“新”而行,以科技创新培育新质生产力!

天翼云开发者社区

人工智能 云计算 算力

SD-WAN: 灵活部署,助力云服务

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

NineData云原生智能数据管理平台新功能发布|2024年2月版

NineData

MySQL 数据复制 tdsql NineData GaiaDB

IT外包对企业业务流程整合有什么帮助?

Ogcloud

IT IT外包 IT外包公司 IT外包服务

开发者分享:利用 EMQX Cloud 与 ESP32 微控制器实现智能液冷散热系统

EMQ映云科技

mqtt mqtt broker

Vocabulary

EchoZhou

数字先锋| 上云!让“媒”好“发声”

天翼云开发者社区

云计算 网络 上云

Starknet(strk) 跨链桥教程:手把手教你用bitget钱包跨链

威廉META

淘宝1688京东...商品详情API接口(属性,详情图,价格,sku评价等接口)可高并发批量采集

Anzexi58

API 文档

利用API接口进行竞品价格监控的综合指南

Noah

如何基于容器网络流量指标进行弹性伸缩

华为云开发者联盟

容器 开发 华为云 华为云开发者联盟

淘宝天猫详情接口API:快速实现商品信息查询和展示

联讯数据

软件测试学习笔记丨WebSocket原理&使用

测试人

软件测试 测试开发

IT外包提升企业灵活性与敏捷性

Ogcloud

IT IT外包 IT外包公司 IT外包服务

Cycling 74 Max for Mac(音乐可视化编程软件) v8.6.1激活版

iMac小白

如何做代币分析:以 LDO 币为例

Footprint Analytics

blockchain Token LDO

如何使用香山之香山工具详解:difftest应用及配合波形检验

源芯

芯片设计 risc-v 开源芯片 高性能处理器香山

金融信创湖仓一体数据平台架构实践

数新网络官方账号

金融 信创 数据平台 湖仓一体

小程序技术实践:如何快速开发适配鸿蒙的App

Geek_2305a8

前端的你常用的编程语言有哪些?

小齐写代码

广州孚瑞经营改善 企业经营持续增长方案提供商

广东孚瑞经营改善

精益生产

Data Artisans发布支持ACID事务的流式处理框架Streaming Ledger_DevOps & 平台工程_Eldert Grootenboer_InfoQ精选文章