9 月 13 日,2025 Inclusion・外滩大会「开源嘉年华」正在限量报名中! 了解详情
写点什么

文件系统事务——仍然是一个棘手的领域吗?

  • 2008-01-15
  • 本文字数:2048 字

    阅读完需:约 7 分钟

过去,事务处理系统主要甚或完全依赖于数据库来处理那些要求事务性的 IO 行为的 ACID 各方面。无论库 / 框架、语言,或者文件系统级别,对文件系统操作事务的支持一直都很薄弱。最近,情况开始显示出改进的迹象。

虽然单独看某些文件系统操作(文件重命名、删除等),它们是原子的,但是到目前为止,很少有解决办法能够形成一组综合的 API,全方位地支持事务性的文件 IO 操作。如果文件操作(例如创建、修改、重命名、删除文件)需要作为事务的一部分而连贯地执行,那么应用程序往往必须依赖于自行设计的方案,去减少系统 / 应用失败或并发访问时出现不一致状态的可能性。

如果能使文件系统的事务支持更加健壮、全面,许多类型的应用都会受益:

  • 办公软件(文字处理软件、电子制表软件等)——其中有大量的读、写、删除文件操作被执行
  • 安装程序——如果发生失败或错误,这些软件可要求还原到最初的文件系统状态
  • 不要求像 SQL 那么强大的搜索功能的应用——相较于数据库,如果这些应用把数据存储在简单文件(flat files)中,也许能更快
  • 文档和内容管理系统——它们大量使用文件 IO 操作

在这个领域,最显著的一些发展成果有:

在 MSDN Magazine 的一篇文章里,Jason Olson(微软的技术布道者)解释了 TxF的主要特征,TxF 是一个将处理文件操作事务的设想引入到 Windows Vista 和下个 Windows Server 版本“Longhorn”的新特性。按照 Jason 的意思,TxF 的主要目标是:

提高应用稳定性;

事务性 NTFS 通过减少或消除应用中需要编写和维护的错误处理代码的数量,使应用获得更好的稳定性。这最终减少了应用的复杂度,并使应用更易于测试……没有事务性文件操作,要想防范每一个可能失败的场景几乎是不可能的,处理过程中的任何时刻操作系统都有可能失败。

提高平台稳定性:

……微软正在自己的产品中使用 TxF 来达到这一目标。目前 Windows Vista 和 Windows Server “Longhorn”中有三个核心的功能用到了事务性 NTFS:Windows 自动更新、系统还原、以及计划任务。它们都利用 TxF 在一个事务内往文件系统中写文件,以在出现任何异常(例如由于断电导致的系统重启)时能处理回滚 / 提交。

增加创新:

TxF 提供了一个不需要 SQL 调用就能使用事务的框架,这是对创新的推动。最终,事务性 NTFS 能根本改变开发人员编写应用程序的方式,让他们构建出更加健壮的代码。通过在设计里面结合事务,你编写代码的时候就不用时时防范每一个可能发生的失败。

由于 TxF 建立在内核事务管理器(Kernel Transaction Manager,KTM)之上,并且 KTM 能直接与 Microsoft 分布式事务协调器(Microsoft Distributed Transaction Coordinator)合作。Jason 描述到,事务性文件操作可以和其他使用 XA-Transactions 的技术并用,包括 SQL 操作、通过 WS-Atomic Transaction 或者 MSMQ 操作进行的 Web Service 调用——从而使文件系统也参与到 XA Transactions 之中。

Vista 和 Longhorn 的 Transactional Registry 中也实现了类似于 TxF 的设想。关于潜在性能影响,文章中也提到:“TxF 是严格的付费运转(pay-to-play)模式。如果你不使用处理事务性的文件操作,就不会有而外的代价”。他补充说,TxF 是为提交而优化的。

Apache 的Commons Transaction项目的目标之一是提供对文件系统的事务性访问,它的实现方式是与具体的文件系统提供者 / 实现无关的。这个 Java 库用一种悲观锁定方案来实现文件系统上的 ACID 事务。 myjavatricks.com 上的一篇博客介绍了 Commons Transactions 的几个概念,以及以事务的方式执行基本文件操作的几个 Java 例子。

Commons Transaction 的核心组件是 FileResourceManager,FileResourceManager 创建事务、协调它掌管下的资源 / 文件的文件操作——复制、创建、删除、移动、写入,以及准备和提交事务。在初始化阶段要为 FileResourceManager 准备:

  • 提交之后存放主要数据的目录
  • 事务存储临时数据的目录(工作目录)
  • 指示是否要对路径进行 URL 编码的布尔标记
  • FileResourceManager 使用的日志器(logger)

启动之后,FileResourceManager 紧接着将试图回滚所有未完成的事务,除非事务在系统失败或者 FileResourceManager 遇到不可挽回的问题时已经在提交的过程中了,在这种情况下,FileResourceManager 会试图前滚事务。万一事务不能恢复,例如既不能回滚、也不能前滚,整个工作目录会由 FileResourceManger 标记为“脏”状态,在问题解决之前都不再允许对其进行修改。日志中的信息通常都可以帮助从“脏”状态进行手动恢复。

尽管 Commons Transaction 不能使一个文件系统变成符合 XA 的资源,但是在博客作者看来,如果你的应用程序需要文件系统事务,这个库“很可能比你自己能搞出来的任何自定义机制都要好”。

尽管要使文件系统中的事务达到与数据库相似的程度还有很长的一段路要走,但是至少已经有一些实现开始形成,并且打算在这个棘手的领域为开发者提供更切实可行的解决方案。

查看英文原文: File System Transactions - still a problem area?

2008-01-15 18:3811983
用户头像

发布了 151 篇内容, 共 67.5 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

百度程序员开发避坑指南(3)

百度Geek说

前端

2022观测云产品发布会前瞻:这是一份给IT工程师们的礼物

观测云

开源分布式图数据库的思考和实践

NebulaGraph

图数据库 知识图谱

ironSource 发行解决方案 Supersonic 两周年,游戏全球下载量突破 20 亿

极客天地

如何成为更好的AI专业人员?请查收这7条实战经验

Baihai IDP

人工智能 算法 数据科学

数据挖掘:针对小样本与不均衡样本的机器学习算法实践

鲸品堂

数据挖掘

P5直升P7!“阿里爸爸”最新出品年薪30W~120WJava架构师学习路线

Java全栈架构师

程序人生 IT java程序员 java面试 java架构

Cisco Nexus L2 Switch 进行 vPC 和 L3 改造以支持 K8S 部署

Qunar技术沙龙

#运维

Kernel SIG直播:让人头疼的“内核内存被改”和“内存泄露”怎么解?|第13期

OpenAnolis小助手

直播 内核 龙蜥社区 sig 龙蜥大讲堂

《对话ACE》第二期:新数据库时代,DBA发展之路该如何选择

OceanBase 数据库

dba oceanbase

四川数字经济发展分析:四川21市州数字经济发展活跃度解密

易观分析

数字化转型 数字化经济

Pulsar Summit Asia 2021|Pulsar在移动云智能运维平台的实践

移动云大数据

pulsar

netty系列之:netty中的frame解码器

程序那些事

Netty 程序那些事 java 4月月更

公司产品手册的编写方法

小炮

企业 产品宣传手册

恒源云(Gpushare)_炼丹萌新指南,这次错不了!

恒源云

深度学习 GPU算力 算法训练

测试权限

石子头

百度工程师教你快速提升研发效率小技巧

百度Geek说

前端

搭建一个可视化看板,仅需4步

阿里云云效

云计算 阿里云 看板 研发团队 可视化看板

知名固件供应商百敖软件加入龙蜥社区

OpenAnolis小助手

开源 生态 龙蜥社区 CLA 百敖软件

使用ORM与原始SQL的性能对比

杨彦星

Python MySQL sanic

ArduBee|开源技术背后的创新

科技热闻

多方安全计算升级数据治理技术体系需考虑数据源合规性等

易观分析

多方安全计算

【技术加油站】浅谈百度智能测试的三个阶段

百度Geek说

测试

不解决好这 3 大矛盾,就别搞 DevOps 了

飞算JavaAI开发助手

详解离线数仓和实时数仓的区别

五分钟学大数据

4月月更

TiDB源码系列之沉浸式编译TiDB

TiDB 社区干货传送门

2022年4月中国数据库排行榜:华为GaussDB 挺进前四,榜单前八得分扶摇直上

墨天轮

数据库 国产数据库 达梦 人大金仓 gbase8a

架构实战营模块九毕业项目

刘洋

#架构实战营 架构师实战营 「架构实战营」

SVGIcon 组件的构建与使用

全象云低代码

前端 低代码 SVG 低代码平台 图标库

4. 堪比JMeter的.Net压测工具 - Crank 进阶篇 - 认识wrk、wrk2

MASA技术团队

C# .net 微软 测试 压测

基于云效Flow配置 Jenkins 源

阿里云云效

云计算 阿里云 运维 jenkins、 jenkins高级用法

文件系统事务——仍然是一个棘手的领域吗?_Java_Alexander Olaru_InfoQ精选文章