速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

当前 SOA 实施中的批处理

  • 2009-02-15
  • 本文字数:1773 字

    阅读完需:约 6 分钟

相比于时髦的“SOA”,“批处理”略显老气。然而,这决不意味着“批处理”就属于那种该被历史遗弃的技术。相反,在当今企业 IT 系统的许多地方,“批处理”依旧发挥着其重要的作用。这一点在 OLAP 系统中体现得尤为突出。一个典型的批处理场景就是:定期从 OLTP 系统中将数据 ETL 至 OLAP 之中,然后产生报表数据。考虑到许多商业决策都要基于这类分析报表来制定,它的重要性可想而知。对于“批处理为何依旧存在?”这一问题,ZapThink 的分析师 Ronald Schmelzer 在其文章中给出了他的看法:

当今,批处理依旧十分重要的一个关键原因是:缺乏一种有效的方法,在每次业务处理单个事件(如输入的客户订单)的时候,重新产生一份完整的预报或商业计划。

既然批处理的历史使命仍在延续,在企业实施 SOA 的时候,对于它的考虑自然在所难免。此外,世上并没有一成不变的东西,批处理也不例外。Ronald Schmelzer 在谈到批处理的演变时,这样写道:

这么多年来,批处理技术已经由基于脚本的自动化发展到了由规则或策略驱动的工作负荷自动化(workload automation)。 ……当今批处理正在由静态、往往是单独的处理,转变成应用或组合业务流程的一个动态组件。其目标可能包括提高反应速度、增加公司的透明度,以及为 IT 采用一种更加以业务为中心和合规驱动(compliance-driven)的方式管理其运营提供支持。

将批处理暴露为服务是实现以上目标的前提。Ronald Schmelzer 表示,虽然服务给人的第一印象是暴露业务流程、数据处理或应用功能,但是它们也非常适合暴露驱动批处理。同时,他还认为,面向服务的批处理可以实现按需执行,而不必像传统的那样按时执行。

从面向服务的观点来看,其服务契约和策略必须指明:批处理在一天内能执行多少次,每次执行所花时间,以及其他服务或数据依赖。

针对 Ronald Schmelzer 的文章,Loraine Lawson 这样评论

Schmelzer 的文章主要集中在“服务支持的批处理是如何给实时组织提供帮助的”。它重点论述了其好处,但我期望他能花些时间看看可能存在的缺陷。例如,尽管他讨论了确保批处理服务符合企业和 IT 规则,但对这如何在现实生活中发生却言之甚少。

Loraine Lawson 在其文章结尾引用了 Gartner 研究副总裁 Dale Vecchio 的文章:融合 SOA 和批处理应用(Mixing SOA and Batch Apps),后者认为,结合 SOA 和批处理应用之后,性能上有可能会受到负面影响。

就历史经验来说,批处理工作是在头天晚上某个预定义时间段内处理大量的数据。如果服务调用引入某种程度的延迟或戏剧性的性能干扰,那么批处理就无法及时完成。在整个工作日的时段内都发生会交易量,尽管任何组织都会有碰到峰值处理的时候,但批处理中的工作量和有限的时间段并未给错误留出多余的空间。

关于如何在 SOA 中实际应用批处理,这篇文章给出了来自 IBM 软件实验室的 Sridhar Sudarsan 的经验。Sudarsan 认为企业在改造批处理的过程中常常犯的几个错误包括:建立过于复杂的框架、过多使用第三方库、对批处理系统知识的缺乏(随着这些系统的开发者相继退休,熟悉这些系统的人也变得越来越少)。

至于从实践中学到的最佳实践,Sudarsan 给出了:

  • 在编码之前先详细了解批处理的业务逻辑,不要仅仅进行代码翻译工作。否则,你将得到脆弱、难以维护的代码。
  • 速度优于可移植性,尽量让处理接近于系统。并认为“单纯的数据处理或 ETL 类处理最好在数据层而不是在对象层进行”。
  • 以高效的数据访问为目标。在设计数据模型时需要考虑:
    • 缓存
    • 把只读数据和更新数据分开
    • 全局文件系统
    • 数据分区、转移
    • 复制
    • 批量访问和一次访问一条记录
    • 并发性 / 竞争性 / 一致性
    • 数据联邦 / 转换 / 虚拟化
    • 说明数据内容和工作需要的声明方式
  • 将数据放在离应用层近的地方,以改善吞吐量

文章最后结束了 Sudarsan 提出的迁移四步骤:

  • 在使用 Java 实现时,询问某一特殊步骤是否应该被实现成为特殊的批处理功能。可能是合并,也可能是要拆分。这部分时间应该占整体实现时间的 10%。
  • 找出批处理功能的组件:数据流、逻辑、检查点和相关的任务控制参数。这应该花你 30% 的时间。
  • 写出独立于批处理容器的逻辑;提供批处理应用要调用的 API。这应该花你 20% 的时间。
  • 测试(单元测试、性能测试和伸缩性测试)。这应该花你 40% 的时间。

很明显,就现在的技术水平,不可能将批处理全部废除,而批处理技术本身也在与时俱进。相信在相当长的一段时间内,批处理和 SOA 应该和谐的相处在一起。

2009-02-15 22:021198
用户头像

发布了 255 篇内容, 共 57.4 次阅读, 收获喜欢 10 次。

关注

评论

发布
暂无评论
发现更多内容

Android 10手势导航的侧滑返回效果优化策略,2021最新Android大厂面试真题大全

android 程序员 移动开发

OpenSearch 文档中文本地化

HoneyMoose

Android WebView常见问题,androidim开发

android 程序员 移动开发

Android jetpack最佳总结和实践,安卓面试题宝典app

android 程序员 移动开发

android webview与js交互(动态添加js),【好文推荐

android 程序员 移动开发

Android JPEG 压缩那些事,深入解析Android-AutoLayout

android 程序员 移动开发

Android 使用 Kotlin 重写 Gradle 文件,kotlin教程

android 程序员 移动开发

Android AOSP 6,flutter面试题

android 程序员 移动开发

Android Gradle 学习笔记整理,阿里Android面试必问

android 程序员 移动开发

Android Gradle 干货,sharedpreferences跨进程

android 程序员 移动开发

Android 11适配指南之系统相机拍照、打开相册,Android开发两年

android 程序员 移动开发

Android NDK 开发之 CMake 必知必会,程序员必须要了解的知识点

android 程序员 移动开发

Android WebView独立进程解决方案,手撕面试官

android 程序员 移动开发

Android AutoService 组件化,android完整项目源码

android 程序员 移动开发

Android BLE基础框架全新改版,android音视频开发面试题

android 程序员 移动开发

Android mvvm 之 LiveData 的原理,如何保证高可用

android 程序员 移动开发

Android 11 中的存储机制更新,android项目开发实战入门光盘文件

android 程序员 移动开发

Android 9,flutter安装教程2019

android 程序员 移动开发

OpenSearch 文档如何部署到 GitHub Page 中

HoneyMoose

Android Manifest功能与权限描述大全,阿里大牛整理

android 程序员 移动开发

Android MVP模式深入实践探索(一),移动开发工程师简历

android 程序员 移动开发

Android P 网络请求相关总结,flutter二维码扫描插件

android 程序员 移动开发

Android ViewPager2 & TabLayout,那些被大厂优化的程序员们

android 程序员 移动开发

Android Gradle 常用配置,androidsdk环境配置

android 程序员 移动开发

Android Handler源码浅析,一线互联网架构师筑基必备技能之Android篇

android 程序员 移动开发

Android Matrix矩阵,一个Android程序员的面试心得

android 程序员 移动开发

Android Protobuf应用及原理,android输入法开发软键盘切换

android 程序员 移动开发

Android Studio 3,2021Android面试真题精选干货整理

android 程序员 移动开发

Android Studio自定义模板实现一键创建MVP结构,已拿到offer

android 程序员 移动开发

Android WebView独立进程解决方案(1),flutter推送通知

android 程序员 移动开发

Android 关于CPU类型的so文件兼容问题(ABI),十年Android编程开发生涯

android 程序员 移动开发

当前SOA实施中的批处理_SOA_胡键_InfoQ精选文章