写点什么

Esper 近况:事件流处理框架

  • 2007-10-15
  • 本文字数:1703 字

    阅读完需:约 6 分钟

Esper( InfoQ 曾在一年前报道其 1.0 版本的发布消息)是一个事件流处理(Event Stream Processing,ESP)和复杂事件处理(Complex Event Processing,CEP)的系统,它可以监测事件流并当特定事件发生时触发某些行动——可看作是把数据库反过来,语句是固定的,而数据流进进出出。事件处理是软件行业的一个发展趋势,已有数家大厂商以及许多初创企业加入到该市场中。其常有的应用例子包括系统自动交易、BAM、RFID、高级监测系统、欺诈检测,甚至直接集成进 SOA。InfoQ 恰遇 Esper 的创始人,向他了解了项目的近况,以及最近的基准测试问题。

如 Esper 开发小组所说,Esper 现在是仅有的纯 Java 开源 ESP/CEP 引擎,由 EsperTech 公司提供商业支持服务,而这个公司也在维护一个同样的.Net 项目。

BEA 得到了 Esper 授权,将在修改后在加入到六月发布的 WebLogic Event Server 中。根据多方面的反馈,Thomas 跟 InfoQ 谈道:

我相信 Esper 在 BEA 的产品中占一席位的事实,在多个方面都有助于 Esper 的发展。首先,我们所获得的反馈的声音对于 Esper 的改进有很重要的作用。其次,BEA 的产品从总体上提高了 CEP/ESP 技术的知名度,并且因此扩大了市场的共识。第三,这是 Esper 技术的开放性,可扩展性,适应企业级应用的最好的证明。Esper 社区和用户群都真的为此而感到自豪。

随着市场空间的扩大,多种实现之间出现的竞争,标准化能给该行业带来一定的好处。Thomas 对 CEP 语言标准化的潜力和背景作了评价:

CEP 社区显然把 CEP 和 ESP 看作是互补的,并且认为其他手段(如贝叶斯网络或神经网络)也可应用于 CEP 的问题。由于存在各种实现技术,各厂商又各执己见,ANSI SQL 标准化委员会在扩展 SQL 基础上所提供的“行序列的模式匹配”似乎成为最重要的曙光。对于这个初步的课题当然会有进一步的研究,并且标准化很可能会超出 ESP/CEP 语言标准化的范围。

Esper 近期最突出的消息是在八月中旬发布了一个性能基准测试工具及公布了性能测试结果

Esper 在双 2GHz CPU 的 Intel 系统测试环境下,处理超过 500 000 个事件 / 秒;在 VWAP 基准测试中在有 1000 语句的情况下,引擎延时平均小于 3 微妙(在 10us 时超过 99% 的预测准确率)——最高时有 70 Mbit/s 流量并占用 85% 的 CPU 资源。

虽然这个基准测试是基于一个相当简单的用例,其发表的目的是震动整个行业,因为它提供了完整的工具集来重现测试结果。Esper 事件服务器监听远端客户端通过网络传送过来的股票市场事件信息。Esper 引擎是通过一个滑动的时间窗口或事件窗口,来实时计算输入信息的成交量加权平均价。当被问及该基准测试的必要性时,Esper 回应道:

整个 CEP 市场已被含糊不清的信息所包围,每个厂商都在各自的宣传单上做文章,避开详细地交待实际性能和延时。在这个领域中还没有对它们作比较的基准测试。在这个行业中含糊的性能信息已经受到 Progress Apama 其他人的批评。以下是来自于 Apama 的博客中的抱怨的声音:

……Skyler 处理速度高达 200,000 条 / 秒……主要特征:Coral8 每秒处理从数千到百万计的事件……StreamBase 性能领先,每秒处理超过 1 百万个事件,反应时间接近零……Aleri Labs 打破了亚毫秒反应时间的障碍……

Apama 自己也说过“一个能处理数千事件每秒的高性能、可伸缩的引擎”这种话。同样的措词在BEA 也能找到, WebLogic Event Server 公告了似乎较差但较为精确的指标“当我们的产品准备好,它将提供 50,000 复杂事件/秒的处理速度”。那些测试结果似乎确定了在这个领域里“数十万”事件每秒是普遍的,毫无例外。同时也正显示了 Esper在特定场景中的性能表现。它同样给了用户群有价值的工具来更好地得知实际性能,而不是听信厂商任意的令人充满疑惑的宣传,对有价值的开源软件普遍怀有的偏见。

Esper 小组已经在其 wiki 上发布了所有运行的详情,并且已更新了网页的性能部分和性能最佳实践部分。另一个基准测试的来源是最近成立的STAC 基准测试委员会,该委员会的目的是为技术的交易而提供由客户推动的基准测试标准。

请点击这里获取InfoQ 之前有关Esper 和CEP 背景的相关报道: http://infoq.com/esper

查看英文原文: Catching up with Esper: Event Stream Processing Framework

2007-10-15 21:0017589
用户头像

发布了 27 篇内容, 共 10.0 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

马志强:语音识别技术研究进展和应用落地分享丨RTC Dev Meetup

声网

音视频 语音识别

流程测试支持批量参数导入,测试效率直接拉满!

Xd

数据库 后端 接口测试 测试工具

Google搜索为什么不能无限分页?

蝉沐风

elasticsearch 深度分页

互联网公司研发效能团队为啥必须独立?何时独立?

laofo

互联网 DevOps cicd 研发效能 工程效率

企业无忧 | Apipost私有化部署活动即将火热开启

Xd

后端 apipost 接口测试工具

Django API 开发:视图设置和路由

宇宙之一粟

django 6月月更

知识图谱、图数据平台、图技术如何助力零售业飞速发展

GPU算力

图计算 图数据分析 图数据一体机

ES6新特性class类

大熊G

JavaScript 前端 6月月更

运算符 (第二天)

Jason199

运算符 js 6月月更

SpringBoot应用使用自定义的ApplicationContext实现类

程序员欣宸

Java spring springboot Spring Framework 6月月更

『Three.js』起飞!

德育处主任

JavaScript canvas 前端可视化 three.js 6月月更

如何在使用 Flutter时切换应用时隐藏应用预览

坚果

6月月更

python小知识-python作用域和闭包

AIWeker

Python python小知识

漫谈测试覆盖率

老张

软件测试 质量保障 质量度量

InfoQ 极客传媒 15 周年庆征文|Socket请求和Http请求特点、区别及适用场景

No Silver Bullet

HTTP请求 6月月更 InfoQ极客传媒15周年庆 Socket请求

悬赏任务源码开发设计构建时,要留意哪些事项

开源直播系统源码

源码 软件开发 直播系统 悬赏任务源码

服务器运维环境安全体系(下篇)

融云 RongCloud

SAAS服务能有哪些优势

Geek_99967b

小程序 SaaS SaaS系统架构

设计千万级学生管理系统的考试试卷存储方案

Fan

架构师实战营

MySql事务

工程师日月

6月月更

在线文本字符串批量替换工具

入门小站

工具

Vue-4-模板语法-1

Python研究所

前端 6月月更

C#入门系列(十) -- 一维数组

陈言必行

C# 6月月更

Linux编程_网页视频监控项目

DS小龙哥

6月月更

浅谈企业自媒体如何才能脱颖而出

石头IT视角

只需八步将小程序一键打包生成App

Geek_99967b

小程序 小程序转app

Vue中created和mounted的区别

devpoint

Vue Vue3 InfoQ极客传媒15周年庆

在线JSON转CSV工具

入门小站

工具

Python时区转换的两种方式

红毛丹

Python 6月月更

linux之Ansible快速入门

入门小站

Linux

hashmap的底层机制

卢卡多多

集合 6月月更

Esper近况:事件流处理框架_Java_Floyd Marinescu_InfoQ精选文章