免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

NeverBlock 和无阻塞数据库适配器

  • 2008-09-15
  • 本文字数:1996 字

    阅读完需:约 7 分钟

NeverBlock 是一个使用 Ruby 1.9 的 Filber 特性构建的库。使用 NeverBlock 可以编写 non-blocking 代码。第一个获益于 NeverBlock 的数据库是 Postgres(可见 InfoQ 上

关于Fibers 和 NeverBlock 的文章。现在,就在Postgres 几天之后,NeverBlock 也添加了对于MySQL 的支持,并使用了新的MySQLPlus 驱动。MySQLPlus 构建于Ruby 自带的MySQL 驱动之上,此外还添加了异步查询处理支持和线程访问支持。

此外,另一个致力于为Ruby 的MySQL 连接增加异步操作能力的工程是

Asymy 。InfoQ 为此采访了 MySQLPlus 的一位开发人员 Roger Pack。我们特别感兴趣的是 MySQLPlus 和 Asymy 的差异,以及为什么要创建一个新的适配器。

首先介绍一些历史:之前我们使用的一般是用 C 编写的 MySQL 库,它在任何一次查询时都会进行阻塞。MySQLPlus 和 Asymy 都试图改变这一情况。

MySQLPlus 基本上可以算是在标准的 MySQL Ruby C 库之上增加了一些多线程友好的特性,尤其是在一条查询返回前不阻塞 IO。

Asymy 则是一个为比较纯粹的异步 MySQL 适配器。它用 Ruby 写成,因而解析相对慢的多(大约要慢 10 倍),而且由于推出不久,尚有一些 bug。

让 我来说,二者间的一个差别在于 Asymy“只是”事件驱动的,而 MySQLPlus 则同时兼有线程模式和事件驱动。MySQLPlus 的事件驱动特性有一 定的局限,这体现在当一个查询被读入时,用户不能够真正的检测到何时去等待 IO——这说明 MySQLPlus 尚未完善,但这至少是朝着正确方向迈出的一 步。

实际上,最开始的时候我们曾考虑过使用 Asymy,后来 Muhammed [Ali, NeverBlock 的一名工作人员] 发现只要对标准的 C MySql 库稍作修改,就可以使其基本具有多线程能力,所以我们就转到了标准库这边。MySQLPlus 库可以看作是对 Tomita Masahiro 库的一个修改。

所以我想 MySQLPlus 和 Asymy 之间可能有一些重复的部分,这主要是 C 和 Ruby 两种语言的问题。MySQLPlus 的 C 语言部分并不是我们写的,所以在这部分没有什么重复。

现在 NeverBlock 可以和 MySQLPlus 一起工作,那么它会能够和 Event Machine 一起工作吗?

NeverBlock 基本上可以看作是 Fiber、EventMachine、Postgres 或 MySQLPlus 驱动的结合体。因此答案是:在应用了

一些小补丁后,NeverBlock 可以和 EventMachine 一起工作。因此如果你很喜欢 EventMachine 的分阶段编程风格,NeverBlock 甚至可以与 1.8.x 版本的 MySQL 驱动一起工作。

值得注意的是 MySQLPlus 已经作为相对于 1.8.x MySQL 驱动来说更加线程友好的代替品而推出。MySQLPlus 也可以很好的与 NeverBlock 和 1.8.x MySQL 驱动兼容,这也是它最初的目标。

这个项目未来的计划是什么样的?你们是否打算去适配其它种类的数据库?

Muhammed 提到过这一潜在目标。我倒还没有这么想过,因为我觉得我们已经足够好的覆盖了这方面工作最重要的部分。

未来的计划主要是让 rails 2.2 兼容 NeverBlock 和 MySQLPlus,希望能得到比较好的性能。

Aman Gupta,MySQLPlus 的作者之一,将 MySQLPlus 用在了 Aman Gupta 所开发的

异步Event Machine MySQL 客户端中。当然,Postgres 和MySQL 并不是Ruby 仅可用的两个数据库,所以我们也访问了KUBO Takehiro,Oracle 数据库接口

ruby-oci8 的作者之一。我们请教了他关于 NeverBlock 的看法,以及 NeverBlock 是否可以方便的与 ruby-oci8 集成:

我觉得集成不容易。Neverblock-pg 使用了

PGconn#send_query 来登 记一条查询,然后挂起 fiber 直到查询完成。但 ruby-oci8 的无阻塞模式则不是这样。当一个查询被执行时,处于无阻塞模式的 ruby-oci8 等 待结果,但并不阻塞其他线程。在 ruby-oci8 之外不能够增加挂起 fiber 的代码。我们不打算通过修改 ruby-oci8 来适配 NeverBlock。这是因为用户在不用到 NeverBlock 的 fiber 池的情况下,透明的使用无阻塞操作。

另外,我不确定要使用无阻塞操作时,是否一定要用到 NeverBlock。如果通过使用 rb_thread_blocking_region() (ruby 1.9 的新特性),让 ruby-pg 包装那些阻塞性操作,其他线程就不会被阻塞。(可参见 Ruby 线程机制的未来)。

当然,虽然我有这些看法,我还是很欣赏 NeverBlock 在为 activerecord 增加连接池特性方面所做的工作,这些正是我一直想要的。

说实话,我觉得并不是那么重要。SQLite 是一个内置数据库,而不是像 MySQL 或 PostgreSQL 那样使用客户端 / 服务器架构。为了在 SQLite 中支持异步查询,用户得首先将 SQLite 转换为服务器模式,以使得 SQLite 运行于用户应用外的一个单独进程。如果用户真的这么做了,那 么也许使用 SQLite 就不再是一个好的选择。

确实,我个人非常强烈的不主张人们在一个 web 应用的产品版本中使用 SQLite。SQLite 非常适合测试阶段和开发阶段,并且能够很好的与内置的各种应用协同工作,但在一个 web 环境中,SQLite 并不能像客户端 / 服务器模型那样工作。

读到这里,你有什么想法呢?是不是我们为了性能考虑,需要无阻塞的数据库访问呢?

2008-09-15 20:341001
用户头像

发布了 24 篇内容, 共 30559 次阅读, 收获喜欢 0 次。

关注

评论

发布
暂无评论
发现更多内容

CCF大会腾源会专场即将召开,聚焦基础软件与开发语言未来发展

腾源会

开源 腾源会

面试官:Redis Zset的实现为什么用跳表,而不用平衡树?

程序员小毕

Java redis 程序员 面试 后端

突破次元壁垒,让身边的玩偶手办在屏幕上动起来!

HarmonyOS SDK

运动健康服务场景事件订阅,让应用推送“更懂用户”

HarmonyOS SDK

如何解决 “主节点故障恢复的自动化” 问题?

八点半的Bruce.D

阿里架构师首发:80W字微服务架构手册GitHub上杀疯了

冉然学Java

Java 编程 程序员 架构 微服务

阿里云 Hologres助力好未来网校实时数仓降本增效

阿里云大数据AI技术

数据分析 数据治理 数据安全

AS北京站如约而至!发布参会感想有机会获得官方周边奖励

InfoQ写作社区官方

热门活动 ArchSummit

知乎杀疯了,疯传2022Java面试八股文解析+大厂面经

程序知音

Java 程序员 java面试 后端技术 Java面试八股文

SAP ABAP 里存在 Java List 这种集合工具类么?CL_OBJECT_COLLECTION 了解一下

汪子熙

设计模式 迭代器模式 SAP abap 8月月更

如何设计一组会出现死锁(Deadlock)的ABAP程序

汪子熙

操作系统 SAP abap 8月月更 ABAP死锁

从滴滴被罚款事件思考企业数据治理问题

墨天轮

大数据 滴滴 数据治理 数据安全

Netty进阶 -- WebSocket长连接开发

Bug终结者

8月月更

基于 TLS 1.3的百度安全通信协议 bdtls 介绍

百度Geek说

安全

深度解析佛萨奇,Forsage魔豹联盟系统开发方案(源码部署)

开发微hkkf5566

开源一夏 | 使用 CSS 的水波文本动画(免费代码)

海拥(haiyong.site)

开源 8月月更

巧用自定义函数,文本控件秒变高速缓存

明道云

TiSpark 原理之下推丨TiDB 工具分享

PingCAP

TiDB

【设计模式-前端】单例模式深刻理解和实现

归子莫

前端 设计模式 js 8月月更

从普通程序员晋升到架构师需要掌握哪些技术,这份37W字Java高性能架构用13个章节彻底讲明白了

Java永远的神

Java 程序员 面试 程序人生 架构师

Go-Excelize API源码阅读(七)—— CopySheet(from, to int)

Regan Yue

开源 源码阅读 8月日更 8月月更

开源一夏 |卷王必备学习的MyBatis-Plus用法~

叶秋学长

开源 mybaits 8月月更

直播预告 | Authing 如何打造云原生 SaaS 产品架构?

Authing

使用脚手架 快速开发 React组件 npm包 (基于TSDX)

HullQin

CSS JavaScript html 前端 8月月更

有了阿里这5份Java架构师手册,学习起来轻松多了!

冉然学Java

Java 算法 java面试 性能调优实战 并发架构设计思想

兴盛优选:时序数据如何高效处理?

TDengine

数据库 tdengine 时序数据库

7月月更开奖啦!快来看看你中奖了吗?

InfoQ写作社区官方

热门活动 7月月更

python工程化配置方式

芥末拌个饭吧

8月月更

分析 Flink 任务如何超过 YARN 容器内存限制

移动云大数据

Flink 平台

MySQL之JDBC编程增删改查

了不起的程序猿

Java MySQL JAVA开发 java程序员

易观分析:银行零售业务实现智能化营销还需突破七大关键点

易观分析

零售 银行 智能化营销

NeverBlock和无阻塞数据库适配器_Ruby_Mirko Stocker_InfoQ精选文章