写点什么

NoSQL 架构实践(一)——以 NoSQL 为辅

  • 2011-02-18
  • 本文字数:2379 字

    阅读完需:约 8 分钟

前面《为什么要使用 NoSQL》《关系数据库还是 NoSQL 数据库》两篇从大体上介绍了为什么要用 NoSQL,何时该用 NoSQL。经常有朋友遇到困惑,看到 NoSQL 的介绍,觉得很好,但是却不知道如何正式用到自己的项目中。很大的原因就是思维固定在 MySQL 中了,他们问得最多的问题就是用了 NoSQL,我如何做关系查询。那么接下来,我们看下怎么样在我们的系统中使用 NoSQL。

怎么样把 NoSQL 引入到我们的系统架构设计中,需要根据我们系统的业务场景来分析,什么样类型的数据适合存储在 NoSQL 数据库中,什么样类型的数据必须使用关系数据库存储。明确引入的 NoSQL 数据库带给系统的作用,它能解决什么问题,以及可能带来的新的问题。下面我们分析几种常见的 NoSQL 架构。

(一)NoSQL 作为镜像

不改变原有的以 MySQL 作为存储的架构,使用 NoSQL 作为辅助镜像存储,用 NoSQL 的优势辅助提升性能。

图 1 -NoSQL 为镜像(代码完成模式 )

复制代码
// 写入数据的示例伪代码
//data 为我们要存储的数据对象
data.title=”title”;
data.name=”name”;
data.time=”2009-12-01 10:10:01”;
data.from=”1”;
id=DB.Insert(data);// 写入 MySQL 数据库
NoSQL.Add(id,data);// 以写入 MySQL 产生的自增 id 为主键写入 NoSQL 数据库

如果有数据一致性要求,可以像如下的方式使用

复制代码
// 写入数据的示例伪代码
//data 为我们要存储的数据对象
bool status=false;
DB.startTransaction();// 开始事务
id=DB.Insert(data);// 写入 MySQL 数据库
if(id>0){
status=NoSQL.Add(id,data);// 以写入 MySQL 产生的自增 id 为主键写入 NoSQL 数据库
}
if(id>0 && status==true){
DB.commit();// 提交事务
}else{
DB.rollback();// 不成功,进行回滚
}

上面的代码看起来可能觉得有点麻烦,但是只需要在 DB 类或者 ORM 层做一个统一的封装,就能实现重用了,其他代码都不用做任何的修改。

这种架构在原有基于 MySQL 数据库的架构上增加了一层辅助的 NoSQL 存储,代码量不大,技术难度小,却在可扩展性和性能上起到了非常大的作用。只需要程序在写入 MySQL 数据库后,同时写入到 NoSQL 数据库,让 MySQL 和 NoSQL 拥有相同的镜像数据,在某些可以根据主键查询的地方,使用高效的 NoSQL 数据库查询,这样就节省了 MySQL 的查询,用 NoSQL 的高性能来抵挡这些查询。

图 2 -NoSQL 为镜像(同步模式)

这种不通过程序代码,而是通过 MySQL 把数据同步到 NoSQL 中,这种模式是上面一种的变体,是一种对写入透明但是具有更高技术难度一种模式。这种模式适用于现有的比较复杂的老系统,通过修改代码不易实现,可能引起新的问题。同时也适用于需要把数据同步到多种类型的存储中。

MySQL 到 NoSQL 同步的实现可以使用 MySQL UDF 函数,MySQL binlog 的解析来实现。可以利用现有的开源项目来实现,比如:

有了这两个 MySQL UDF 函数库,我们就能通过 MySQL 透明的处理 Memcached 或者 Http 协议,这样只要有兼容 Memcached 或者 Http 协议的 NoSQL 数据库,那么我们就能通过 MySQL 去操作以进行同步数据。再结合 lib_mysqludf_json ,通过 UDF 和 MySQL 触发器功能的结合,就可以实现数据的自动同步。

(二)MySQL 和 NoSQL 组合

MySQL 中只存储需要查询的小字段,NoSQL 存储所有数据。

图 3 -MySQL 和 NoSQL 组合

复制代码
// 写入数据的示例伪代码
//data 为我们要存储的数据对象
data.title=”title”;
data.name=”name”;
data.time=”2009-12-01 10:10:01”;
data.from=”1”;
bool status=false;
DB.startTransaction();// 开始事务
id=DB.Insert(“INSERT INTO table (from) VALUES(data.from)”);// 写入 MySQL 数据库, 只写 from 需要 where 查询的字段
if(id>0){
status=NoSQL.Add(id,data);// 以写入 MySQL 产生的自增 id 为主键写入 NoSQL 数据库
}
if(id>0 && status==true){
DB.commit();// 提交事务
}else{
DB.rollback();// 不成功,进行回滚
}

把需要查询的字段,一般都是数字,时间等类型的小字段存储于 MySQL 中,根据查询建立相应的索引,其他不需要的字段,包括大文本字段都存储在 NoSQL 中。在查询的时候,我们先从 MySQL 中查询出数据的主键,然后从 NoSQL 中直接取出对应的数据即可。

这种架构模式把 MySQL 和 NoSQL 的作用进行了融合,各司其职,让 MySQL 专门负责处理擅长的关系存储,NoSQL 作为数据的存储。它有以下优点:

  • 节省 MySQL 的 IO 开销。由于 MySQL 只存储需要查询的小字段,不再负责存储大文本字段,这样就可以节省 MySQL 存储的空间开销,从而节省 MySQL 的磁盘 IO。我们曾经通过这种优化,把 MySQL 一个 40G 的表缩减到几百 M。
  • 提高 MySQl Query Cache 缓存命中率。我们知道 query cache 缓存失效是表级的,在 MySQL 表一旦被更新就会失效,经过这种字段的分离,更新的字段如果不是存储在 MySQL 中,那么对 query cache 就没有任何影响。而 NoSQL 的 Cache 往往都是行级别的,只对更新的记录的缓存失效。
  • 提升 MySQL 主从同步效率。由于 MySQL 存储空间的减小,同步的数据记录也减小了,而部分数据的更新落在 NoSQL 而不是 MySQL,这样也减少了 MySQL 数据需要同步的次数。
  • 提高 MySQL 数据备份和恢复的速度。由于 MySQL 数据库存储的数据的减小,很容易看到数据备份和恢复的速度也将极大的提高。
  • 比以前更容易扩展。NoSQL 天生就容易扩展。经过这种优化,MySQL 性能也得到提高。

比如手机凤凰网就是这种架构 http://www.cnblogs.com/sunli/archive/2010/12/20/imcp.html

总结

以 NoSQL 为辅的架构还是以 MySQL 架构的思想为中心,只是在以前的架构上辅助增加了 NoSQL 来提高其性能和可扩展性。这种架构实现起来比较容易,却能取得不错的效果。如果正想在项目中引入 NoSQL,或者你的以 MySQL 架构的系统目前正出现相关的瓶颈,希望本文可以为你带来帮助。


感谢张凯峰对本文的审校。

2011-02-18 23:1119883

评论

发布
暂无评论
发现更多内容

JDK8 Unsafe.java 源码

Darren

源码 并发 CAS 代码注释 unsafe

Java创建对象的方法有哪些?

古月木易

Java

一条龙!CI / CD 、打造小团队前端工程化服务

久违

Vue 大前端 jenkins React

高效程序员的45个习惯:敏捷开发修炼之道(7)

石云升

敏捷开发 晨会

LeetCode题解:84. 柱状图中最大的矩形,双循环暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

区块链支付系统源码开发,USDT承兑支付平台

13530558032

面经手册 · 第9篇《队列是什么?什么是双端队列、延迟对列、阻塞队列,全是知识盲区!》

小傅哥

数据结构 小傅哥 队列 ArrayDeque

Java创建对象的方法有哪些?

奈学教育

Java

2019年我最喜欢的三款数码产品。

徐说科技

手机 苹果

程序员如何获取一份高薪工作?阿里P8大牛给你一些中肯的建议

Java迁哥

Java 华为 程序员 面试 资料

week12 homework

burner

拥抱K8S系列-01-CentOS7安装docker

张无忌

Docker centos 运维

CPU中的程序是怎么运行起来的(预告篇)

良知犹存

cpu

java安全编码指南之:Mutability可变性

程序那些事

Java java安全编码 编码指南 可变性

Docker 网络模式详解及容器间网络通信

哈喽沃德先生

Docker 容器 微服务

【运维探讨】RPA落地实践,提升IT运维工作效能!

嘉为蓝鲸

RPA 运维自动化 标准化 系统运维 流程

Java中强、软、弱、虚四种引用详解

奈学教育

Java

架构设计复杂度来源

escray

学习 从零开始学架构 架构师预科班

为什么阿里巴巴的程序员成长速度这么快,看完他们的内部资料我明白了

Java迁哥

Java 阿里巴巴 程序员 成长 笔记

vivo商城前端架构升级-总览篇

vivo互联网技术

node.js Vue 大前端 架构设计

JVM中unsafe.cpp源码

Darren

c++ 源码 JVM unsafe

实战案例丨使用云连接CC和数据复制服务DRS实现跨区域RDS迁移和数据同步

华为云开发者联盟

迁移 灾备 数据复制 云连接 数据同步

Java中强、软、弱、虚四种引用详解

古月木易

Java

分析HiveQL 生成的MapReduce执行程序

任小龙

ArCall远比你想象的要强大的多

anyRTC开发者

WebRTC 在线教育 直播 RTC 安卓

9块钱,构建个私有网盘,关键不限速

华为云开发者联盟

网站 OBS 在线网盘 华为云 云存储

【API进阶之路】破圈,用一个API代替10人内容团队

华为云开发者联盟

内容 编辑 API 华为云 文本摘要

鲲鹏迁移第一批吃螃蟹的人,践行技术国际化

华为云开发者联盟

鲲鹏920 服务器 华为云 ARM芯片 X86

区块链交易所开发源码,数字货币交易所app开发

13530558032

花两个半月吃透这份Java手打面经,成功从外包上岸到京东

Java迁哥

Java 学习 腾讯 面试 资料

35K成功上岸华为商城事业部,只因学透了这几个开源的商城项目

Java迁哥

Java 华为 源码 资料 商城项目

NoSQL架构实践(一)——以NoSQL为辅_Java_孙立_InfoQ精选文章