速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

Uber 系统从 Postgres 迁移到 MySQL

  • 2016-08-25
  • 本文字数:986 字

    阅读完需:约 3 分钟

Uber 最近在博客中详细阐述了他们为什么要使用MySQL 来替代PostgreSQL 。Uber 遇到的主要困难源于Postgres 的写入放大问题。写入放大是在对涉及索引的单行数据进行更新时,需要更新所有的索引,从而导致大量对磁盘的写操作,在使用固态硬盘时这个问题更加严重。 HOT(Heap-Only-Tuples) 特性可以缓解这个问题,这在一些用例中也许是一个解决方案。因此,写入放大问题泄漏到了复制过程中,造成为了一些简单的更新而在副本间传播多个更新操作。在灾难恢复的场景中,由于数据中心之间可能相距较远,并且无法获得廉价、便利的带宽,就会导致重大问题。

在 Postgres 9.2 的一次常规更新中,一个 bug 导致了一些表的数据损坏。这是由于没有标记一些应该被标记为不活跃的数据所导致的。无法计算这个 bug 这所影响到的数据总数,而且由于复制是发生在物理层,这也就存在着损坏数据库索引的风险。

Postgres 的副本并没有真正支持多版本并发控制(MVCC)。副本必须和主节点使用一致的预写式日志(WAL: Write Ahead Log )。加上如果更新操作涉及其他事务中已打开的行,Postgres 会将其阻塞,这在很大程度上会影响长事务(long running transaction)。一旦长事务阻塞了预写式日志线程,就会被 Postgres 终止,如果应用开发人员没有意识到这点,特别是在使用事务边界不透明的对象关系映射(ORM)时,就会带来问题。

再一次由于复制过程是工作在物理层,数据库更新不得不在所有副本间同时进行,不然复制无法正常工作。这意味着就 Uber 的规模来说,升级到当时的新版本真的会造成很多问题。这个问题已经自 9.4 版本之后使用 pglogical 修复了。

在决定 Uber 案例的设计方案时,设计者看重 MySQL 的优势有:拥有灵活的副本、每个连接使用轻量级的线程而不是进程、廉价的缓存。应对磁盘存储上的主要问题,则使用 InnoDB 存储,使压缩更高效而不会影响大量索引或引起 Postgres 中的写入放大问题。

Markus Winand Simon Riggs Robert Haas 针对 Uber 用例提出了一些很好的反驳。他们详细阐述了在诸多用例中如何解决上述问题,以及为什么并不是对每个案例都应该抛弃 Postgres 而使用 MySQL,反之亦然。

查看英文原文: Uber Engineering Moving from Postgres to MySQL


感谢百占辉对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-08-25 19:004152
用户头像

发布了 41 篇内容, 共 13.8 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

未来人工智能的璀璨星辰

百度开发者中心

人工智能 生成式AI 文心一言

软件测试/测试开发丨Python 深拷贝与浅拷贝

测试人

Python 软件测试 自动化测试 深拷贝 浅拷贝

探索GameFi局势:利用代币经济学应对可持续发展挑战

区块链软件开发推广运营

交易所开发 数字藏品开发 dapp开发 区块链开发 NFT开发

新材料生产工厂MES系统选型指南

万界星空科技

MES系统

缓存你用对了吗?喜马拉雅缓存使用军规

喜马拉雅技术团队

redis 缓存 喜马拉雅 使用规范 xcache

不一样的 AGI 黑客松!Founder Park x Zilliz x 智谱 AI 联合发起!

Zilliz

大模型 Zilliz AGI 向量数据库

Sermant类隔离架构:解决JavaAgent场景类冲突的实践

华为云开发者联盟

后端 开发 华为云 华为云开发者联盟 企业号9月PK榜

武林立志传:龙吟剑 mac攻略(武侠角色扮演游戏)中文移植版

mac

角色扮演游戏 Windows软件 苹果mac游戏 武林立志传 龙吟剑

GreptimeDB 使用指南 | 3 分钟快速下载启动时序数据库

Greptime 格睿科技

数据库 时序数据库 Greptime GreptimeDB

聊聊低代码的全栈开发能力

高端章鱼哥

低代码 应用开发 全栈开发

人工智能新范式,重新定义生产力

百度开发者中心

人工智能 生成式AI 文心一言

小米 AR 运动主机「15 分钟消耗一碗米饭」;互联网行业平均薪资降至 3 万档丨RTE开发者日报 Vol.45

声网

效率提升与智能化的新机遇

百度开发者中心

人工智能 大数据 文心一言

软件测试/测试开发丨Jenkins Pipeline 学习笔记

测试人

软件测试 jenkins CI/CD pipeline 测试开发

Python程序设计实例 | 条形码图片识别

TiAmo

Python 条形码识别 条形码

对话在行人|中亿丰(上):基于数智化中台推动业财融合

用友BIP

2023全球商业创新大会 对话在行人

“连理”升空 OpenHarmony开启国产卫星系统星辰大海

最新动态

海量小文件传输对于企业选用文件传输软件的重要意义

镭速

文件传输 海量小文件传输

用友全球化数智运营解决方案:构建企业出海竞争力

用友BIP

中企出海 升级数智底座

昇腾实践丨ATC模型转换动态shape问题案例

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号9月PK榜

打造全球司库新范式,用友践行产融数智化转型之洞见

用友BIP

全球司库

ps2024新功能 修图软件ps 2024 beta 25.0安装 Photoshop激活版

mac

PhotoShop 图像处理软件 苹果mac Windows软件 ps2024

Uber系统从Postgres迁移到MySQL_数据库_Alex Giamas_InfoQ精选文章