写点什么

英国卫报联手 AWS:从 MongoDB 迁移到 PostgreSQL

  • 2019-01-11
  • 本文字数:1081 字

    阅读完需:约 4 分钟

英国卫报联手AWS:从MongoDB迁移到PostgreSQL

为了获得一个全托管的解决方案,英国卫报在 2018 年将 CMS 的数据存储从一个自托管的 MongoDB 集群迁移到了 Amazon RDS 上的 PostgreSQL。团队在没有停机的情况下进行了基于 API 的迁移。


英国卫报的内部 CMS(名为 Composer)存储着文章、博客内容、照片库和视频,它最初是以 MongoDB 为数据存储构建的。在此之前,用的是一个后台是 Oracle 数据库的供应商软件。在这种设置下,每当必须迁移模式时,都需要停机时间。作为替代方案,团队研究了各种 NoSQL 数据库,选择 MongoDB 的其中一个关键原因似乎是灵活性。MongoDB 最初托管在他们自己的数据中心里,在一次宕机后,他们将其转移到了 AWS 服务器上。安装和管理脚本必须由卫报的团队手写。他们选择了一项支持合同,并购买了 OpsManager 工具,这是一个管理 MongoDB 的前端应用程序。然而,不清楚因为什么原因,该团队没有选择 MongoDB Atlas 服务,这是一个“全托管的数据库”。OpsManager 不管理部署。


在迁移到 AWS 之后,团队遇到了两次 MongoDB 宕机。其中一些原因是基本的系统管理问题,比如不允许 NTP 访问时间服务器以保持时钟同步。根据这篇文章,还有一些和 OpsManager 本身管理困难以及很难从供应商那里获得及时的支持有关。其团队觉得,迁移到需要最少数据库管理工作的解决方案最适合他们。


该团队选择 PostgreSQL 的原因是,作为 Amazon RDS 上的托管数据库,它非常成熟,而且支持 jsonb 数据类型。Jsonb 类型允许对 JSON 对象中的字段进行索引。迁移计划是在 Postgres 上编写一个新的 API,并使用一个代理向这两个 API 发送流量,使它们对于新传入的数据保持同步。使用 API 迁移现有数据,然后将代理切换到新的 API。他们之前从 Oracle 迁移也是使用类似的方法完成的。为了跟踪迁移过程,迁移脚本日志被推送到 Elasticsearch。在此过程中,他们还改进了他们的结构化日志。


代理实时地将所有流量定向到 MongoDB API,并异步地定向到 Postgres API。响应中的任何差异都会被记录并分析。为了确保新的 API 和后端能够支撑生产流量,他们运行 GoReplay 进程来生成流量。GoReplay 可以捕获流量,并在不同的环境下进行回放——在本例中是预生产环境。他们在预生产环境上完成了完整的迁移过程。生产迁移的最后一步是将 DNS 名称从代理的端点(一个 Amazon ELB)切换到 Postgres API(另一个 ELB)。这使得它们的客户端可以在不做任何更改的情况下正常工作。迁移之后,他们的集成测试失败了,因为他们没有迁移到新的 API。


还有其他一些组织出于各种原因从 MongoDB 迁移到了 PostgreSQL。


查看英文原文:The Guardian’s Migration From MongoDB to PostgreSQL on Amazon RDS


2019-01-11 10:377132
用户头像

发布了 723 篇内容, 共 460.1 次阅读, 收获喜欢 1538 次。

关注

评论

发布
暂无评论
发现更多内容

深入分析JVM执行引擎

架构 Java、

【CSS】你还记得组合选择器怎么用吗?

翼同学

前端 编程语言 8月月更 学习分享

流支付时代的Zebec,将打开Web3支付的大门?

股市老人

mysql 的索引分类 B + 和 hash 详解

浅羽技术

MySQL 索引 hash B+树 8月月更

mysql的存储引擎详解

浅羽技术

MySQL 存储引擎 MySQL InnoDB memory Store 8月月更

拒绝裸奔,SpringBoot集成Jasypt加密敏感信息

IT学习日记

jasypt 8月月更 Springboot配置文件加密 敏感信息加密

【小程序项目开发-- 京东商城】uni-app之分类导航区域

计算机魔术师

8月月更

Go 语言实现常见排序算法

宇宙之一粟

排序算法 Go 语言 8月月更

悲观锁和乐观锁的区别以及实现方式

浅羽技术

乐观锁 悲观锁 8月月更

每日一R「19」网络编程(一)

Samson

学习笔记 8月月更 ​Rust

云原生(三十) | Kubernetes 篇之应用商店 -Helm 介绍

Lansonli

云原生 8月月更

真值和机器数及机器数的相互转换关系

乌龟哥哥

8月月更

【小程序项目开发 -- 京东商城】uni-app 商品分类页面(上)

计算机魔术师

8月月更

【小程序项目开发 -- 京东商城】uni-app 商品分类页面(下)

计算机魔术师

8月月更

【CSS】伪类选择器有什么用?有哪些是常用的伪类?

翼同学

CSS 前端 编程语言 8月月更 学习分享

《中国汽车OTA行业发展洞察2022》案例征集

易观分析

汽车 OTA 案例征集

在线XML转YAML工具

入门小站

工具

在线图片隐写术解密解码传递数据

入门小站

工具

【CSS】背景样式(颜色、图片、平铺、附着和位置)

翼同学

CSS html 前端 8月月更 学习分享

在线图片隐写术加密传递数据

入门小站

工具

【小程序项目开发-- 京东商城】uni-app开发之轮播图

计算机魔术师

8月月更

2022年7月视频行业用户洞察:暑期优质内容上线,用户规模及使用时长增长显著

易观分析

视频 报告

流支付时代的Zebec,将打开Web3支付的大门?

小哈区块

JPEX围绕世界杯打造“平台+运动”新生态,为JPC深度赋能

股市老人

【机器学习】向量化计算 -- 机器学习路上必经路

计算机魔术师

8月月更

【小程序项目开发-- 京东商城】uni-app之首页商品楼层

计算机魔术师

8月月更

灵感宝盒新增「线上云展会」产品,「直播观赏联动」等你共建丨RTE NG-Lab 双周报

声网

直播 RTE NG-Lab

【算法实践】有始有终,雨露均沾--手把手带你手撸选择排序

迷彩

Python 开源 选择排序 算法实践 8月月更

流支付时代的Zebec,将打开Web3支付的大门?

鳄鱼视界

【小程序项目开发-- 京东商城】uni-app开发之分包配置

计算机魔术师

8月月更

英国卫报联手AWS:从MongoDB迁移到PostgreSQL_数据库_Hrishikesh Barua_InfoQ精选文章