写点什么

Shopee 数据事件中心的设计和实现

  • 2019-08-15
  • 本文字数:890 字

    阅读完需:约 3 分钟

Shopee 数据事件中心的设计和实现

ArchSummit深圳2019大会上,林锋讲师做了《Shopee 数据事件中心的设计和实现》主题演讲,主要内容如下。


演讲简介


电商系统的业务需求复杂,包含许多不同的子系统,对一些数据的操作常常需要多个系统联动,也有在不同系统间同步数据的需求,导致不同系统之间紧密耦合。一些典型的场景如:


  1. 不同系统对订单数据有不同的查询需求,需要在数据库或 Elasticsearch 中维护多个不同维度的索引,并保证数据源与索引同步;

  2. 业务优化改造数据库表结构时,需要在切换过程中保证数据在新旧不同结构的数据表之间进行同步;

  3. 各个系统对核心数据如用户、商品信息等都有各自的缓存,需要在数据被修改时更新缓存或使缓存失效;

  4. 一些数据的修改会触发其他系统的操作,如卖家增加一个商品时需要自动在运营平台创建一个审核任务。


DEC (Data Event Center) 是 Shopee 的数据库事件订阅和任务执行平台,负责监听 MySQL 数据库数据变更事件,并根据用户配置对数据事件进行处理,执行数据同步、缓存同步、事件回调等不同类型的任务。通过 DEC 使用简单配置就可以实现上述不同的需求,从而提高研发效率,也使同一数据的不同使用方之间互相解耦。


本次演讲主要介绍 DEC 的系统设计和实现,以及我们是如何解决 DEC 实现过程中遇到的一系列技术挑战,包括如何实现系统整体的高可用性、可伸缩性和高性能,在不增加运维复杂度的情况下如何保证不同任务间的隔离,在复杂场景下如何保证数据的强一致性或最终一致性等。


演讲提纲


  1. 需求和应用场景;

  2. Shopee 数据库事件订阅系统演进;

  3. DEC 设计和实现;

  4. 实践中遇到的问题和解决方案;

  5. 未来规划。


听众受益点


  1. 了解数据库事件订阅和任务执行平台的应用场景、设计思路、实践中可能遇到的问题和解决方案;

  2. DEC 实现系统的高可用、可伸缩和数据一致性的思路可以作为设计其他分布式系统的参考。


讲师介绍


林锋


Shopee Engineering & Technology / 技术平台团队负责人


2012 年加入 Sea Group,目前在 Shopee Engineering & Technology 部门,担任 Shopee 技术平台团队负责人,负责容器平台、网关、中间件、服务网格等基础技术平台的建设。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-15 00:002849

评论

发布
暂无评论
发现更多内容

高质量代码究竟依赖设计还是重构而来?

CODING DevOps

亚信科技AntDB数据库专家出席数据库标准研讨会并参与研讨

亚信AntDB数据库

数据库 AntDB AntDB数据库 企业号 8 月 PK 榜

从零开始学极狐GitLab|02 基本功能使用

极狐GitLab

DevOps gitlab 用户管理 项目创建 群组创建

Sprint Boot学习路线5

小万哥

Java spring 微服务 springboot SpringCloud

瓴羊QuickBI的数据门户功能可以大大简化和提高数据分析的效率

小偏执o

PoseiSwap:基于 Nautilus Chain ,构建全新价值体系

鳄鱼视界

聊聊 Docker 和 Dockerfile

互联网工科生

Docker 容器 Dockerfile

以指标驱动,保险、零售、制造企业开启精益敏捷运营的新范式

Kyligence

数据分析 数智化

极狐GitLab 10 年开源研发管理实践:4 个核心步骤突破效能瓶颈

极狐GitLab

gitlab 研发效能 DevSecOps 研发效率 效能实践

官宣 | CODING 荣获可信云软件研发效能度量平台先进级最高评估成果

CODING DevOps

【华秋干货铺】PCB布线技巧升级:高速信号篇

华秋电子

PoseiSwap:基于 Nautilus Chain ,构建全新价值体系

西柚子

数据分析的提升,通过领羊QuickBI数据功能可以简化

夏日星河

【报名开启】AIGC 交响乐奏起!亚马逊云科技开发者社区嘉年华 2023 上海站报名通道开启!

亚马逊云科技 (Amazon Web Services)

AI 科技

PoseiSwap:基于 Nautilus Chain ,构建全新价值体系

BlockChain先知

“科创中国”青百会轮值主席吴甜:以大语言模型为代表的AI将引发产业变革

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

基于分级安全的OpenHarmony架构设计

OpenHarmony开发者

OpenHarmony

极狐GitLab 全新「价值流仪表盘」使用指南

极狐GitLab

DevOps gitlab DevSecOps DORA 价值流仪表盘

数字孪生in电力终端:高效虚拟环境实现测试“左移”

DevOps和数字孪生

数字孪生 虚拟测试

PoseiSwap:基于 Nautilus Chain ,构建全新价值体系

股市老人

案例上榜 | Kyligence x 中国平安人寿北斗指标设计平台

Kyligence

数据分析 数智化

为什么马斯克和奥特曼都想重振加密货币?

树上有只程序猿

人工智能 AGI

Shopee 数据事件中心的设计和实现_ArchSummit_林锋_InfoQ精选文章