写点什么

Zalando 公司使用 Apache Flink 进行微服务和流处理架构

  • 2016-11-06
  • 本文字数:957 字

    阅读完需:约 3 分钟

Javier Lopez 和 Mihail Vieru 日前在 Reactive Summit 2016 大会上发表了关于基于云的数据集成和分发平台的演讲,该平台可用于商业智能用户案例的流处理。

Zalando 公司是欧洲在线时尚零售商,该公司正在从整体服务架构逐渐转变为微服务架构,并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使 Zalando 的技术团队能够实现几近实时的商业智能。他们使用诸如 Flink Kafka Elasticsearch 之类的技术来处理事件流。

在他们的架构中,各应用程序通过 REST API 互相沟通,而数据库隐藏在 Amazon Virtual Private Cloud (VPC) 基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序(调用微服务(REST API)来与事件总线交互)、Kafka、Exporter 和 AWS S3 数据存储组成。他们还用 Data Lake 为数据提供分布式访问和精细的安全性保护。

Lopez 和 Vieru 讨论了如何在微服务架构中使用 Flink 框架。 Flink 用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理,这种背压处理是通过系统架构隐式实现的。

Zalando 公司的业务流程涉及 1000 多种事件类型,并且每个事件类型都有一个 Kafka 主题。他们通过关联的事件类型(如 Join&Union)来分析流程,并根据业务规则完善数据。他们还使用滑动窗口(1 分钟至 48 小时)的平台快照来进行流处理。

该架构还包括用于安全性的 OAuth 、基于 Postgres DB 的配置服务、告警服务和 Python 可视化组件。

两位演讲者还探讨了流处理的两个用例:几近实时的业务流程监控解决方案和流 ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议(SLA)。流式 ETL 用于释放与关系型数据仓库相关的资源,这种解决方案有助于提高数据仓库的负载,减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例,比如几近实时的销售和价格监控以及检测欺诈性付款。BPM 和 Flink 的 CEP 库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息,请访问该公司的博客网站

查看英文原文 Microservices and Stream Processing Architecture at Zalando Using Apache Flink


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-11-06 19:002892
用户头像

发布了 22 篇内容, 共 51334 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

CSS 如何实现五彩斑斓的“呼吸字”?速度拿去装杯!

掘金安东尼

CSS 11月月更

用火山引擎DataTester,这家企业开始了“数据驱动增长”

字节跳动数据平台

KeeWiDB的高性能修炼之路:架构篇

腾讯云数据库

数据库 nosql redis 腾讯云数据库 KeeWiDB

云原生系列五:Kafka 集群数据迁移基于Kubernetes的内部

叶秋学长

kafka\ kurbernetes 11月月更

火山引擎钜惠双11开启,云服务器0.71折起

Geek_2d6073

双11niubility的数据恢复软件,获得更专业的数据恢复服务

淋雨

数据恢复 文件恢复

【C语言】do 关键字

謓泽

11月月更

SQL编写规范

默默的成长

前端 sql 11月月更

数据可视化分析之新技能——魔数图

葡萄城技术团队

数据分析 前端 可视化 商业智能

双十一剁手快,ERP系统不能慢

力软低代码开发平台

MindStudio模型训练场景精度比对全流程和结果分析

华为云开发者联盟

人工智能 华为云 企业号十月 PK 榜

应用现代化产业联盟,正式成立

华为云开发者联盟

云计算 华为云 企业号十月 PK 榜

开源密码管理器更安全吗?(2)

神锁离线版

开源 网络安全 信息安全 数据安全 密码管理器

七层模型

初学者

网络 服务器 11月月更

开源遇上华为云——DataX for HuaweiCloud OBS

华为云开发者联盟

开源 后端 华为云 企业号十月 PK 榜

为什么电脑主板晶振多采用14.318MHz和32.768KHz ?

元器件秋姐

晶振 元器件 元器件电商平台 元器件采购

重磅发布.NET 7!更快、更强、更统一

Azure云科技

.NET 7

颠覆传统BOM检查!用这个方法既​简单、快速又准确

华秋PCB

工具 PCB BOM PCB设计

HummerRisk 快速入门教程

HummerCloud

云安全 云原生安全 11月月更 HummerRisk

Databend 在 MinIO 环境使用copy 命令 | 新手篇(3)

Databend

阿里这份Java程序性能优化指南,让你的程序快上200%

小小怪下士

Java 程序员 性能优化

重磅发布!星汉未来全国开发者悬赏计划

星汉未来

云计算 开发者 运维 云原生 星汉未来

五大模型揭秘深度学习用于时序预测的最新进展

云智慧AIOps社区

人工智能 机器学习 深度学习 算法 模型

费劲拿到的阿里P8架构师私藏(java岗的)JCF和JUC源码分析与实现笔记

程序知音

Java 高并发 源码刨析 java架构 后端技术

豆瓣评分8.0!深入理解Java虚拟机,把GC算法与实现讲得明明白白!

Java永远的神

程序员 面试 JVM GC Java虚拟机

云BI,如何成为了企业的“贴身管家”?

夏日星河

华为云发布三大生态举措,携手伙伴及开发者共创新价值

华为云开发者联盟

云计算 华为云 企业号十月 PK 榜

内存数据库如何发挥内存优势?

C++后台开发

算法 内存数据库 后端开发 linux开发 C++开发

Oracle 表空间创建标准(二)

默默的成长

oracle 前端 11月月更

链表只有面试有用?Redis 之父说:我不同意!

图灵教育

算法 链表 Redis 数据结构

链表只有面试有用?Redis 之父说:我不同意!

图灵社区

算法 链表 Redis 数据结构

Zalando公司使用Apache Flink进行微服务和流处理架构_大数据_Srini Penchikala_InfoQ精选文章