QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

赵钟秋谈又拍网架构中的消息 / 任务系统

  • 2011-12-31
  • 本文字数:1812 字

    阅读完需:约 6 分钟

赵钟秋,又拍网核心开发人员,关注多种计算机语言、Web 技术和开源技术。他在 QCon 杭州 2011 大会的开放平台专题做了名为《又拍网架构中的消息 / 任务系统》的讲座,并和参会者做了热烈的讨论。会后,InfoQ 中文站对赵钟秋做了采访。

InfoQ:又拍的图片云计算平台与一般的 CDN 有什么区别与优势?

又拍图片云计算平台是 Amazon S3 + CloudFront 模式,因为源数据机房包含在整个 CDN 系统中(一般 CDN 服务源服务器往往在客户各自的机房),所以网络优化更彻底,达到整个 CDN 最佳效果。并且面对国内各省市之间复杂的网络结构,可以不断调整优化最佳链路(一般 CDN 服务,回源链路一旦确定,很少会再去为客户做变动)。另外,又拍在提供文件存储加速外,利用公司本身图片方面的技术积累,还提供一些特色功能:比如针对图片文件类型生成缩略图的功能,在线管理功能,防盗链功能等等。

InfoQ:又拍从什么时候开始使用 Erlang,目前开发团队有多大规模,除了消息系统,Erlang 还用在什么地方?给又拍带来了什么优势?

又拍从 2010 年初开始使用 Erlang,我们并没有专门的 Erlang 开发团队(需要的时候由团队中 1-2 个人负责 Erlang 相关开发)。除了消息系统,我们的文件存储系统也是使用 Erlang 开发。我们喜欢用最合适、最方便的工具解决问题,我们认为目前在分布式系统的开发中,Erlang 就是这样的工具。Erlang 的引入也的确为又拍这样的小团队快速地开发高效的、稳固的分布式系统带来了可能性。

InfoQ:选用 RabbitMQ 的时候,与其它的消息系统比如 ZMQ 等等,怎么确定造型的呢,是否有实际的 Benchmark 例子?

选择 RabbitMQ 是 2009 年的事了,当时网站架构在做比较大的变迁。又拍原来的架构是基于 Java 的,那次的迁移是打算减轻对 Java 体系的依赖,而开源消息队列中比较有名的 Apache ActiveMQ 是基于 Java 的实现,显得太厚重,所以被排除在我们的考虑之外。另外,那个时候 ZMQ 还没推出。没有具体了解过 ZMQ,以目前地认识来看,我认为它们之间也存在很大的差异。例如 RabbitMQ 比较完整的实现了 AMQP 协议,而 ZMQ 则提供了简单的接口,相比之下,前者显然比后者偏重。如果是比较性能,ZMQ 会胜出是无庸置疑。后面我们会对 ZMQ 作进一步了解,因为它可能能和 YPTask 有一个很好的结合。目前我们也没有再使用 RabbitMQ。

InfoQ: YPTask 是在 RabbitMQ 上的包装吗?有哪些自己独特的地方,是否回馈开源社区?

YPTask 和 RabbitMQ 没有任何关系,实际上 YPTask 并不是消息系统,确切地讲应该是一个基于消息的远程方法调用系统。YPTask 是基于 Erlang 的 OTP 实现的,本身就是一个很健壮的分布式系统。它具备管理、配置外部工作进程的功能,而简化了消息队列地实现。外部工作进程不是通过网络接口与 YPTask 通信的,而是通过标准输入 / 输出。所以理论上后端的工作进程可以用任何语言实现,只要它支持 Erlang 的序列化方式 BERT。事实上,BERT 的其它语言实现已经非常丰富。更重要的是,YPTask 作为一个中间层次的系统,把大多数的配置和管理工作统一起来,极大地减少了业务代码需要处理的事,使得业务逻辑的开发和管理都变得很简单。我们会将这个工具进行进一步的调整和完善,并在合适的时候将其开源。

InfoQ::Erlang 与 Python、PHP 的通信是怎么做的呢,RPC 是使用 Thrift 还是其它的例子?

目前 Erlang 与工作进程(主要由 Python 开发)是通过 Erlang 的内置序列化方式 BERT 进行通信的,与 PHP 则是通过 JSON-RPC 通信的。考虑到我们系统的迁移,目前只实现了这两个对我们来说最合适的通信方式。不过我们打算加入更多的外部通信协议,比如 msgpack,protobuf 等等。

InfoQ:之前知乎使用又拍时曾出现一些故障,现在在安全性可靠性上,主要有哪些保障?

知乎在使用过程中出现的故障是由于他们对 API 的使用不当造成的。他们将需要认证的 API 请求放到客户端发送,导致向客户端泄漏了 API 的认证信息。从又拍的角度看,这也反映出之前的 API 功能还不够丰富,调用不够方便等问题。我们也会在这个方面投入更多的精力。

InfoQ:又拍的消息系统的规模有多大,下一步会怎么发展呢?

目前又拍的消息系统规模不算太大,每天由 5 个节点处理大约 500 万条消息。目前这些节点的压力并不大。下一步的发展还要看网站的发展情况来确定。

InfoQ:除了消息系统外,整个又拍架构中还有哪些优秀的地方想和读者分享?(又拍曾分享过分库设计)

又拍也是较早在架构中引入 Redis 的站点,可能的话可以分享一下相关经验。

2011-12-31 09:458010
用户头像

发布了 133 篇内容, 共 39.3 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

OpenTelemetry系列 (五)| OpenTelemetry Java Instrumentation二次开发指南

骑牛上青山

Java 调用链 OpenTelemetry 微服务调用链 agent

针对Web应用的攻击模式

穿过生命散发芬芳

HTTP 1月月更

音与影的魔法红线:双Vivid标准带来的超高清之变

脑极体

运维进阶训练营 -W10H

b1a2e1u1u

运维

AI-001-火爆全网的聊天机器人ChatGPT能做什么

非典型产品经理笔记

nlp 人工智能’ ChatGPT

【web 开发基础】PHP中的访问方法(60)

迷彩

PHP基础 property 访问方法 类的封装 封装性

模块4

KING

架构设计模块三作业

附加信息

架构训练营

架构训练营-模块二作业

Sam

架构实战营

CleanMyMac2024一款超好用的Mac清理优化工具

茶色酒

CleanMyMac CleanMyMac X CleanMyMac X2023

模块五作业

Ryan

构架

2022-12-31:以下go语言代码输出什么?A:1 1;B:-1 1;C:-1 -1;D:编译错误。 package main import “fmt“ func main() { a

福大大架构师每日一题

golang 福大大 选择题

【web 开发基础】PHP类的构造方法和析构方法(59 )

迷彩

面向对象 PHP基础 构造方法 析构方法

【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的,为啥还是会出现OOMKilled?

码界西柚

jdk JVM 12 月 PK 榜 OOMKilled

2023-01-01:remix-ide是浏览器的ide,官方已经提供地址,但是需要连接外网。如果是内网,需要自己在服务器里搭建remix-ide;另一种方式是用remix-ide的桌面版。这里只讨论

福大大架构师每日一题

云原生 k8s k3s 福大大 remix-ide

华为云弹性服务器ECS,如何入局新能源产业?

秃头也爱科技

AI-002-十分钟理解ChatGPT的技术逻辑及演进(前世、今生)

非典型产品经理笔记

NLP 大模型 人工智能’ ChatGPT

【web 开发基础】PHP面向对象中类的继承(61)

迷彩

面向对象 extends PHP基础 类的继承 类的实例化

华为云ECS弹性云服务器,赋能企业加速数字化发展

秃头也爱科技

云端高性能计算,华为云ECS助力企业数字化转型

秃头也爱科技

架构训练营模块二作业

gigifrog

架构训练营

CleanMyMac2024专业Mac清理软件下载

茶色酒

CleanMyMac2024

以华为云ECS为例,解读中小企业为何纷纷转投弹性云服务器

秃头也爱科技

从这两道题重新理解,JS的this、作用域、闭包、对象

loveX001

JavaScript

反编译APK获取代码&资源

芯动大师

Android Studio APK 反编译

弹性公网IP支持多产品灵活绑定或解绑,能为企业提供独立公网IP资源!

秃头也爱科技

老周的 2022 年终总结

老周聊架构

年终总结 12月月更

2022年度总结-个人成长视角

非典型产品经理笔记

个人成长 网络安全 年终总结

校招前端面试题集锦

loveX001

JavaScript

从输入URL到渲染的过程中到底发生了什么?

loveX001

JavaScript

好评爆棚的华为弹性云服务器,究竟有哪些亮点?

秃头也爱科技

赵钟秋谈又拍网架构中的消息/任务系统_Erlang_黄璜_InfoQ精选文章