HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

NSQ:分布式的实时消息平台

  • 2015-02-06
  • 本文字数:1673 字

    阅读完需:约 5 分钟

NSQ 是一个基于 Go 语言的分布式实时消息平台,它基于 MIT 开源协议发布,代码托管在 GitHub,其当前最新版本是 0.3.1 版。NSQ 可用于大规模系统中的实时消息服务,并且每天能够处理数亿级别的消息,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。NSQ 具有分布式、去中心化的拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ 非常容易配置和部署,且具有最大的灵活性,支持众多消息协议。另外,官方还提供了拆箱即用 Go 和 Python 库。如果读者兴趣构建自己的客户端的话,还可以参考官方提供的协议规范

NSQ 是由四个重要组件构成:

  • nsqd :一个负责接收、排队、转发消息到客户端的守护进程
  • nsqlookupd :管理拓扑信息并提供最终一致性的发现服务的守护进程
  • nsqadmin :一套 Web 用户界面,可实时查看集群的统计数据和执行各种各样的管理任务
  • utilities :常见基础功能、数据流处理工具,如 nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

NSQ 的主要特点如下:

  • 具有分布式且无单点故障的拓扑结构 支持水平扩展,在无中断情况下能够无缝地添加集群节点
  • 低延迟的消息推送,参见官方提供的性能说明文档
  • 具有组合式的负载均衡和多播形式的消息路由
  • 既擅长处理面向流(高吞吐量)的工作负载,也擅长处理面向 Job 的(低吞吐量)工作负载
  • 消息数据既可以存储于内存中,也可以存储在磁盘中
  • 实现了生产者、消费者自动发现和消费者自动连接生产者,参见 nsqlookupd
  • 支持安全传输层协议(TLS),从而确保了消息传递的安全性
  • 具有与数据格式无关的消息结构,支持 JSON、Protocol Buffers、MsgPacek 等消息格式
  • 非常易于部署(几乎没有依赖)和配置(所有参数都可以通过命令行进行配置)
  • 使用了简单的 TCP 协议且具有多种语言的客户端功能库
  • 具有用于信息统计、管理员操作和实现生产者等的 HTTP 接口
  • 为实时检测集成了统计数据收集器 StatsD
  • 具有强大的集群管理界面,参见 nsqadmin

为了达到高效的分布式消息服务,NSQ 实现了合理、智能的权衡,从而使得其能够完全适用于生产环境中,具体内容如下:

  • 支持消息内存队列的大小设置,默认完全持久化(值为 0),消息即可持久到磁盘也可以保存在内存中
  • 保证消息至少传递一次, 以确保消息可以最终成功发送
  • 收到的消息是无序的, 实现了松散订购
  • 发现服务 nsqlookupd 具有最终一致性, 消息最终能够找到所有 Topic 生产者

官方和第三方还为 NSQ 开发了众多客户端功能库,如官方提供的基于 HTTP 的 nsqd 、Go 客户端 go-nsq 、Python 客户端 pynsq 、基于 Node.js 的 JavaScript 客户端 nsqjs 、异步 C 客户端 libnsq 、Java 客户端 nsq-java 以及基于各种语言的众多第三方客户端功能库。更多客户端功能库, 请读者点击这里查看。

从NSQ 的设计文档中得知,单个nsqd 被设计为一次能够处理多个流数据,NSQ 中的数据流模型是由stream 和consumer 组成。Topic 是一种独特的stream,Channel 是一个订阅了给定Topic 的consumer 逻辑分组。NSQ 的数据流模型结构如下图所示:

从上图可以看出,单个nsqd 可以有多个Topic,每个Topic 又可以有多个Channel。Channel 能够接收Topic 所有消息的副本,从而实现了消息多播分发;而Channel 上的每个消息被分发给它的订阅者,从而实现负载均衡,所有这些就组成了一个可以表示各种简单和复杂拓扑结构的强大框架。


NSQ 最初为提供短链接服务的应用 Bitly 而开发。另外,还有众多著名的应用在使用 NSQ,如社交新闻网站 Digg 、私密的社交应用 Path 、著名的开源的应用容器引擎 Docker 、支付公司 Stripe 、新闻聚合网站 Buzzfeed 、查看家人所在位置的移动应用 Life360 、网络工具公司 SimpleReach 等。

有兴趣的读者还可以为 NSQ 贡献代码、反馈问题或者通过官方提供的快速入门教程体验下NSQ 为高吞吐量的网络服务带来的性能提升。有关NSQ 的安装部署、客户端开发等相关信息,请登录其官网查看。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-06 10:4648554
用户头像

发布了 46 篇内容, 共 52.4 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

网络攻防学习笔记 Day23

穿过生命散发芬芳

5月日更 网络攻防

如何快速的学习一门新的编程语言?

架构精进之路

学习 5月日更

第四次作业

Geek_9cf7b5

SAP CRM 和 Cloud for Customer 的 Document flow API 介绍

汪子熙

CRM SAP abap C4C documentFlow

同时开左右两个SAPGUI编辑器显示同一段ABAP代码

汪子熙

SAP abap SAPGUI

CRM和ERP的Sales Organization的映射关系

汪子熙

中间件 CRM SAP ERP

一种不通过UI给C4C自定义BO创建测试数据的方式

汪子熙

CRM SAP C4C Cloud for Customer

ABAP OPEN SQL里OPEN CURSOR和SELECT的比较

汪子熙

CRM SAP abap ST05 OPENSQL

如何用ABAP代码读取CDS view association的数据

汪子熙

CDS SAP abap CDS view

SAP CRM中间件里的CSA队列有什么用

汪子熙

中间件 消息中间件 CRM SAP

模块4作业

梦寐凯旋

架构实战营

为什么使用中间件下载时总是收到警告消息Object is in status Wait

汪子熙

中间件 CRM SAP ERP

One Order行项目里Item Category是怎么计算出来的

汪子熙

CRM SAP abap ONE-ORDER

架构训练营-模块四作业

冬天的树

SAP S4CRM (SAP Customer Management for S/4HANA) 1.0 介绍

汪子熙

CRM SAP abap S/4HANA

Mybatis获取自增长id

风翱

mybatis 5月日更

CRM product UI里assignment block的显示隐藏逻辑

汪子熙

CRM SAP abap

SAP ABAP的权限检查跟踪(Authorization trace)工具使用步骤介绍

汪子熙

SAP abap Authorization Authentication

为什么有的系统的事务码BSP_WD_CMPWB看不见Enhance Component这个按钮

汪子熙

CRM SAP abap

如何处理错误信息 Pricing procedure could not be determined

汪子熙

CRM SAP

中间件事务码R3AC1里Block Size的含义

汪子熙

中间件 CRM SAP abap

如何检查某个用户是否具有某个权限对象上定义的某种权限

汪子熙

CRM ERP abap Authorization Authentication

CRM中间件里的发布-订阅者模式

汪子熙

CRM SAP ERP abap

如何从ERP将Material的Batch信息下载到CRM

汪子熙

CRM SAP ERP abap

【Flutter 专题】123 图解简易 GroupList 二级分组列表

阿策小和尚

5月日更 Flutter 小菜 0 基础学习 Flutter Android 小菜鸟

谣言粉碎机 - 极短时间内发送两个Odata request,前一个会自动被cancel掉?

汪子熙

JavaScript SAP SAP UI5

CRM数据库表COM_TA_R3_ID的数据来源

汪子熙

中间件 CRM SAP abap

面试问题 - 只用位操作在ABAP里实现a+b

汪子熙

面试 SAP abap

利用CRM中间件Middleware从ERP下载Customer Material的常见错误

汪子熙

中间件 CRM SAP ERP

数字货币兴起背后:全球货币超发 主权信用贬值

CECBC

如何从ERP下载Sales BOM到CRM

汪子熙

CRM SAP ERP abap

NSQ:分布式的实时消息平台_语言 & 开发_李小兵_InfoQ精选文章