免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

NSQ:分布式的实时消息平台

  • 2015-02-06
  • 本文字数:1673 字

    阅读完需:约 5 分钟

NSQ 是一个基于 Go 语言的分布式实时消息平台,它基于 MIT 开源协议发布,代码托管在 GitHub,其当前最新版本是 0.3.1 版。NSQ 可用于大规模系统中的实时消息服务,并且每天能够处理数亿级别的消息,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。NSQ 具有分布式、去中心化的拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ 非常容易配置和部署,且具有最大的灵活性,支持众多消息协议。另外,官方还提供了拆箱即用 Go 和 Python 库。如果读者兴趣构建自己的客户端的话,还可以参考官方提供的协议规范

NSQ 是由四个重要组件构成:

  • nsqd :一个负责接收、排队、转发消息到客户端的守护进程
  • nsqlookupd :管理拓扑信息并提供最终一致性的发现服务的守护进程
  • nsqadmin :一套 Web 用户界面,可实时查看集群的统计数据和执行各种各样的管理任务
  • utilities :常见基础功能、数据流处理工具,如 nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

NSQ 的主要特点如下:

  • 具有分布式且无单点故障的拓扑结构 支持水平扩展,在无中断情况下能够无缝地添加集群节点
  • 低延迟的消息推送,参见官方提供的性能说明文档
  • 具有组合式的负载均衡和多播形式的消息路由
  • 既擅长处理面向流(高吞吐量)的工作负载,也擅长处理面向 Job 的(低吞吐量)工作负载
  • 消息数据既可以存储于内存中,也可以存储在磁盘中
  • 实现了生产者、消费者自动发现和消费者自动连接生产者,参见 nsqlookupd
  • 支持安全传输层协议(TLS),从而确保了消息传递的安全性
  • 具有与数据格式无关的消息结构,支持 JSON、Protocol Buffers、MsgPacek 等消息格式
  • 非常易于部署(几乎没有依赖)和配置(所有参数都可以通过命令行进行配置)
  • 使用了简单的 TCP 协议且具有多种语言的客户端功能库
  • 具有用于信息统计、管理员操作和实现生产者等的 HTTP 接口
  • 为实时检测集成了统计数据收集器 StatsD
  • 具有强大的集群管理界面,参见 nsqadmin

为了达到高效的分布式消息服务,NSQ 实现了合理、智能的权衡,从而使得其能够完全适用于生产环境中,具体内容如下:

  • 支持消息内存队列的大小设置,默认完全持久化(值为 0),消息即可持久到磁盘也可以保存在内存中
  • 保证消息至少传递一次, 以确保消息可以最终成功发送
  • 收到的消息是无序的, 实现了松散订购
  • 发现服务 nsqlookupd 具有最终一致性, 消息最终能够找到所有 Topic 生产者

官方和第三方还为 NSQ 开发了众多客户端功能库,如官方提供的基于 HTTP 的 nsqd 、Go 客户端 go-nsq 、Python 客户端 pynsq 、基于 Node.js 的 JavaScript 客户端 nsqjs 、异步 C 客户端 libnsq 、Java 客户端 nsq-java 以及基于各种语言的众多第三方客户端功能库。更多客户端功能库, 请读者点击这里查看。

从NSQ 的设计文档中得知,单个nsqd 被设计为一次能够处理多个流数据,NSQ 中的数据流模型是由stream 和consumer 组成。Topic 是一种独特的stream,Channel 是一个订阅了给定Topic 的consumer 逻辑分组。NSQ 的数据流模型结构如下图所示:

从上图可以看出,单个nsqd 可以有多个Topic,每个Topic 又可以有多个Channel。Channel 能够接收Topic 所有消息的副本,从而实现了消息多播分发;而Channel 上的每个消息被分发给它的订阅者,从而实现负载均衡,所有这些就组成了一个可以表示各种简单和复杂拓扑结构的强大框架。


NSQ 最初为提供短链接服务的应用 Bitly 而开发。另外,还有众多著名的应用在使用 NSQ,如社交新闻网站 Digg 、私密的社交应用 Path 、著名的开源的应用容器引擎 Docker 、支付公司 Stripe 、新闻聚合网站 Buzzfeed 、查看家人所在位置的移动应用 Life360 、网络工具公司 SimpleReach 等。

有兴趣的读者还可以为 NSQ 贡献代码、反馈问题或者通过官方提供的快速入门教程体验下NSQ 为高吞吐量的网络服务带来的性能提升。有关NSQ 的安装部署、客户端开发等相关信息,请登录其官网查看。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-06 10:4648533
用户头像

发布了 46 篇内容, 共 52.3 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

度小满”轩辕”系列发布12款金融大模型,金融实战能力出色

科技热闻

京东API赋能电商生态,商品详情随时掌握

技术冰糖葫芦

API 接口 API 文档 API 策略

IPQ9574/WiFi 7: Connecting everything, opening a new chapter in smart life

wallysSK

NFTScan | 03.04~03.10 NFT 市场热点汇总

NFT Research

NFT NFTScan

为什么要写技术方案?

老张

自动化测试 技术方案

探索AI的边界:如何精准地测试人工智能

霍格沃兹测试开发学社

前端的你常用的编程语言是什么?

小魏写代码

【搜索引擎】:ES 基础

L L

ES搜索 Java 技术栈

LED显示屏单元板:从外观看见质量的细节

Dylan

产品 数字 LED显示屏 全彩LED显示屏 led显示屏厂家

游戏行业需要堡垒机吗?用哪款堡垒机好?

行云管家

网络安全 游戏 数据安全 堡垒机

掌握提示词工程与大模型多场景实战

百度开发者中心

人工智能 自动驾驶 大模型 Prompt

组团上车游百度,爱采购财富游学团助推中小企业开年抢跑!

科技热闻

探索大模型提示词

百度开发者中心

人工智能 自然语言处理 图像识别 大模型

记一次群聊消息查询优化的实践

EquatorCoco

Java 大数据 优化

虾皮Shopee商品详情数据采集,item_get-根据ID取商品详情

Anzexi58

API 文档

牛客网最新开源,共1600+页 ,堪称Java面试八股文的天花板

架构师之道

编程 计算机 java面试

简单了解不同行业下4a的定义

行云管家

网络安全

浅谈代码架构

比伦

ios 架构

现代DevOps如何改写软件开发格局

禅道项目管理

DevOps 自动化测试 项目管理软件

AIGC 周报(3.03~3.10)

AIGC Weekly 周报

AI 互联网 周报 AIGC #人工智能

震惊:苹果手机电池栏“黑白无常”

京东科技开发者

大模型训练中的Prompt Learning

百度开发者中心

人工智能 自然语言处理 大模型

探索AI的边界:如何精准地测试人工智能

测试人

软件测试 测试开发

数据指标体系搭建方法及经验

ClkLog

NSQ:分布式的实时消息平台_语言 & 开发_李小兵_InfoQ精选文章