写点什么

.NET 分布式缓存中的发布和订阅模式

  • 2022-07-28
  • 本文字数:4499 字

    阅读完需:约 15 分钟

.NET分布式缓存中的发布和订阅模式

发布和订阅模式(Pub/Sub)是构建企业级.NET 应用程序不可或缺的工具。Pub/Sub 是一种消息传递范式,消息的发送方(发布者)不知道目标接收方(订阅者)的任何信息。此外,发布者和订阅者之间不直接发生交互,而是依赖一种叫作主题的公共媒介。因此,这是一个松散耦合的消息模型。


现在,我们假设在同一个架构中部署了多个不同的应用程序,它们需要一种机制来向彼此发送事件通知。这些事件可能是短暂的(因运行时发生变更引起的),也可能是数据库事件(因数据库发生变更引起的)。发布和订阅模式可以帮你实现这种分布式事件通知。

实现分布式事件通知的方案


为了设计一种分布式事件驱动的架构,开发人员通常会使用以下几种方案中的一种。

RDBMS 提供的数据通知

如果数据存储仅限于关系数据库,那么使用数据库的通知功能似乎是最好的选择。你可以向数据库服务器注册你感兴趣的内容,当数据库的数据集由于更新、添加或删除操作而发生变更时,你的应用程序会收到通知。


但 RDBMS 本质上是不可伸缩的,很容易成为应用程序的性能瓶颈。所以,你也不希望给数据库增加不必要的负载。此外,数据库通知功能本身就很慢,而且也不支持运行时数据共享。


现在你应该能理解为什么使用数据库作为消息传递媒介并不是应用程序的最佳选择。

消息队列


另一种选择是在架构中引入消息队列。虽然消息队列可以帮你在应用程序之间传输消息,但它们并不是以数据为中心的,也就是说,它们不会监控数据库或其他数据源的数据变更情况。此外,消息队列无法随应用程序一起伸缩。

自己实现


留给你的最后一个选择是构建满足自己需求的消息平台。虽然这个空沙盒一开始很吸引人,让你可以随心所欲地开发自己的东西,但从时间和资源方面来看,它太复杂了。尽管存在可能性,但构建和管理一个健壮且可伸缩的消息平台是一项非常艰巨的任务。


问题在于哪种解决方案更容易集成,具有可伸缩性、高可用性和可靠性。

将分布式缓存作为消息传递平台


别担心,这里有一个简单的解决方案。集成健壮的消息平台的一种更现代的方法是使用内存分布式缓存。NCache 是目前市场上唯一可用的真正原生的.NET/.NET Core 分布式缓存。它是一种内存分布式缓存,速度极快,可伸缩。它让你的应用程序能够处理极端的事务负载,并且不会让数据库成为瓶颈。你也可以用 NCache 来实时处理数据流。


NCache 通常部署在多层架构的中间位置。为了更好地说明这一点,请看下面这张图。


图 1 多层架构中的 NCache


NCache 是一个缓存服务器集群,它将频繁使用的数据保存在内存中,避免了大多数数据库访问,为.NET 应用程序和 Java 应用程序提供每秒处理数万个请求的能力。


我们先来看看如何将 NCache 作为事件驱动架构的消息传递总线。

NCache 的事件驱动消息传递


下图显示了 NCache 如何作为.NET 和 Java 应用程序的消息总线。


图 2 将 NCache 作为消息平台


在这里,NCache 使用快速紧凑的序列化将.NET 或 Java 对象转换成二进制文件,再将它们传递到缓存集群中,实现了跨平台通信。NCache 允许.NET 应用程序与 Java 应用程序之间发生交互。


NCache 通过事件来实现发布和订阅模式,并为你提供了不同的方法将消息传递给其他监听应用程序。我们来看一下这两种消息类型,并看看分布式缓存如何传递它们。


首先,我们需要明确应用程序需要监听的数据变更。NCache 本身是一个.NET 键值存储系统,提供了一些可以在缓存中的数据发生变更时更新应用程序的能力。因为这些变更都是在内存中发生的,所以不存在性能瓶颈。这些变更可以是:


  • 缓存级的数据项变更,无论是更新还是删除。

  • 整个缓存级的数据变更。

  • 持续查询。你注册了一个类似 SQL 的查询,观察缓存中的结果集是否发生了变更。如果是,你的应用程序将收到通知。

  • 集群变更(针对管理员来说),在添加或删除新节点或者节点发生崩溃时发生。NCache 还允许你注册依赖数据库,包括 SQL、Oracle 和 OleDb。这有助于缓存、数据库和应用程序之间保持同步。点击查看受支持的依赖数据库类型的完整清单。这些是注册在不同数据存储系统上的数据变更通知,只是 NCache 帮你处理掉了。你还可以将数据库通知与 NCache 数据通知结合起来,满足特定的应用需求。


另一方面,如果你只想将简单的消息传播到复杂的.NET 或 Java 对象,那么你应该使用自定义消息传递特性。应用程序可以生成数据并触发事件,感兴趣的监听器几乎可以立即接收到事件。

NCache 的 Pub/Sub API


NCache 提供了一个基于内存的发布和订阅特性和一个专门的发布和订阅消息存储,为在.NET Web 应用程序中实现实时信息共享提供支持。我们将看到 NCache 与发布和订阅模式的结合如何解决上述的挑战,并实现更好的应用程序间通信。


发布和订阅模型提供了一个通道,发布者在其中发布消息,感兴趣的用户订阅消息,从而将发布者和订阅者解耦。现在,我们将 NCache 作为消息总线,发布和订阅模型将受益于 NCache 底层的分布式架构和许多方便的特性。

基本架构


话不多说,我们先来了解一下 NCache Pub/Sub 的基本组件及其工作原理。NCache 一般的发布和订阅流程是这样的:发布者使用 ITopic 接口向主题发布消息,订阅者创建订阅一个或多个主题并接收相关消息。消息被成功传递时,NCache 将接收到确认。否则,NCache 会在消息过期之前继续重试(如果设置了过期时间)。未传递的消息将驻留在缓存中,直到被驱逐或过期。


图 3 NCache 的 Pub/Sub 架构

订阅类型


NCache 提供了两种不同的订阅类型,即非持久订阅和持久订阅。此外,NCache 也支持独占和共享订阅策略。


  • 非持久订阅:默认情况下,在主题上创建的所有订阅都是非持久订阅。它只向订阅者传递预期的消息,直到连接断开。如果用户因任何原因断开连接,在重新连线时不会收到旧消息。这种类型的订阅是排他性的,也就是一个订阅只属于一个订阅者。

  • 持久订阅:它考虑到订阅者在断开连接时会发生消息丢失的情况。NCache 在连接丢失时将保留订阅服务器的订阅。因此,订阅者可以在重新连线时收到已发布的消息。持久订阅也提供了两种策略:1)独占,一个订阅只属于一个活动的订阅者;2)共享,一个订阅可以有多个订阅者,消息是共享的。

开始使用 NCache Pub/Sub


我们假设有一个网店,不同的供应商会定期向商店中添加新商品。同时,还需要提供商品的销量和售价信息。对商品感兴趣的商店经理和客户需要了解新商品、正在销售的商品和最新的折扣情况。NCache 的发布和订阅特性可以在这个场景中提供分布式通知机制。为此,我们可以先创建 NCache 专用的发布和订阅消息存储。


我们将使用 NCache Pub/Sub API 来逐步实现上述场景的分布式消息传递过程。

创建主题


第一步是创建一个主题,不同供应商可以向这个主题发布关于新商品的更新消息。我们可以使用 NCache ITopic 接口创建具有唯一名称的主题。在下面的代码中,发布者应用程序使用 CreateTopic 方法创建了一个叫作 newProducts 的主题。


// 前提条件:已经连上NCache// 指定主题名string topicName = “newProducts”
// 创建主题ITopic topic = cache.MessagingService.CreateTopic(topicName);
复制代码


如果已经存在相同名称的主题,则返回主题的实例,类型为 ITopic。


NCache 允许在创建主题时设置主题优先级。如果某些事件需要以比其他事件更高的优先级处理时,这个特性就很有用。例如,商品已售罄就是紧急信息。同样,由于折扣或销售而导致商品价格变动对于卖方或买方来说都是很重要的信息。在这种情况下,我们可以在创建主题时将其设置为高优先级,这样客户端就可以毫不延迟地接收到相关通知。

发布消息


在创建了主题后,发布者应用程序就可以使用 Publish 方法向主题发布消息。为此,我们需要先通过指定主题名获得主题实例。NCache 为发布消息提供了以下两种传递模式:


  • All(默认):将消息传递给所有的订阅者。当需要广播信息时,这个就很有用。

  • Any:将消息传递给任意一个订阅者。此外,为了有效管理发布和订阅缓存的存储空间,你还可以设置消息的过期时间。


在下面的代码中,发布者向主题 newProducts 广播有关新商品的消息。


// 前提条件:已经连上NCache// 已创建"newProducts"主题string topicName = "newProducts"
// 获取主题实例ITopic productTopic = cache.MessagingService.GetTopic(topicName);
// 创建要放在消息中传递的对象Product product = FetchProductFromDB(10248);
// 用对象创建新消息var productMessage = new Message(product);
// 发布消息,将选项设置为AllorderTopic.Publish(productMessage, DeliveryOption.All, true);
复制代码

订阅主题


在创建了主题后,订阅者应用程序就可以通过获取订阅来接收发布到主题的消息。由于可以支持不同类型的订阅,如果要进行非持久订阅,可以使用 CreateSubscription 方法。如果要进行持久订阅,可以使用 CreateDurableSubscription 方法。


下面的代码展示了订阅者应用程序如何订阅 newProducts 主题。MessageReceived 回调将在收到通知时执行预期操作。例如,订阅者可以在收到销售通知时在 MessageReceived 回调中更新产品价格。


// 前提条件:已经连上NCache// 已创建"newProducts"主题string topicName = "newProducts"
// 获取主题实例ITopic productTopic = cache.MessagingService.GetTopic(topicName);
// 订阅newProducts主题// 指定MessageReceived回调ITopicSubscription orderSubscriber = orderTopic.CreateSubscription(MessageReceived);
复制代码


在上面的示例中,我们创建了一个非持久订阅。此外,如果需要在重新连接时从订阅的主题接收旧消息,可以创建持久订阅。


NCache 还提供了一种基于模式的订阅方法,支持通过多个通配符来订阅与模式匹配的单个或多个主题。

注册通知


NCache 可以让发布者知道消息的状态和主题的可用性。发布者应用程序可以注册下面的通知:


  • MessageDeliveryFailure:如果由于任何问题而无法传递消息,则通知发布者。

  • OnTopicDeleted:当主题被删除时通知发布者。以下是发布者注册这两种类型的通知的代码。


// 你有一个主题实例productTopic
// 注册消息传递失败通知productTopic.MessageDeliveryFailure += OnFailureMessageReceived;
//注册主题删除通知productTopic.OnTopicDeleted = TopicDeleted;
复制代码


遵循以上这些步骤,一个基本的发布和订阅消息架构就可以被集成到任何 ASP.NET/.NET Core 应用程序中。

结论


到目前为止,我们已经了解了 NCache 的发布和订阅特性。我们来总结一下 Ncache Pub/Sub 在处理现有解决方案的局限性方面提供了哪些好处。


  • 由于具有线性可伸缩性,NCache Pub/Sub 可以通过添加缓存服务器和负载均衡来处理不断增加的订阅请求。伸缩对用户是透明的,不会影响通信过程。因此,你可以很容易地使用 NCache Pub/Sub 来扩展系统的通信性能。

  • NCache Pub/Sub 提供了持久订阅、消息传递重试和传递失败通知,以避免消息丢失。此外,NCache 的分布式和复制架构确保了 NCache 的高可用性。所有这些功能确保了可靠的通信。

  • 由于 NCache 是基于内存的分布式缓存,因此驻留在缓存中的消息存储速度非常快。此外,NCache 允许缓存中的数据过期并将其回收,从而智能地管理好存储空间。NCache 的可扩展性、可靠性和存储效率,以及发布和订阅的松耦合和异步消息传递模式,使得 NCache 的发布和订阅特性在未来的.NET/.NET Core 应用程序的分布式消息传递方面具有很大的应用前景。


原文链接

https://dzone.com/articles/pubsub-design-pattern-in-net-distributed-cache

2022-07-28 17:352358

评论

发布
暂无评论
发现更多内容

Sequoia Cache Cleaner for mac(系统清理优化工具)v20.1激活版

小玖_苹果Mac软件

如何用大模型+向量数据库,帮你搞定出行规划与旅游blog

Zilliz

向量数据库 LLM 大模型幻觉 微调

软件测试丨Python语法与数据结构

测试人

软件测试

Steinberg Dorico Pro for Mac(乐谱编写软件)v5.1.70中文激活版

小玖_苹果Mac软件

ExponTech华瑞指数云荣获2024年度AI存储产品金奖

科技热闻

FSNotes for mac(文本处理软件)v6.9.8 中文免激活版

小玖_苹果Mac软件

24年最新Java岗常见面试题(1000道附答案分享)

采菊东篱下

程序员 java面试

如何开通向量检索服务?

DashVector

人工智能 AI 向量检索 大模型 向量数据库

套娃嵌入:如何优化向量搜索成本,并兼顾延迟与召回

Zilliz

Milvus 向量搜索 套娃嵌入 向量存储

WonderPen妙笔 for Mac(Mac文本写作工具)v2.5.8中文激活版

小玖_苹果Mac软件

WonderPen妙笔 WonderPen下载 WonderPen中文版 WonderPen激活版

10 亿行数据集处理挑战:从 15 分钟到 5 秒

俞凡

golang

Paste Wizard for Mac(剪贴板管理器)v14.1激活版

小玖_苹果Mac软件

KubeEdge边缘设备管理系列(一):基于物模型的设备管理API设计与实现

华为云原生团队

云计算 开源 容器 云原生 kubeedge

CodeRunner for Mac(多功能代码编辑软件)v4.4注册激活版

小玖_苹果Mac软件

【FAQ】HarmonyOS SDK 闭源开放能力 — 公共模块

HarmonyOS SDK

企业采购比价:采购时借用京东商品详情接口来采购比价

tbapi

京东商品详情接口 京东API

如何开展超大型企业IT中心的企业级需求管理

易成研发中心

为什么要做需求管理

易成研发中心

需求管理

淘宝天猫API接口调用:轻松获取商品描述与评论

代码忍者

API 接口 pinduoduo API

分组向量检索

DashVector

人工智能 数据库 向量检索 大模型

AI Transcription for Mac(AI语音转录软件)v2.9激活版

小玖_苹果Mac软件

CAPS Wizard for mac(打字输入辅助应用)v5.5激活版

小玖_苹果Mac软件

Cycling 74 Max for Mac(音乐可视化编程软件)v9.0.2激活版

小玖_苹果Mac软件

探索淘宝天猫API:轻松调用商品详情与关键词搜索商品列表

代码忍者

API 接口 pinduoduo API

工作中如何不动声色展现价值

俞凡

思维模型 认知 沟通技巧

NFTScan | 11.18~11.24 NFT 市场热点汇总

NFT Research

NFT\ NFTScan

Screen Recorder by Omi Mac(Omi录屏专家‬)v1.3.11激活版

小玖_苹果Mac软件

向量检索服务产品规格

DashVector

人工智能 AI 向量检索 大模型 向量数据库

一线大厂 Java 面试八股文大全(整理版)附答案详解!

架构师之道

程序员 java面试

Python面向对象编程:开启软件测试新纪元

测试人

软件测试

.NET分布式缓存中的发布和订阅模式_文化 & 方法_Nandkishor Yadav_InfoQ精选文章