HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

Go 语言分布式系统配置管理实践 --go archaius

  • 2020-03-27
  • 本文字数:1914 字

    阅读完需:约 6 分钟

Go语言分布式系统配置管理实践--go archaius

当单体应用向微服务转型后,有大量的配置需要管理,而你并不希望登录到远端机器去更改配置,并重启应用,尤其是现在已经是容器的时代了,也不希望因为一个配置的变更,而发布一个新的软件包。那么分布式系统中每个进程的动态配置管理及运行时热加载就成为了一个亟待解决的问题。为 go chassis 而生,他汲取了 netflix 的 archaius 框架经验,并做出来自己的创新特性。

架构


  • Source:配置源是一种标准接口,可以通过实现一个 source 来接入不同配置源,它定义配置来自哪个资源,配置可以来自配置中心 configcenter,来自本地文件,来自环境变量或是启动命令行。source 负责将配置项缓存到本地内存。用户可以选择加载任意的 source 实现。

  • Config center source: 配置中心源不同于其他 source,它包含一个 client 抽象,可以对接不同的生态系统,目前对接了携程开源的配置中心 Apollo。

  • Config manager:负责整合管理所有 source 的配置,每个 source 可以定义优先级,当通过 manager 获取配置时,如果 2 个不同的 source 有相同的配置,那么就会取最大优先级的配置。

  • Event Dispatcher:用户可以通过 Archaius API 进行配置变化监听,当 source 内部的配置项新增,更新,删除配置时,都会通知到监听器。

  • Source 优先级:优先级由大到小依次为 Config center,CLI,ENV,file,当有相同配置项的时候仅优先级大的配置生效。在一个分布式系统中,远程的配置中心理应拥有最大优先级,而在本地运行一个独立的进程时,通常的思维是,命令行参数优先级高于环境变量,高于本地文件内容。拥有了这样一套机制后,用户就无需再写代码处理配置项生效逻辑。

  • Config Factory: 封装了 event 和 config manager 的 API

  • Archaius API: 封装底层实现,提供友好的 API 供开发者使用

获取配置

获取配置有 2 种不同的手段:


1.调用 archaius API 的 Get 方法


2.注册监听器


事件的触发是由 soruce 的开发者来决定的,每个 source 的行为会有不同:


命令行与环境变量是不会产生任何事件的,当 archaius 运行后配置项就已经定下来了,只能使用 Get 方法获取。而文件 source 会在启动后拉取一遍本地文件内容并转换为配置项(可自定义转换算法,决定配置项形态),之后持续监听本地文件变化,当有变化发生时会刷新本地配置并通知到监听器。所以 2 种方法都支持。config center source 行为与文件又不同,在启动后,它就会周期拉取配置中心的配置,并且对比每一次配置项的不同,并触发不同类型事件。

配置项形态

假设程序有一个配置文件叫 a.yaml,内容如下


registry:   enabled: true   interval: 30s
复制代码


要考虑该如何去对待这 raw data,目前有 2 种方式


第一种,将配置项拆分为 java properties 风格的配置:


registry.refresh: trueregistry.interval: 30s
复制代码


go archaius 开放了 file handler 接口,允许你决定如何将文件内容处理为配置项



那么在远程的配置中心中,key value 的管理方式就要遵循 file handler 的行为,当你想变更 registry.refresh 时,就要在配置中心种更改这个配置项及值。


类似于开关类的配置项,这种 java properties 的管理方式还是不错的,当一个配置项改变时触发一次事件。


但是有一类配置项并不适合如此管理。


这就是第二种方式,比如 go chassis 中的路由管理配置文件:



通常都需要大范围的更改配置项,那么如果还使用切分的方式在配置中心中管理将会引起 go archaius 运行时大量的事件触发,并且,用户在使用体验上大打折扣,到处去找分散的配置项,逐一更改。正确的行为是,将文件名作为配置中心中的 key,文件内容作为 value。用户需要更改时,去找对应的文件名即可,修改后一次性下发,只会触发一次事件,完成路由的变更。


开发者应根据实际场景判断如何处理配置项形态。也可以自己实现 handler 来决定配置项形态

配置运行时热加载

在运行时可以随时通过统一的配置中心或者本地文件(不推荐分布式环境登到机器里改文件,但在本地 debug 时还是推荐使用文件来测试程序的热加载逻辑)更改配置了,那么接下来要解决的问题就是配置在运行时生效。


这里的技巧是使用 go 语言中的读写锁。我以 go chassis 中路由配置来说明:



go chassis 运行时总是会有不断地大并发数据访问 router config 这块缓存,使用一个读写锁 lock 中的读锁,每次访问缓存都用读锁,使用后,解开读锁。


向 archaius 注册监听器,需要自己编写监听器的逻辑,每当事件出发后就会通过 archaius 中的数据构建一个结构体数据,然后将数据存到本地缓存,首先使用 lock 的写锁锁住 router config,更新后,解开写锁。


在这样的机制下,就可以做到运行时热加载配置项而无需重启服务。


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/bajWt2K0L9nq40Wo3lN06g


2020-03-27 22:05933

评论

发布
暂无评论
发现更多内容

如何使用SAP CRM Marketing Survey创建一个市场问卷调查

汪子熙

SAP abap 11月日更 Survey

前端避坑指南丨辛辛苦苦开发的APP竟然被判定为简单网页打包?

YonBuilder低代码开发平台

混沌工程:分布式系统稳定性的“疫苗”

中原银行

微服务 云原生 混沌工程

Go语言学习查缺补漏ing Day4

Regan Yue

Go 语言 11月日更

云小课 | SA基线检查---给云服务的一次全面“体检”

华为云开发者联盟

态势感知 华为云 基线检查 上云合规 全面体检

大咖说·未来组织的底层逻辑

大咖说

云计算

什么是色彩心理学?

坚果

心理学 11月日更

Java 处理表格,真的很爽!

程序员鱼皮

Java

秀出新天际的SpringBoot笔记,让开发像搭积木一样简单

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

WeTest.net全球能力开放:锻造高品质产品,构建全球竞争力

WeTest

嵌入式系统软件开发:你需要知道的一切

龙智—DevSecOps解决方案

嵌入式系统 嵌入式系统软件开发

分析师机构发布中国低代码平台现状分析报告,华为云AppCube为数字化转型加码

华为云开发者联盟

低代码 数字化 华为云 低代码平台 AppCube

供应链安全隐患迫在眉睫,2021年全球APT攻击暗藏何种趋势?

科技热闻

图文并茂!你管这破玩意儿叫TCP?

热爱java的分享家

Java TCP 程序人生 编程语言 经验分享

Flux 源码之reactor 核心原理及概述

漫游指南

reactor Flux

这一次,飞书改变「飞书」

ToB行业头条

TDSQL | 云时代,我们到底需要怎样的数据库?

腾讯云数据库

数据库 tdsql

如果你正在准备面试TCP,看这一篇就够了

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

使用ABAP代码返回S/4HANA Material上维护的Attachment明细

汪子熙

SAP S/4HANA 11月日更 Material

Alibaba 新产 SpringCloud Aliababa(全彩第四版)开源

Geek_1df311

Java 编程 架构 微服务

恒源云(GPUSHARE)_教你如何团队合作搞算力!

恒源云

人工智能 深度学习 云算力

保持清洁的Git提交记录,三招就够了

Geek_1df311

Java 开源 架构 git 学习

业务流程建模,你真的做对了吗

明道云

打造数字化软件工厂 —— 一站式 DevOps 平台全景解读

CODING DevOps

DevOps 研发管理 CODING

TDengine助力顺丰科技大数据监控改造

TDengine

tdengine 时序数据库

金融级数据库新坐标:腾讯云TDSQL发布全自研新敏态引擎

腾讯云数据库

数据库 tdsql

TDSQL | 数据异常的本质和价值详解

腾讯云数据库

数据库 tdsql

欢迎 Apache ShardingSphere 社区海外新晋 Committer!

SphereEx

开源社区 ShardingSphere SphereEx Committer

第四范式x英特尔“AI应用与异构内存编程挑战赛”圆满收官

第四范式开发者社区

TDSQL | HTAP系统的问题与主义之争

腾讯云数据库

数据库 tdsql

Docker心经

卫先生

Python 编译器 编译器远程连接docker docker常用命令 docker总结

Go语言分布式系统配置管理实践--go archaius_语言 & 开发_华为云产品与解决方案_InfoQ精选文章