立即领取|华润集团、宁德核电、东风岚图等 20+ 标杆企业数字化人才培养实践案例 了解详情
写点什么

应用缓存服务器 (coconut) ,顺手写一个

  • 2020-06-20
  • 本文字数:8763 字

    阅读完需:约 29 分钟

应用缓存服务器(coconut) ,顺手写一个

1. 概述

coconut 是一款应用缓存服务器,主要用于场景化的缓存服务。coconut 目前提供了两种场景模式:全局序列号发生器、全局额度管理器,可成为分布式、集群化系统架构中高性能独立功能部件。


  • 全局序列号发生器 为分布式、集群化系统提供有序增长、全局唯一、可反解的高性能序列号生成分发服务

  • 全局额度管理器 为分布式、集群化系统提供对理财额度、库存数量等高频热点对象的高性能无锁接口服务

2. 全局序列号发生器

2.1. 序列号格式

coconut 生成的序列号为 16 个 64 进制可见字符组成,具体格式如下:


区号区名说明
第一区分区目录(index)2个六十四进制字符 共12个二进制位
第一段3个二进制位表示保留区六十四进制字符个数
第二段3个二进制位表示服务器编号区六十四进制字符个数
第三段3个二进制位表示秒戳区六十四进制字符个数
第四段3个二进制位表示序号区六十四进制字符个数
第二区保留区(reserve)1个六十四进制字符 有6个二进制位可用
第三区服务器编号区(server_no)2个六十四进制字符 可表示4096台发起器服务器
第四区秒戳区(secondstamp)6个六十四进制字符 可表示2179年的秒戳
第五区序号区(serial_no)5个六十四进制字符 序号区间[1,10亿]
共16个六十四进制字符


(64 进制字符集合:0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ-_)


如序列号:aR2011o_cWG00002


反解出来包含如下信息


  • reserve: 2

  • server_no: 1

  • secondstamp: 1492962986(2017-04-23 23:56:26)

  • serial_no: 2

2.2. 服务接口

coconut 的全局序列号发生器提供了 2 个 HTTP 接口:

2.2.1. 获取序列号

  • 方法 : GET

  • URL : http://(domain|ip):[port]/fetch

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送一个有序增长的全局唯一的序列号,如 aR2011o_cWG00002;如果发生系统级错误,返回 HTTP 状态码非 200

  • 备注 : 可利用备注区区分业务类型;可利用服务器编号部署序列号发生器集群

2.2.2. 反解序列号

  • 方法 : GET

  • URL : http://(domain|ip):[port]/explain?sequence=(序列号)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送反解文本;如果发生系统级错误,返回 HTTP 状态码非 200

  • 备注 : 反解文本格式"reserve: (保留值) server_no: (服务器编号) secondstamp: (1970 年至今秒戳)((人可阅读的日期时间格式)) serial_no: (序号)"

2.3. 场景示例

2.3.1. 启动服务

$ coconut -M SEQUENCE -l 127.0.0.1 -p 9527 -c 1 --loglevel-warn --reserve 2 --server-no 1
复制代码

2.3.2. 获取序列号

$ curl http://127.0.0.1:9527/fetchaR2011pfizz00001
复制代码

2.3.3. 反解序列号

$ curl http://127.0.0.1:9527/explain?sequence=aR2011pfizz00001reserve: 2 server_no: 1 secondstamp: 1497180387 (2017-06-11 19:26:27) serial_no: 1
复制代码

2.3.4. 停止服务

$ ps -ef | grep -w coconut | awk '{if($3==1)print $2}' | xargs kill
复制代码

2.4. 性能压测

2.4.1. 获取序列号(短连接)

$ ab -c 100 -n 100000 http://127.0.0.1:9527/fetchThis is ApacheBench, Version 2.3 <$Revision: 1430300 $>Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 127.0.0.1 (be patient)Completed 10000 requestsCompleted 20000 requestsCompleted 30000 requestsCompleted 40000 requestsCompleted 50000 requestsCompleted 60000 requestsCompleted 70000 requestsCompleted 80000 requestsCompleted 90000 requestsCompleted 100000 requestsFinished 100000 requests

Server Software: Server Hostname: 127.0.0.1Server Port: 9527Document Path: /fetchDocument Length: 19 bytes
Concurrency Level: 100Time taken for tests: 2.439 secondsComplete requests: 100000Failed requests: 0Write errors: 0Total transferred: 5800000 bytesHTML transferred: 1900000 bytesRequests per second: 41008.25 [#/sec] (mean)Time per request: 2.439 [ms] (mean)Time per request: 0.024 [ms] (mean, across all concurrent requests)Transfer rate: 2322.73 [Kbytes/sec] received
Connection Times (ms) min mean[+/-sd] median maxConnect: 0 1 29.2 0 1003Processing: 0 0 3.6 0 401Waiting: 0 0 3.6 0 401Total: 0 1 30.2 0 1403Percentage of the requests served within a certain time (ms) 50% 0 66% 0 75% 0 80% 0 90% 0 95% 0 98% 0 99% 1 100% 1403 (longest request)
复制代码

3. 全局额度管理器

全局额度管理器提供高性能无锁接口对额度、库存等高频热点对象做查询额度、申请额度、撤销流水、补充额度、扣减额度、清空额度等处理。


3.1. 使用说明

命令行指定额度、导出结果流水文件名启动 coconut,coconut 对外提供 HTTP 接口,客户端可长/短连接发送指令给 coconut 以操作额度。期间还可以补充、扣减甚至清空额度。当额度为 0 时自动导出结果流水文件,可能会重复导出覆盖导出文件。


导出结果流水文件格式为每行一条流水,白字符分割为两列:申请流水号、申请额度,如果某流水被撤销则再加一列:撤销流水号。

3.2. 服务接口

coconut 的全局额度管理器提供了 6 个 HTTP 接口:

3.2.1. 查询额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/query

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.2. 申请额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/apply?amt=(额度值)


返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(申请流水号) (剩余额度值)",如果额度已空或额度不够则返回"0",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.3. 撤销流水

  • 方法 : GET

  • URL : http://(domain|ip):[port]/cancel?jnlsno=(申请流水号)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(撤销流水号) (剩余额度值)",如果找不到原申请流水或已被撤销则返回"0",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.4. 补充额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/increase?amt=(额度值)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.5. 扣减额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/decrease?amt=(额度值)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.6. 清空额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/empty

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.3. 场景示例

3.3.1. 启动服务

$ coconut -M LIMITAMT -l 127.0.0.1 -p 9527 -c 1 --loglevel-warn --limit-amt 1000000 --export-jnls-amt-pathfilename $HOME/coconut_JNLSNO_AMT.txt
复制代码

3.3.2. 查询额度

$ curl http://127.0.0.1:9527/query1000000
复制代码

3.3.3. 申请额度

$ curl http://127.0.0.1:9527/apply?amt=11 999999$ curl http://127.0.0.1:9527/apply?amt=22 999997$ curl http://127.0.0.1:9527/apply?amt=33 999994$ curl http://127.0.0.1:9527/apply?amt=44 999990$ curl http://127.0.0.1:9527/apply?amt=55 999985
复制代码

3.3.4. 撤销流水

$ curl http://127.0.0.1:9527/cancel?jnlsno=46 999989
复制代码

3.3.5. 补充额度

$ curl http://127.0.0.1:9527/increase?amt=10000001000000
复制代码

3.3.6. 扣减额度

$ curl http://127.0.0.1:9527/decrease?amt=100000900000
复制代码

3.3.7. 清空额度

$ curl http://127.0.0.1:9527/empty0
复制代码

3.3.8. 查看导出的申请流水文件

$ ls -l $HOME/coconut_JNLSNO_AMT.txt-rw-rw-r--   1 calvin calvin        22 6月  11 19:47 coconut_JNLSNO_AMT.txt$ cat $HOME/coconut_JNLSNO_AMT.txt1 12 23 34 4 65 5
复制代码

3.4. 性能压测

3.4.1. 申请额度(长连接)

$ curl http://127.0.0.1:9527/increase?amt=10000001000000$ ab -kc 100 -n 1000000 http://127.0.0.1:9527/apply?amt=1This is ApacheBench, Version 2.3 <$Revision: 1430300 $>Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 127.0.0.1 (be patient)Completed 100000 requestsCompleted 200000 requestsCompleted 300000 requestsCompleted 400000 requestsCompleted 500000 requestsCompleted 600000 requestsCompleted 700000 requestsCompleted 800000 requestsCompleted 900000 requestsCompleted 1000000 requestsFinished 1000000 requests

Server Software: Server Hostname: 127.0.0.1Server Port: 9527Document Path: /apply?amt=1Document Length: 12 bytes
Concurrency Level: 100Time taken for tests: 3.389 secondsComplete requests: 1000000Failed requests: 999982 (Connect: 0, Receive: 0, Length: 999982, Exceptions: 0)Write errors: 0Keep-Alive requests: 1000000Total transferred: 79777768 bytesHTML transferred: 16777786 bytesRequests per second: 295029.46 [#/sec] (mean)Time per request: 0.339 [ms] (mean)Time per request: 0.003 [ms] (mean, across all concurrent requests)Transfer rate: 22985.15 [Kbytes/sec] received
Connection Times (ms) min mean[+/-sd] median maxConnect: 0 0 0.1 0 8Processing: 0 0 0.1 0 8Waiting: 0 0 0.1 0 3Total: 0 0 0.1 0 10Percentage of the requests served within a certain time (ms) 50% 0 66% 0 75% 0 80% 0 90% 0 95% 0 98% 1 99% 1 100% 10 (longest request)
复制代码


停止服务


$ ps -ef | grep -w coconut | awk '{if($3==1)print $2}' | xargs kill
复制代码

4. 附录 A.启动命令行参数

不带参数的执行 coconut 会显示所有参数提示


$ coconutcoconut v0.0.7.0Copyright by calvin 2017USAGE : coconut -M ( SEQUENCE | LIMITAMT ) [ -l (listen_ip) ] -p (listen_port) [ -c (processor_count) ] [ --loglevel-(debug|info|warn|error|fatal) ] [ --cpu-affinity (begin_mask) ]                       global serial service :                             --reserve (reserve) --server-no (server_no)                       global limit-amt service :                             --limit-amt (amt) --export-jnls-amt-pathfilename (pathfilename)
复制代码


  • -M ( SEQUENCE | LIMITAMT ) : 场景模式 SEQUENCE 全局序列号发生器;LIMITAMT 全局额度管理器

  • -p (listen_port) : 侦听端口

  • -c (processor_count) : 并发进程数量。全局额度管理器模式目前只支持单并发

  • –loglevel-(debug|info|warn|error|fatal) : 日志等级,默认 warn 等级。日志文件输出到$HOME/log/coconut.log


全局序列号发生器 场景模式


  • –reserve (reserve) :保留值,可用作业务类型

  • –server-no (server_no) :服务器编号


全局额度管理器 场景模式


  • –limit-amt (amt) : 总额度

  • –export-jnls-amt-pathfilename (pathfilename) : 申请结束后导出申请流水文件

5. 最后

coconut 使用到了作者的其它开源项目 iLOG3,fasterhttp,tcpdaemon。


coconut 全套源码托管在 开源中国码云 和 github,如有疑问或建议可以通过 网易邮箱 和 GMAIL 邮箱 联系到作者。


作者介绍


厉华,出生在杭州,上学在杭州,工作在杭州。求学期间爱好散文诗歌,作品多次在学校活动中朗诵,但语文成绩不咋地。1999 年考入浙江工业大学机械工程及自动化专业,大学期间获得的最高荣誉是 2000 年计算机二级全院第一、2001 年全国大学生数据建模国家二等奖、若干年度奖学金等,奖金给自己攒了台 PC。2003 年参加工作后一直从事软件核心研发,目前在杭州银行信息技术部负责基础架构。


2020-06-20 18:36648

评论

发布
暂无评论
发现更多内容

软件测试学习笔记丨Selenium 多窗口切换

测试人

软件测试 selenium

事业-最佳实践-个人-效率提升

南山

研发效能 工作效率 研发效率

Infuse Pro v7.7.6免激活版 Apple TV 上最强的播放器

理理

Alfred 5 for Mac中文汉化版 快速启动工具 苹果mac版

Rose

win版Adobe Media Encoder 2024(Me2024)直装版

iMac小白

2024-05-29:用go语言,给定一个只包含正整数的数组 nums,任务是通过多次操作最小化数组的长度。 每次操作可以从数组中选择两个不同的下标 i 和 j,使得 nums[i] 和 nums[j

福大大架构师每日一题

福大大架构师每日一题

win版Perfectly Clear Workbench(图片编辑软件)v4.6.1.2663 特别版

iMac小白

亮相CCIG2024,合合信息文档解析技术破解大模型语料“饥荒”难题

合合技术团队

人工智能 OCR 合合信息 ccig 文档解析技术

win版DBeaver Ultimate (数据库连接管理) v24.1.0 特别版

iMac小白

Nevercenter CameraBag Photo 一键美化照片

理理

Author for Mac 文档编辑工具(增强引文副本/术语/表视图等功能)

理理

LED显示屏技术解析和优势

Dylan

技术 LED显示屏 全彩LED显示屏 led显示屏厂家

升级你的数据库管理体验:SQLPro for SQLite 2024 mac版

理理

DeFi的历程与未来:探寻去中心化金融的前行路

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

Word 2021 LTSC for Mac(word 2021)中文版下载安装

理理

Viwizard Audio Converter Mac版 转换各种类型的音频文件

理理

苹果mac效率提升:Slidepad 自动隐藏、快速搜索、多个桌面支持

理理

win版Abelssoft EasyBackup 2024(数据备份工具) v14.04 特别版

iMac小白

干货收藏!Calico的BGP RouteReflector策略实践

华为云开发者联盟

Kubernetes 云原生 华为云 华为云开发者联盟 企业号2024年5月PK榜

DxO PhotoLab 6图像编辑器:支持多种格式,从JPEG到RAW

理理

事业-最佳实践-个人-专栏高效学习

南山

高效学习 技术专栏

【YashanDB知识库】Java程序调用存储过程,在提取clob时报YAS-00004

YashanDB

数据库 yashandb 崖山数据库

Minitab Express 数据分析mac版 含破解补丁及安装教程 兼容M1/M2

Rose

Data Lakehouse:你的下一个数据仓库

StarRocks

数据库 大数据 数据湖 湖仓一体

Perfectly Clear Workbench中文,一站式照片处理解决方案

理理

Autodesk AutoCAD2020(附安装教程图解) 中文特别版

Rose

Topaz Video AI 破解版下载 AI视频无损放大软件 Mac&win

Rose

web3社交网络开发

区块链开发团队DappNetWork

应用缓存服务器(coconut) ,顺手写一个_文化 & 方法_技术琐话_InfoQ精选文章