写点什么

应用缓存服务器 (coconut) ,顺手写一个

  • 2020-06-20
  • 本文字数:8763 字

    阅读完需:约 29 分钟

应用缓存服务器(coconut) ,顺手写一个

1. 概述

coconut 是一款应用缓存服务器,主要用于场景化的缓存服务。coconut 目前提供了两种场景模式:全局序列号发生器、全局额度管理器,可成为分布式、集群化系统架构中高性能独立功能部件。


  • 全局序列号发生器 为分布式、集群化系统提供有序增长、全局唯一、可反解的高性能序列号生成分发服务

  • 全局额度管理器 为分布式、集群化系统提供对理财额度、库存数量等高频热点对象的高性能无锁接口服务

2. 全局序列号发生器

2.1. 序列号格式

coconut 生成的序列号为 16 个 64 进制可见字符组成,具体格式如下:


区号区名说明
第一区分区目录(index)2个六十四进制字符 共12个二进制位
第一段3个二进制位表示保留区六十四进制字符个数
第二段3个二进制位表示服务器编号区六十四进制字符个数
第三段3个二进制位表示秒戳区六十四进制字符个数
第四段3个二进制位表示序号区六十四进制字符个数
第二区保留区(reserve)1个六十四进制字符 有6个二进制位可用
第三区服务器编号区(server_no)2个六十四进制字符 可表示4096台发起器服务器
第四区秒戳区(secondstamp)6个六十四进制字符 可表示2179年的秒戳
第五区序号区(serial_no)5个六十四进制字符 序号区间[1,10亿]
共16个六十四进制字符


(64 进制字符集合:0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ-_)


如序列号:aR2011o_cWG00002


反解出来包含如下信息


  • reserve: 2

  • server_no: 1

  • secondstamp: 1492962986(2017-04-23 23:56:26)

  • serial_no: 2

2.2. 服务接口

coconut 的全局序列号发生器提供了 2 个 HTTP 接口:

2.2.1. 获取序列号

  • 方法 : GET

  • URL : http://(domain|ip):[port]/fetch

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送一个有序增长的全局唯一的序列号,如 aR2011o_cWG00002;如果发生系统级错误,返回 HTTP 状态码非 200

  • 备注 : 可利用备注区区分业务类型;可利用服务器编号部署序列号发生器集群

2.2.2. 反解序列号

  • 方法 : GET

  • URL : http://(domain|ip):[port]/explain?sequence=(序列号)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送反解文本;如果发生系统级错误,返回 HTTP 状态码非 200

  • 备注 : 反解文本格式"reserve: (保留值) server_no: (服务器编号) secondstamp: (1970 年至今秒戳)((人可阅读的日期时间格式)) serial_no: (序号)"

2.3. 场景示例

2.3.1. 启动服务

$ coconut -M SEQUENCE -l 127.0.0.1 -p 9527 -c 1 --loglevel-warn --reserve 2 --server-no 1
复制代码

2.3.2. 获取序列号

$ curl http://127.0.0.1:9527/fetchaR2011pfizz00001
复制代码

2.3.3. 反解序列号

$ curl http://127.0.0.1:9527/explain?sequence=aR2011pfizz00001reserve: 2 server_no: 1 secondstamp: 1497180387 (2017-06-11 19:26:27) serial_no: 1
复制代码

2.3.4. 停止服务

$ ps -ef | grep -w coconut | awk '{if($3==1)print $2}' | xargs kill
复制代码

2.4. 性能压测

2.4.1. 获取序列号(短连接)

$ ab -c 100 -n 100000 http://127.0.0.1:9527/fetchThis is ApacheBench, Version 2.3 <$Revision: 1430300 $>Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 127.0.0.1 (be patient)Completed 10000 requestsCompleted 20000 requestsCompleted 30000 requestsCompleted 40000 requestsCompleted 50000 requestsCompleted 60000 requestsCompleted 70000 requestsCompleted 80000 requestsCompleted 90000 requestsCompleted 100000 requestsFinished 100000 requests

Server Software: Server Hostname: 127.0.0.1Server Port: 9527Document Path: /fetchDocument Length: 19 bytes
Concurrency Level: 100Time taken for tests: 2.439 secondsComplete requests: 100000Failed requests: 0Write errors: 0Total transferred: 5800000 bytesHTML transferred: 1900000 bytesRequests per second: 41008.25 [#/sec] (mean)Time per request: 2.439 [ms] (mean)Time per request: 0.024 [ms] (mean, across all concurrent requests)Transfer rate: 2322.73 [Kbytes/sec] received
Connection Times (ms) min mean[+/-sd] median maxConnect: 0 1 29.2 0 1003Processing: 0 0 3.6 0 401Waiting: 0 0 3.6 0 401Total: 0 1 30.2 0 1403Percentage of the requests served within a certain time (ms) 50% 0 66% 0 75% 0 80% 0 90% 0 95% 0 98% 0 99% 1 100% 1403 (longest request)
复制代码

3. 全局额度管理器

全局额度管理器提供高性能无锁接口对额度、库存等高频热点对象做查询额度、申请额度、撤销流水、补充额度、扣减额度、清空额度等处理。


3.1. 使用说明

命令行指定额度、导出结果流水文件名启动 coconut,coconut 对外提供 HTTP 接口,客户端可长/短连接发送指令给 coconut 以操作额度。期间还可以补充、扣减甚至清空额度。当额度为 0 时自动导出结果流水文件,可能会重复导出覆盖导出文件。


导出结果流水文件格式为每行一条流水,白字符分割为两列:申请流水号、申请额度,如果某流水被撤销则再加一列:撤销流水号。

3.2. 服务接口

coconut 的全局额度管理器提供了 6 个 HTTP 接口:

3.2.1. 查询额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/query

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.2. 申请额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/apply?amt=(额度值)


返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(申请流水号) (剩余额度值)",如果额度已空或额度不够则返回"0",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.3. 撤销流水

  • 方法 : GET

  • URL : http://(domain|ip):[port]/cancel?jnlsno=(申请流水号)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(撤销流水号) (剩余额度值)",如果找不到原申请流水或已被撤销则返回"0",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.4. 补充额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/increase?amt=(额度值)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.5. 扣减额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/decrease?amt=(额度值)

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.2.6. 清空额度

  • 方法 : GET

  • URL : http://(domain|ip):[port]/empty

  • 返回值 : 如果调用成功,返回 HTTP 状态码 200,HTTP 体中回送"(剩余额度值)",如果发生参数错误则返回"-1";如果发生系统级错误,返回 HTTP 状态码非 200

3.3. 场景示例

3.3.1. 启动服务

$ coconut -M LIMITAMT -l 127.0.0.1 -p 9527 -c 1 --loglevel-warn --limit-amt 1000000 --export-jnls-amt-pathfilename $HOME/coconut_JNLSNO_AMT.txt
复制代码

3.3.2. 查询额度

$ curl http://127.0.0.1:9527/query1000000
复制代码

3.3.3. 申请额度

$ curl http://127.0.0.1:9527/apply?amt=11 999999$ curl http://127.0.0.1:9527/apply?amt=22 999997$ curl http://127.0.0.1:9527/apply?amt=33 999994$ curl http://127.0.0.1:9527/apply?amt=44 999990$ curl http://127.0.0.1:9527/apply?amt=55 999985
复制代码

3.3.4. 撤销流水

$ curl http://127.0.0.1:9527/cancel?jnlsno=46 999989
复制代码

3.3.5. 补充额度

$ curl http://127.0.0.1:9527/increase?amt=10000001000000
复制代码

3.3.6. 扣减额度

$ curl http://127.0.0.1:9527/decrease?amt=100000900000
复制代码

3.3.7. 清空额度

$ curl http://127.0.0.1:9527/empty0
复制代码

3.3.8. 查看导出的申请流水文件

$ ls -l $HOME/coconut_JNLSNO_AMT.txt-rw-rw-r--   1 calvin calvin        22 6月  11 19:47 coconut_JNLSNO_AMT.txt$ cat $HOME/coconut_JNLSNO_AMT.txt1 12 23 34 4 65 5
复制代码

3.4. 性能压测

3.4.1. 申请额度(长连接)

$ curl http://127.0.0.1:9527/increase?amt=10000001000000$ ab -kc 100 -n 1000000 http://127.0.0.1:9527/apply?amt=1This is ApacheBench, Version 2.3 <$Revision: 1430300 $>Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 127.0.0.1 (be patient)Completed 100000 requestsCompleted 200000 requestsCompleted 300000 requestsCompleted 400000 requestsCompleted 500000 requestsCompleted 600000 requestsCompleted 700000 requestsCompleted 800000 requestsCompleted 900000 requestsCompleted 1000000 requestsFinished 1000000 requests

Server Software: Server Hostname: 127.0.0.1Server Port: 9527Document Path: /apply?amt=1Document Length: 12 bytes
Concurrency Level: 100Time taken for tests: 3.389 secondsComplete requests: 1000000Failed requests: 999982 (Connect: 0, Receive: 0, Length: 999982, Exceptions: 0)Write errors: 0Keep-Alive requests: 1000000Total transferred: 79777768 bytesHTML transferred: 16777786 bytesRequests per second: 295029.46 [#/sec] (mean)Time per request: 0.339 [ms] (mean)Time per request: 0.003 [ms] (mean, across all concurrent requests)Transfer rate: 22985.15 [Kbytes/sec] received
Connection Times (ms) min mean[+/-sd] median maxConnect: 0 0 0.1 0 8Processing: 0 0 0.1 0 8Waiting: 0 0 0.1 0 3Total: 0 0 0.1 0 10Percentage of the requests served within a certain time (ms) 50% 0 66% 0 75% 0 80% 0 90% 0 95% 0 98% 1 99% 1 100% 10 (longest request)
复制代码


停止服务


$ ps -ef | grep -w coconut | awk '{if($3==1)print $2}' | xargs kill
复制代码

4. 附录 A.启动命令行参数

不带参数的执行 coconut 会显示所有参数提示


$ coconutcoconut v0.0.7.0Copyright by calvin 2017USAGE : coconut -M ( SEQUENCE | LIMITAMT ) [ -l (listen_ip) ] -p (listen_port) [ -c (processor_count) ] [ --loglevel-(debug|info|warn|error|fatal) ] [ --cpu-affinity (begin_mask) ]                       global serial service :                             --reserve (reserve) --server-no (server_no)                       global limit-amt service :                             --limit-amt (amt) --export-jnls-amt-pathfilename (pathfilename)
复制代码


  • -M ( SEQUENCE | LIMITAMT ) : 场景模式 SEQUENCE 全局序列号发生器;LIMITAMT 全局额度管理器

  • -p (listen_port) : 侦听端口

  • -c (processor_count) : 并发进程数量。全局额度管理器模式目前只支持单并发

  • –loglevel-(debug|info|warn|error|fatal) : 日志等级,默认 warn 等级。日志文件输出到$HOME/log/coconut.log


全局序列号发生器 场景模式


  • –reserve (reserve) :保留值,可用作业务类型

  • –server-no (server_no) :服务器编号


全局额度管理器 场景模式


  • –limit-amt (amt) : 总额度

  • –export-jnls-amt-pathfilename (pathfilename) : 申请结束后导出申请流水文件

5. 最后

coconut 使用到了作者的其它开源项目 iLOG3,fasterhttp,tcpdaemon。


coconut 全套源码托管在 开源中国码云 和 github,如有疑问或建议可以通过 网易邮箱 和 GMAIL 邮箱 联系到作者。


作者介绍


厉华,出生在杭州,上学在杭州,工作在杭州。求学期间爱好散文诗歌,作品多次在学校活动中朗诵,但语文成绩不咋地。1999 年考入浙江工业大学机械工程及自动化专业,大学期间获得的最高荣誉是 2000 年计算机二级全院第一、2001 年全国大学生数据建模国家二等奖、若干年度奖学金等,奖金给自己攒了台 PC。2003 年参加工作后一直从事软件核心研发,目前在杭州银行信息技术部负责基础架构。


2020-06-20 18:36694

评论

发布
暂无评论
发现更多内容

程序员成长第九篇:真实项目中的注意事项

石云升

程序员 项目实战 2月春节不断更

Java架构大牛之路必备“微服务架构笔记”

Java架构之路

Java 程序员 架构 面试 编程语言

阿里面试这样问:redis 为什么把简单的字符串设计成 SDS?

程序员小富

Java redis 面试

区块链难在落地,亟需补人才缺口迎爬升期

CECBC

区块链

技术需求文档,应当这么写!

穿甲兵

需求 文档

新闻|2021 FOSDEM为期两天的活动成功举办,一大波学习资源来袭!

PostgreSQLChina

数据库 postgresql 软件 开源社区

进程管理:kill命令之-9与-15

程序员架构进阶

Java Linux 进程 七日更 2月春节不断更

我用 go-zero 一周实现了一个中台系统,已开源!

万俊峰Kevin

微服务 go-zero Go 语言

LeetCode题解:63. 不同路径 II,动态规划,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

如何提升网页核心指标

Vincent

大厂必问算法!查漏补缺LeetCode必考“1024道技术点面试题”

Java架构之路

Java 程序员 架构 面试 编程语言

百度Hydra工具在移动端UI兼容性测试上的高效应用

百度Geek说

测试 UI

5.state更新流程(setState里到底发生了什么)

全栈潇晨

React React Hooks react源码

翻译:《实用的Python编程》01_06_Files

codists

人工智能 后端 python 爬虫 数据结构与算法 文件操作

OAuth:每次授权暗中保护你的那个“MAN”

华为云开发者联盟

大前端 协议 权限 Oauth web服务

28天写作再次开启,你准备好来挑战了吗?

TGO鲲鹏会

28天写作 热门活动

offer稳了!四面阿里面经分享,定级P6之路。

Java架构之路

Java 程序员 架构 面试 编程语言

十四五期间我国区块链技术趋势特征分析

CECBC

区块链 大数据

诊所数字化:诊所医护人员绩效指标评估方式

boshi

绩效 数字化转型 医疗 七日更

真牛皮!2021最新Android大厂面试真题大全,BAT大厂面试总结

欢喜学安卓

android 程序员 面试 移动开发

01 | Mysql基础架构

zach

MySQL

资本之外,区块链破圈正当时

CECBC

区块链

【LeetCode】K 连续位的最小翻转次数Java题解

Albert

算法 LeetCode 2月春节不断更

4.从legacy或concurrent开始(从入口开始,然后让我们奔向未来)

全栈潇晨

React React Hooks react源码

话题讨论 | 今年,你回家过年了吗?

xcbeyond

话题讨论 春节 就地过年

电信的标准化组织

Geek_古藤模根

标准化 电信

探究Python源码,终于弄懂了字符串驻留技术

华为云开发者联盟

Python 字符串 Python解释器 字符串驻留 字符

腾讯云大神用这份“redis深度笔记”把Redis入门到精通全部精髓全部展现出来了

redis 架构 计算机

温故而知新!腾讯Android开发面试记录,薪资翻倍

欢喜学安卓

android 程序员 面试 移动开发

6.render阶段(厉害了,我有创建Fiber的技能)

全栈潇晨

React React Hooks react源码

元旦立下的Flag,春节后该如何实现?

脑极体

应用缓存服务器(coconut) ,顺手写一个_文化 & 方法_技术琐话_InfoQ精选文章