### 架构
对于开发者来说,Redis因为其性能上的优势往往会被采用作为位置数据的缓存,只是在3.2版本之前需要代码中把位置数据进行Geohash后才能有效的排序和分析。不过3.2版本后,Redis已经能够原生支持基于位置信息的存储,计算及搜索了。Amazon ElastiCache是AWS提供的托管型的数据缓存服务,借助该服务,用户能够在云中轻松部署、运行和扩展分布式内存数据存储或缓存。 Amazon ElastiCache 的Redis引擎是一项与 Redis 兼容的内存服务,兼具 Redis 的易用性和强大功能,同时还可为要求最苛刻的应用程序提供适用的可用性、可靠性和性能,提供单节点和多达 15 个分片的群集,从而可将内存数据扩展到高达 3.55TiB。这里,我们可以基于Elasticache并结合AWS其他服务构建出以下的示例架构:
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-1-1024x717.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-1.png)
1)终端设备获取GPS位置信息,定时或基于事件将数据上传到云端。在AWS上可以选择使用IoT或Kinesis等托管型服务作为数据收集的接收端,也可以使用部署在EC2/Lambda上的自定义服务。
2)所有位置信息写入可以自动扩展的DynamoDB,基本Schema包含设备Id/Timestamp/Geo location, 方便历史查询或轨迹查询。
3)打开DynamoDB流,用KCL或Lambda监听DynamoDB的数据改变,并将当前变化的位置数据更新到Elasticache中建立基于Geospatial的索引缓存。
4)手机应用搜索附近资源时,部署在EC2/Lambda的查询服务利用Elasticache geospatial直接获取结果。
### 实现
如前文所述,步骤1和2可选择的方案很多,比如采用AWS IoT服务甚至可以无需任何代码仅通过配置即可完成云端的功能讲数据实时写入相应的DynamoDB表中。因此,本文将着重介绍如何实现前文架构中的3和4步:
a) 打开DynamoDB 流,获取流的ARN用于读取,如下图:
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-2-1024x662.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-2.png)
读取DynamoDB流数据有三种方式:利用Kinesis adapter,利用低级别API以及利用Lambda函数来进行读取。从易用性的角度来说,当然是Lambda函数最简单,不需要考虑shard,吞吐和checkpoint等问题而专注于业务逻辑。但是Lambda函数并不是在所有的AWS区域都支持,因此本文采用第一种方式利用Kinesis adapter完成读取。具体参考文档:http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/Streams.KCLAdapter.html
b) 在读取流的同时,我们需要将最新的地理位置信息利用GEOADD更新到Elasticache中。前文提到Redis在3.2版本后,Geospatial Indexing已经被原生支持,而它实际上是Sorted List数据结构的一种扩展,即排序 key扩展成了经纬度,如下图所示的数据结构,并且可以方便的使用基于地理信息的API,例如GEOADD——添加地理位置 。
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-3-1024x204.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-3.png)
通过Elasticache可以快速构建出一个Redis环境,包括支持shard的集群模式,如下图所示。
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-4.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-4.png)
构建完成后,通过Elasticache提供的终端节点就可以访问cache了。
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-5.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/20/20170721-5.png)
需要注意的是如果选择的Redis是集群模式,那么就得同步升级支持Redis集群模式的客户端SDK用以开发。因为Redis的集群提供的是分片功能,它会把不同的slots分布在不同的节点上,需要由客户端通过CRC16(Key)取模从而计算出数据在哪个节点上。目前可以支持redis集群模式的客户端有很多,比如本文用到的java的jedis以及nodejs的ioredis。
综合a,b两步的示例代码的StreamCacheProcessor.java如下(其余代码参考http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/Streams.KCLAdapter.Walkthrough.CompleteProgram.html ):
Java
import java.nio.charset.Charset;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import redis.clients.jedis.GeoCoordinate
import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;
import com.amazonaws.services.dynamodbv2.streamsadapter.model.RecordAdapter;
import com.amazonaws.services.kinesis.clientlibrary.interfaces.IRecordProcessor;
import com.amazonaws.services.kinesis.clientlibrary.interfaces.IRecordProcessorCheckpointer;
import com.amazonaws.services.kinesis.clientlibrary.lib.worker.ShutdownReason;
import com.amazonaws.services.kinesis.model.Record;
public class StreamsCacheProcessor implements IRecordProcessor {
private static Log LOG = LogFactory.getLog(StreamsCacheProcessor.class);
private Integer checkpointCounter;
private String clusterHost;
private int port;
private JedisCluster jedis;
public StreamsCacheProcessor(String clusterHost,int port) {
this.clusterHost=clusterHost;
this.port=port;
}
@Override
public void initialize(String shardId) {
Set jedisClusterNode=new HashSet();
jedisClusterNode.add(new HostAndPort(clusterHost,port));
jedis=new JedisCluster(jedisClusterNode);
checkp ointCounter = 0;
}
@Override
public void processRecords(List records, IRecordProcessorCheckpointer checkpointer) {
for (Record record : records) {
String data = new String(record.getData().array(), Charset.forName("UTF-8"));
LOG.debug("Received the data as:"+data);
if(record instanceof RecordAdapter)
com.amazonaws.services.dynamodbv2.model.Record streamRecord = ((RecordAdapter) record).getInternalObject();
//新增GPS数据更新到Elasticache中
if(streamRecord.getEventName().equals("INSERT")){
Map coordinateMap = new HashMap();
double longitude = Double.parseDouble(streamRecord.getDynamodb().getNewImage().get("longitude").getN());
double latitude = Double.parseDouble(streamRecord.getDynamodb().getNewImage().get("latitude").getN());
String deviceId = streamRecord.getDynamodb().getNewImage().get("deviceId").getS();
coordinateMap.put(deviceId, new GeoCoordinate(longitude, latitude));
jedis.geoadd("bikes", coordinateMap);
LOG.info("Updated "+deviceId+" GPS information as:"+longitude+","+latitude);
}
}
checkpointCounter += 1;
if(checkpointCounter % 10 == 0){ //checkpoint大小需根据实际需求调整
try {
checkpointer.checkpoint();
}
catch (Exception e) {
e.printStackTrace();
}
}
}
}
@Override
public void shutdown(IRecordProcessorCheckpointer checkpointer, ShutdownReason reason)
{
if(reason == ShutdownReason.TERMINATE) {
try {
checkpointer.checkpoint();
}
catch (Exception e) {
e.printStackTrace();
}
}
}
}
c)在完成地理信息的实时更新后, 可以基于Elasticache的数据利用GEORADIUS搜索周边的资源。使用nodejs示例代码如下:
Java
var express = require('express');
var app = express();
var Redis = require('ioredis');
var cluster = new Redis.Cluster([{
port:6379,
host:'lab-cluster.4bh9j8.clustercfg.cnn1.cache.amazonaws.com.cn'
}]);
app.get('/bikes', function(req,res){
if(req.query['longitude'] && req.query['latitude']){
console.log ('longitude = %s,latitude = %s',req.query['longitude'],req.query['latitude']);
cluster.send_command('GEORADIUS',
[ 'bikes',req.query['longitude'],req.query['latitude'],2000,
'm',
'WITHDIST',
'WITHCOORD',
'COUNT',
10], (error, reply) =>{
if (error) {
res.status(500).send("无法获取附近车辆信息");
return;
}
var stations = reply.map( (r) =>{
return {
name: r[0],
distance: `${r[1]} m`,
coordinates: {
latitude: Number(r[2][1]),
longitude: Number(r[2][0])
} }
});
res.status(200).json(stations);
});
}
});
var server = app.listen(8080,function(){
var host = server.address().address
var port = server.address().port
console.log("应用实例,访问地址为 http://%s:%s", host, port)
});
基于以上代码,服务端就可以返回最近的10个资源以及每个资源离当前位置的距离。例如:
请求
`http://hostname or elb address/bikes?longitude=116&latitude=39.4`
返回
Java
[
{
"name": "48093ba0-f8f1-49f0-b312-285800341b08",
"distance": "1117.8519 m",
"coordinates": {
"latitude": 39.40640623614937,
"longitude": 116.01002186536789
}
},
{
"name": "950fb5df-c0ff-4a95-90ea-2f5f574c5796",
"distance":"1305.5083 m",
"coordinates": {
"latitude": 39.40184880750488,
"longitude": 116.01500004529953
}
},
……
]
d)通过封装http请求构建手机应用。
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/08/01/map-503x1024.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/08/01/map.png)
### 总结
Redis Geospatial功能可以让开发者更高效的搜索和计算位置信息的记录。同时,Amazon ElastiCache提供的托管Redis服务大大简化了对于Redis集群的维护工作,包括搭建,备份和迁移等工作。最后,自动扩展的Amazon DynamoDB则负责位置信息数据的持久化和检索,而它的流功能也使得数据能够快速实时的流转起来。
**作者介绍**
[](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/24/Zhao-Fei-Mini.png)](https://d2908q01vomqb2.awsstatic-china.com/472b07b9fcf2c2451e8781e944bf5f77cd8457c8/2017/07/24/Zhao-Fei-Mini.png)
赵霏,AWS解决方案架构师。负责基于AWS的云计算方案架构咨询和设计,同时致力于AWS云服务在国内的应用和推广。他拥有超过13年IT行业从业经验,长期专注于企业IT云转型、物联网、移动互联网、Devops等领域,在大规模后台架构、分布式计算和自动化运维等方面有着广泛的设计和实践经验。
本文转载自 AWS 技术博客。
原文链接:
https://amazonaws-china.com/cn/blogs/china/using-amazon-elasticache-to-find-x/
更多内容推荐
设备端资源包文件 (人脸库,音频库,图片资源等) 更新方案——实践类
简介: 当物联网设备分布在全球各地运行时,常常有更新设备上的资源包的需求,比如刷脸设备上的人脸库资源,算法模型,语音播报设备上的语音模板资源。
2023-03-01
☕【难点攻克技术系列】「海量数据计算系列」如何使用 BitMap 在海量数据中对相应的进行去重、查找和排序
BitMap从字面的意思,很多人认为是位图,其实准确的来说,翻译成基于位的映射,其中数据库中有一种索引就叫做位图索引。
2021-12-31
用 Optaplanner 实现云资源优化:建模详解
装箱问题是一个经典的计算机科学优化问题,它的目标是将一堆物品尽可能地放入一些容器中,以最小化容器数量或最大化容器利用率。在实际应用中,我们可以在物流、资源调度、计算机集群等领域看到装箱问题的应用。
操作系统150 个超实用的网站,整理成资源库页面分享给大家
我将这些资源分为七大类:学习资源、图片资源、办公资源、娱乐资源、设计资源、搜索资源、工具资源,点击相应的分类可以跳转到该分类下,可以方便快捷的找到你想要的资源网站。
2021-11-10
图查询语言 nGQL 简明教程 vol.01 快速入门
本文旨在让新手快速了解图查询语言 nGQL,掌握方向,之后可以脚踩在地上借助文档写出任何心中的 NebulaGraph 图查询。
2022-12-29
玩转 Liunx 系统,看这篇文章就够了 (三)
locate这个搜索的效率要比find的效率高。locate指令可以快速在整个系统中定位文件路径。locate指令利用事先建立的系统中所有文件名称及路径的locate数据库实现快速定位给定的文件。
2022-07-15
leetcode 287. Find the Duplicate Number 寻找重复数 (中等)
这道题给我们n+1个数,所有的数都在[1, n]区域内,首先让证明必定会有一个重复数,题目要求不能改变原数组,即不能给原数组排序,又不能用多余空间,那么hash的就不用考虑了,又要求时间小于O(n^2),只能考虑用二分搜索法了,在区间[1, n]中搜索,
2022-10-25
实现搜索和站内消息
2022-09-08
怎么用 EasyRecovery 恢复 sd 卡中的数据
在最早一批智能手机出来的时候,手机的很多数据都是通过sd卡存储,随着手机的更新换代,很多人的生活中可能已经用不到sd卡了。但其实还是有很多设备需要用到sd卡,比如相机、监控设备等。所以今天就来给大家分享一下如果sd卡数据被删除了用EasyRecovery怎么恢
2021-11-08
35|行业:如何在一周内快速了解一个行业?
在工作之后有兴趣去了解新的行业,不仅仅只是工作需求,也是更大的风险对冲。
2022-10-28
安利一个小众但实用的导航网站(推荐收藏)
正所谓:授人以鱼不如授人以渔,互联网的世界很大,要找想要的资源得要有明确的方向,还在用百度找资源那你out了,我来模仿下大多数人找部电影或电视剧的场景:
2022-03-29
5 分钟了解红队如何搜索网络情报
2022-06-17
06|免费的宝库: 什么是网络爬虫?
网络爬虫合法吗?这一领域需要掌握哪一些知识?基于爬虫可以构建哪些有用的产品?这节课,我们就来深入讨论一下网络爬虫这个领域。
2022-10-22
Clusterpedia 加持 kubectl,检索多集群资源
“在 Clusterpedia 的加持下,你手上的 kubectl 已经可以用来检索多集群资源啦
2022-02-22
A010-menu 资源,看完老板哭着让我留下来
// 添加子菜单
2021-11-08
03|数据处理:我们应该如何获取和处理数据?
从本章开始,我们就要真正地进入到推荐系统的开发当中,从头来搭建一个企业级的推荐系统了。
2023-04-14
KubeVela: 如何用 100 行代码快速引入 AWS 最受欢迎的 50 种云资源
本文提供了一个方案,用不到 100 行代码快速引入 AWS 前 50 最受欢迎的云资源。
2022-03-23
18|规则:豌豆荚做不起来应用内搜索?
可能互联网世界不多一个的91助手,但是缺一个豌豆荚。
2022-08-29
普惠金融关联关系图谱
2022-11-21
小区搜索过程
小区搜索是终端通过同步信号块SSB与小区建立联系的过程,包括取得小区下行频率、时间同步、检测小区识别号CellID、通过解码广播信道BCH上的系统信息。下行同步包括频率、符号和帧同步。
2022-07-10
推荐阅读
车载语音识别数据的应用与挑战
2023-08-27
通达手机每一处,华为智慧搜索让爸妈用机更简单
2023-10-23
23. 合理化发挥作用的资源和货币化
2023-10-17
今年有什么新内容?《解开网络密钥 - 互联网研究指南》
2023-09-01
数据算法:因材施教,为你的系统选好老师
2023-08-28
命名虚拟机及设置安装路径怎么操作
2023-10-30
10|CLIP:让 AI 绘画模型乖乖听你的话
2023-08-07
电子书
大厂实战PPT下载
换一换 郑红波 | 星图金融 研发中心测试管理部总监
方之家 | 饿了么 资深算法专家
汝英哲 | 腾讯云 容器高级产品经理
评论