使用 Amazon Aurora 存储和处理地理信息数据

地理信息是一种特定的空间信息，无论在科学研究还是日常生活中都有广泛应用。我们通常使用计算机和相关软件对地理信息进行储存、管理、运算、分析、显示等操作。

我们对地理信息最常见的使用是导航，对地理信息最有前景的使用场景是自动驾驶。这两种场景都对地理信息的存储和使用有许多新的需求，这些需求包括对地理信息的实时更新、并发读写、版本控制、高可用和高可靠等。

当前,地理信息存储和处理方式，无论是传统方法把地理信息存放在二进制文件中， 还是把地理信息存放在传统的关系数据库里，都无法满足上面提到的新需求。而使用 Amazon Aurora 可以更好的满足这些新的需求。

Amazon Aurora 是一种与 MySQL 和 PostgreSQL 兼容的关系数据库，专为云而打造，既具有高端商用数据库的性能和可用性，又具有开源数据库的简单性和成本效益。

Aurora 的速度最高可以达到标准 MySQL 数据库的五倍、标准 PostgreSQL 数据库的三倍。它可以实现商用数据库的安全性、可用性和可靠性，而成本只有商用数据库的 1/10。Aurora 由 Amazon Relational Database Service (RDS) 完全托管，而 RDS 可以自动执行各种耗时的管理任务，例如硬件预置以及数据库设置、修补和备份。

下面,我们将逐步演示如何把 OSM（Open Street Map）数据导入 Amazon Aurora 数据库，并对地理数据做查询操作。

1. 创建 Aurora 数据库。

为了支持 PostGIS 1.5+, 在创建 Aurora 数据库时，选择 PostgreSQL-compatible，如下图所示：

按照 Aurora 数据库手册创建 Aurora 数据库(Create an Aurora PostgreSQL DB Cluster)。

2. 在创建好的 Aurora 数据库上启动 PostGIS,Hstore 等相关组件。PostGIS 是一个 PostgreSQL 扩展，用于存储和管理空间信息。步骤如下：

首先，使用创建数据库实例的主用户名连接到数据库实例;

然后加载 PostGIS 扩展，使用 CREAT EXTENSION 语句加载扩展。

运行下面语句:

CREATE EXTENSION hstore;

结果如下：

运行下面语句:

CREATE EXTENSION postgis;

结果如下：

运行下面语句:

CREATE EXTENSION fuzzystrmatch;

结果如下：

运行下面语句:

CREATE EXTENSION postgis_tiger_geocoder;

结果如下：

运行下面语句:

CREATE EXTENSION postgis_topology;

结果如下：

最后使用 ALTER SCHEMA 语句将所有权移交给 rds_superuser 角色。

运行下面语句:

ALTER SCHEMA tiger owner to rds_superuser;

结果如下：

运行下面语句:

ALTER SCHEMA tiger_data owner to rds_superuser;

结果如下：

运行下面语句:

ALTER SCHEMA topology owner to rds_superuser;

结果如下：

3. 下载中国的 OSM（open street map）数据文件， 下载链接

为了把中国的 OSM 数据导入 Aurora 数据库，我们需要使用 osm2pgsql 工具，在本文中，我们 使用一台 EC2 linux 服务器运行 osm2pgsql 工具导入地理信息数据。

首先我们下载 osm2pgsql 源文件，

git clone git://github.com/openstreetmap/osm2pgsql.git

然后安装 osm2pgsql 需要的依赖库

yum install cmake gcc-c++ boost-devel expat-devel zlib-devel bzip2-devel postgresql-devel geos-devel proj-devel proj-epsg lua-devel -y

最后编译 osm2pgsql 工具

cd osm2pgsql-master

mkdir build && cd build

cmake … && make && make install

运行结果如下：

4. 导入中国 OSM 数据

osm2pgsql ./china-latest.osm.bz2 -d OSMChina -U root -P 5432 -S ./default.style --hstore -H giscluster.cluster-ccnfhuymduul.rds.cn-northwest-1.amazonaws.com.cn  -W

其中文件 china-latest.osm.bz2 是步骤 2 下载的中国 OSM 数据

-d 指定了 Aurora 中数据库的名字

-S ./default.style 是样式文件，在 osm2pgsql 的源文件目录里。

其他是连接数据库需要的参数，比如数据库的 endpoint 和用户名密码下图是 osm2pgsql 的导入过程截图：

我们可以看到，导入全部中国 OSM 数据用了 603s

5. 检查 Aurora 中导入的中国 OSM 数据

数据导入成功后，数据库中会有 3 个新的表， 如下图：

• planet_osm_point: 包含 PoI(Point of Interet)信息；

• planet_osm_lines: 包含道路和街道信息；

• planet_osm_polygons: 包含湖泊，建筑，行政区等信息。

6. 查询在 Aurora 里存储的中国 OSM 信息

SELECT name, ST_AsText(ST_Transform(way,4326)) AS pt_lonlattext -- tags
FROM  planet_osm_point
WHERE tags @> 'cuisine=>sushi'::hstore;  

你可以看到查询结果如下：

通过上面六步操作，我们把中国的 OSM 数据导入到了 Aurora 数据库，并且可以使用 SQL 语句查询地理信息。使用 Aurora 数据库后，地理信息数据库可以支持更大的并发量和更快的查询速度，获得更好的可用性。同时，利用 Aurora 完全托管的特性，数据库管理员可以省去许多繁琐的操作，例如硬件预置以及数据库设置、修补和备份。我们既得到了高端商用数据库的性能和可用性，又有开源数据库的简单性和成本效益。

作者介绍：

谢亚力

AWS 解决方案架构师，负责企业级客户的架构和云上迁移等工作。

本文转载自 AWS 技术博客。

原文链接：

https://amazonaws-china.com/cn/blogs/china/store-and-process-geo-information-data-using-amazon-aurora/