QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

卫星影像识别技术在高德数据建设中的探索与实践

  • 2020-04-12
  • 本文字数:2457 字

    阅读完需:约 8 分钟

卫星影像识别技术在高德数据建设中的探索与实践

导读

对于地图服务而言,地图数据的准确率和覆盖率是服务质量的关键因素,而地图数据的更新,依赖于多种信息源,如轨迹热力,实采图像,卫星影像等。近年来,由于遥感卫星数量的增多及高分辨率光谱相机的出现,以及卫星影像图自身覆盖广、视角好、信息丰富的特点,卫星影像作为地图数据更新的信息源起到了越来越重要的作用。


对于卫星影像的使用方式,高德经历了由前端用户展示,到人工数据作业参考,再到主动发现更新地图数据的进化过程,这同时也是我们不断挖掘影像数据价值的过程。本文会介绍高德视觉团队将卫星影像从被动参考升级为主动发现的过程中的探索和实践。

卫星影像关键元素

按照几何结构划分,影像元素可分为三大类:道路元素(road),地物元素(region),建筑物元素(building):


道路元素:包含普通道路,精细道路(主/辅路/非机动车道,提前右转路),连接点(贯穿路、出入口、掉头口、路口等)。


地物元素:包含建筑区域、拆迁区域、水域、农田、山区、林地、大棚等。


建筑物元素:建筑物楼块。


卫星影像在数据更新上的优势

路网是地图数据的基础,所有的道路属性、动态事件、POI 引导都需要基于准确的路网数据信息。而卫星影像由于具有上帝视角,对区域内路网的连接关系、复杂的路口关系、平立交关系的判断具有全局而丰富的信息支撑。同时,由于卫星影像覆盖广、成本低的特点,对于热力稀疏或者采集车难以覆盖的区域,可以进行很好的路网数据补充。



路网三大信息源:热力、卫星影像、实采


作为用户导航的终点,POI(“Point of interest”的缩写,在地图数据中,一个 POI 可以是一栋房子、一个商铺、一个公交站等)坐标位置的准确性十分重要。通过高德 POI 中 Top1000w 的统计,70%的 POI 需要与楼块进行绑定,POI 到达点与沿街楼块具有强依赖关系。



POI 与楼块强相关性

卫星影像识别技术探索实践

卫星影像精细语义分割(Semantic)


在语义分割上,为了提升算法精度,我们将主要方向聚焦在上下文信息的结合,如使用了 U-Net 结构、ASPP、Non-local 等对信息的聚合具有作用的结构。同时引入了 Attention 加强了网络对图像显著区域,即当前分割任务所关注的类别进行了注意力聚焦,使得效果达到进一步提升。


  • U-Net 结构


由于影像图像语义较为简单、结构较为固定,高级语义信息和低级特征都显得很重要,因此我们选用了 U-Net 作为网络的基础结构。Encoder-Decoder 分别下采样 4 次+上采样 4 次,将 Encoder 得到的高级语义特征图恢复到原图片的分辨率。


相比于 FCN 和 Deeplab 等,U-Net 共进行了 4 次上采样,并在同一个 Stage 使用了 Skip Connection,而不是直接在高级语义特征上进行监督和 Loss 反传,这样就保证了最后恢复出来的特征图融合了更多 Low-Level 的 Feature,也使得不同 Scale 的 Feature 得到了融合,从而可以进行多尺度预测和 DeepSupervision。4 次上采样也使得分割图恢复边缘等信息更加精细。


  • ASPP


使用不同扩张率的扩张卷积,并进行特征结合,得到多尺度特征,同时得到全局信息和局部信息。


  • Attention


关注图像显著区域,将 U-Net 的浅层和对应的深层进行信息结合后,得到 Attention 的参数,再作用于当前深层,得到最终 Attention 的结果输出。


  • Non-local


特定层的卷积核在原图上的感受野(local)是有限的,Non-local 通过将空间中不同像素间的关系编码到当前层的输出,从而将全局信息加入到输出结果中,就能很好地解决 local 操作无法看清全局的情况,为后面的层带去更丰富的信息。



U-Net 结构(左上) Attention(左下) Non-local(右上) ASPP(右下)


影像楼块实例分割(Instance)


实例分割有两种主流方法,第一种是基于目标检测,在得到目标检测框之后再在框内做语义分割前景和背景,由于这种方法需要借助目标检测中的区域提议,因此该方法称为 Proposal-Based 方法。


另一种方法是,在语义分割图的基础上,将像素聚集到不同的实例上,这种被称为 Proposal-Free 方法。我们对两种主流方法进行了对比实验,由于楼块具有多样性、“矮胖结构”的特点,Proposal-Based 方法效果要优于 Proposal-Free 方法。


对于楼块数据而言,重要的表达内容是楼块的底座位置及其形状。然而由于影像拍摄视角问题,部分高楼在视觉上呈现斜射的效果,部分基座边缘被遮挡,为识别造成了极大的难度。


经过数据分析与推算,我们发现绝大多数的楼块底座形状是和楼顶形状一致的,因此我们采用了楼顶分割+楼顶到基座偏移量的多任务学习方案,将分割出的楼顶形状加上一个楼顶到基座的偏移向量,对基座的形状和位置进行了一个比较理想的还原。


多元素识别效果展示

针对卫星影像不同元素的图像特征与拓扑结构关系,我们设计了多个识别模型,包含普通道路识别、精细路网识别、地物分类识别、楼块识别等,作用于高德多种类别的数据更新。



普通道路识别(左上) 精细路识别(右上) 地物分类(左下) 楼块识别(右下)

未来展望 &挑战

  • 路网数据的准确/快速更新


用户在使用导航过程中可能会遇到一些场景:比如为什么这里有条新路却给导航了一条绕远的路?为什么导航了一条已经不能走的路?为什么本来这里可以掉头却还要往前多走几公里才能掉头?这些由路网数据错误导致的导航偏差,是我们未来需要解决的核心问题,也是业界的难题。未来我们期望通过视觉算法层面的优化,通过多采集源的融合预测,通过提前发现建设中道路等一系列手段,来快速感知到现实世界中发生的路网变化。


  • 数字城市中的楼块与 AOI 建设


对于数字城市来说,楼块和 AOI(兴趣区,Area Of interest)是重要的元素之一:如用户想要前往某个店铺,实际导航的到达点是店铺所在的楼块;用户想要前往某个小区的某个楼,实际导航的到达点是小区的入口,因此楼块与 AOI 的准确与完备直接影响到用户导航最后几百米的使用感受。同时结合最近的疫情防控,数字城市中的楼块和 AOI 信息可以对写字楼、小区等区域的疫情防控提供有力的数据支持。未来我们期望通过结合卫星影像的发现能力,进一步完善数字城市的数据建设,连接真实世界,让出行更美好。


本文转载自公众号高德技术(ID:amap_tech)。


原文链接


https://mp.weixin.qq.com/s/Cg2Sg5K15T1EjX_KYbsErw


2020-04-12 10:003284

评论 1 条评论

发布
用户头像
牛逼
2020-04-13 10:49
回复
没有更多了
发现更多内容

Hadoop MapReduce原理、序列化

Mike

三面阿里被挂,竟获内推名额,历经5面拿下口碑offer(Java后台)

Java 程序员 架构 面试 计算机

细节爆炸!腾讯用13个案例实战讲明白MySQL,没想到这么全

Java~~~

Java MySQL 数据库 架构 面试

国产接口工具ApiPost如何利用CryptoJS对请求参数进行MD5/AES加解密

Proud lion

大前端 后端 加密解密 Postman 接口文档

训练千亿参数模型的法宝,昇腾CANN异构计算架构来了~

华为云开发者联盟

盘古 CANN 千亿参数模型 异构计算 计算架构

CompletableFuture真香,可以替代CountDownLatch!

架构 面试 后端 计算机

竟有阿里大牛用678页PDF只讲Java程序性能优化,除了干货就是干货

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

Golang并发操作中常见的死锁情形

Regan Yue

协程 Go 语言 8月日更

啥?阿里DBA团队总监把MySQL 性能调优 金字塔,写进了800页笔记?

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

莫慌!阿里人用五个模块讲明白了SpringCloud,可下载

Java~~~

Java 架构 面试 微服务 Spring Cloud

构建可靠分布式架构的最佳方式,竟记在国内第一本“凤凰架构”上

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

MySQL半同步复制的数据一致性探讨

OpenIM

网易云iOS开发一面面经

iOSer

ios 面试

牛掰!阿里人用7部分讲明白百亿级高并发系统(全彩版小册开源)

Java~~~

Java 架构 面试 高可用 高并发

自主创新国产化科技:智能制造之 SMT 产线监控管理可视化

一只数据鲸鱼

数据可视化 工业4.0 制造业 智慧工厂

开源demo| 视频应用类开源 Demo 大盘点

anyRTC开发者

音视频 视频直播 直播连麦 视频通话

图灵奖得主大全 深度学习经典论文翻译合集 John 易筋 ARTS 打卡 Week 62

John(易筋)

ARTS 打卡计划

springboot+cloud实战派PDF让开发和微服务架构像喝水一样简单

Java~~~

Java spring 架构 面试 Spring Boot

互动直播应用快速开发实践(基于声网)

大伟

数仓出现“wait in ccn queue”的时候,怎么迅速定位处理?

华为云开发者联盟

线程 hash 负载 数仓 GaussDB(DWS)

阿里巴巴新产“Java架构核心宝典”,全是流行技术,限时开放

Java 架构 面试 后端 计算机

叹服!阿里自述SpringCloud微服务:入门+实战+案例

Java~~~

Java spring 架构 面试 Spring Cloud

一个内核漏洞详解:容器逃逸

程序员 架构 面试 计算机

信息爆炸!78天闭门深造千页SpringCloud,再战京东

Java~~~

Java spring 架构 面试 Spring Cloud

突破四大要素  飞算SoFlu助力企业实现DevOps落地

SoFlu-JavaAI开发助手

DevOps 自动化 软件工程

百度信誉认证中台架构解析

百度Geek说

后端 软件架构 中台架构

一起吐槽接口文档

FunTester

接口文档 接口测试 API Jira FunTester

🏆【Alibaba微服务技术系列】「Dubbo3.0技术专题」回顾Dubbo2.x的技术原理和功能实现及源码分析(温故而知新)

洛神灬殇

dubbo RPC 8月日更 Dubbo3

膜拜!首次公布Java10W字面经,Github访问量破百万

Java~~~

Java 架构 面试 微服务 多线程

设计 | 基于 Redis 谈一谈缓存设计思想

RadonDB

数据库 redis RadonDB

硬核!阿里自爆虐心万字面试手册,Github上获赞89.7K

Java~~~

Java 架构 面试 算法 JVM

卫星影像识别技术在高德数据建设中的探索与实践_大前端_高德技术_InfoQ精选文章