报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

高德 SD 地图数据生产自动化技术的路线与实践(道路篇)

  • 2020-07-01
  • 本文字数:3274 字

    阅读完需:约 11 分钟

高德SD地图数据生产自动化技术的路线与实践(道路篇)

一、背景及现状

近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。


高德地图凭借视觉 AI 和大数据技术优势引领地图数据产业变革,通过图像 AI 技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。


高德地图通过对现实世界高频高密度的数据采集,运用图像视觉 AI 能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现 100%信息融入,从而构建出高现势性的全国基础地图。


综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点

从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及 GPU 计算能力的发展,分类和检测技术有了极大的提升。


从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。


因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:


图像识别 :图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。


位置服务 :基于低精度 GPS 和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。


图像差分和语义过滤 :目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。


基于位置的数据融合 :图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别


图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:



特殊的方向信息牌标牌:



而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。



另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。



最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。


综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的 End2End 方案,在一个网络中同时完成检测与细分类任务。常用的 dataset 一般是 PASCAL VOC(20 类)和 COCO(90 类)等。


根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过 Faster-RCNN 在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。


2.位置服务


轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离 1-2 个车道的平行路,需要很高的定位精度,常规的 GPS 定位精度在 5-10m,很难达到 80%的主辅路识别率。另外基础地图数据本身也存在 GPS 精度问题。


通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。


而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。


3.图像差分和语义过滤


图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受 GPS 自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。


这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过 GPS 轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助 OCR 能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。


4.基于位置的数据融合


由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。


四、总结

高德 SD 基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像 AI 技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。


本文转载自公众号高德技术(ID:amap_tech)。


原文链接


https://mp.weixin.qq.com/s/-0WJkoRdYJs4Q7JXVNa2Ww


2020-07-01 10:003497

评论

发布
暂无评论
发现更多内容

理解JVM工作机制(五)垃圾回收算法

Geek漫游指南

Java jdk JVM

理解 JVM 工作机制(十一) 类加载器

Geek漫游指南

Java jdk JVM

基于 Amazon API Gatewy 的跨账号跨网络的私有 API 集成

亚马逊云科技 (Amazon Web Services)

Amazon

开发者们:618电商团战即将开启,“抢流量”想上分,必备这三个大招 | MobTech观察

MobTech袤博科技

理解 JVM 工作机制(九) 类文件结构

Geek漫游指南

Java jdk JVM

2023-05-24:为什么要使用Redis做缓存?

福大大架构师每日一题

redis 福大大

CMake入门教程:从零开始构建C/C++项目

小万哥

程序员 后端 开发 C/C++ cmake

中国互联网广告市场年度分析2023

易观分析

互联网 广告

ConcurrentHashMap是如何实现的?

javacn.site

人体识别图像技术在智能家居中的应用

数据堂

理解 JVM 工作机制(六) 垃圾收集器

Geek漫游指南

Java jdk JVM

如何使用golang实现桥接模式

Jack

我国首例汽车企业全业务场景数据出境安全评估获批

Openlab_cosmoplat

大数据 开源 汽车

理解 JVM 工作机制(七) 内存分配和回收策略

Geek漫游指南

Java jdk JVM

理解 JVM 工作机制(八) JVM 性能调优

Geek漫游指南

Java jdk JVM

Nautilus Chain开启全球行,普及Layer3概念加速其采用

BlockChain先知

易观千帆 | 2023年4月证券APP月活跃用户规模盘点

易观分析

证券

Nautilus Chain开启全球行,普及Layer3概念加速其采用

西柚子

软件测试|pyecharts绘制NBA球星得分能力对比图

霍格沃兹测试开发学社

软件测试|简单易学的性能监控体系prometheus+grafana搭建教程

霍格沃兹测试开发学社

3D设计必备!5个免高质量的 HDRI 环境贴图网站

Finovy Cloud

blender

Nautilus Chain开启全球行,普及Layer3概念加速其采用

股市老人

软件测试|Python操作Excel制作报表,不要太方便

霍格沃兹测试开发学社

软件测试|Python实用炫酷技能——推导式

霍格沃兹测试开发学社

c#中用System.Diagnostics.Process.Start(Path.GetFullPath(“vlc.exe.lnk“), url);用vlc的快捷方式打开http的url不起作用?

福大大架构师每日一题

C# 福大大 vlc

C语言编程—循环语句

芯动大师

聊聊 Milvus GC:从一次数据丢失事件展开

Zilliz

非结构化数据 GC Milvus 向量数据库

理解 JVM 工作机制(四) 回收策略

Geek漫游指南

Java jdk JVM

理解 JVM 工作机制(十) 类加载机制和加载的过程

Geek漫游指南

Java jdk JVM

Solaris Exchange:一个安全可靠的合成资产交易平台

股市老人

高德SD地图数据生产自动化技术的路线与实践(道路篇)_AI&大模型_高德技术_InfoQ精选文章