写点什么

高德 SD 地图数据生产自动化技术的路线与实践(道路篇)

  • 2020-07-01
  • 本文字数:3274 字

    阅读完需:约 11 分钟

高德SD地图数据生产自动化技术的路线与实践(道路篇)

一、背景及现状

近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。


高德地图凭借视觉 AI 和大数据技术优势引领地图数据产业变革,通过图像 AI 技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。


高德地图通过对现实世界高频高密度的数据采集,运用图像视觉 AI 能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现 100%信息融入,从而构建出高现势性的全国基础地图。


综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点

从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及 GPU 计算能力的发展,分类和检测技术有了极大的提升。


从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。


因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:


图像识别 :图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。


位置服务 :基于低精度 GPS 和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。


图像差分和语义过滤 :目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。


基于位置的数据融合 :图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别


图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:



特殊的方向信息牌标牌:



而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。



另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。



最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。


综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的 End2End 方案,在一个网络中同时完成检测与细分类任务。常用的 dataset 一般是 PASCAL VOC(20 类)和 COCO(90 类)等。


根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过 Faster-RCNN 在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。


2.位置服务


轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离 1-2 个车道的平行路,需要很高的定位精度,常规的 GPS 定位精度在 5-10m,很难达到 80%的主辅路识别率。另外基础地图数据本身也存在 GPS 精度问题。


通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。


而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。


3.图像差分和语义过滤


图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受 GPS 自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。


这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过 GPS 轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助 OCR 能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。


4.基于位置的数据融合


由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。


四、总结

高德 SD 基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像 AI 技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。


本文转载自公众号高德技术(ID:amap_tech)。


原文链接


https://mp.weixin.qq.com/s/-0WJkoRdYJs4Q7JXVNa2Ww


2020-07-01 10:003125

评论

发布
暂无评论
发现更多内容

ChatGPT作者John Schulman:我们成功的秘密武器

OneFlow

人工智能 深度学习 ChatGPT

中小企业需要统一的快速开发平台吗?

力软低代码开发平台

浪潮 KaiwuDB x 山东重工 | 打造离散制造业 IIoT 标杆解决方案

KaiwuDB

数据库 iiot 制造业

bucket表:数仓存算分离中CU与DN解绑的关键

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

defi质押LP流动性挖矿dapp系统开发详情(案例)

开发微hkkf5566

瓴羊Quick BI更合适“中国式报表”需求!

巷子

DLRover:蚂蚁开源大规模智能分布式训练系统

SOFAStack

人工智能 互联网 DLRover

如何通过C#/VB.NET代码在Word中插入或删除脚注

在下毛毛雨

C# .net word 脚注

2023年2月国产数据库大事记-墨天轮

墨天轮

数据库 opengauss TiDB oceanbase 国产数据库

什么是信创产品?怎么成为信创产品?

行云管家

信创 国产化

云图说丨云数据库GaussDB(for MySQL)事务拆分大揭秘

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

GitLab 凭借什么连续 3 年上榜 Gartner 应用程序安全测试魔力象限?听听 GitLab 自己的分析

极狐GitLab

DevOps DevSecOps 安全测试 极狐GitLab 安全合规

【物联网开发实战】- 设备上云方案详解——设备接入类

阿里云AIoT

物联网 传感器

ChatGPT 未来发展趋势 | 社区征文

魏铁锤

ChatGPT

喜讯!阿里云数据库PolarDB荣获第12届PostgreSQL中国技术大会“开源数据库杰出贡献奖”

阿里云数据库开源

开源数据库 polarDB 阿里云数据库 PolarDB-PG PolarDB for PostgreSQL

Java面试一个月,心态崩了……

程序知音

Java java面试 Java进阶 后端技术 Java面试八股文

设备离线时控制指令如何下发:通过设备影子实现离线设备的控制指令触达方案——设备管理运维类

阿里云AIoT

物联网

如何判断多账号是同一个人?用图技术搞定 ID Mapping

NebulaGraph

图数据库 风险控制 安全控制

CNStack 多集群服务:基于 OCM 打造完善的集群管理能力

阿里巴巴云原生

阿里云 云原生 kubenetes 集群管理

数据安全特点有哪些?现在企业如何保障数据安全?

行云管家

数据安全 堡垒机 数据泄露

汇率市场大幅波动,用友BIP全球司库助力企业外汇避险

用友BIP

金融 外汇避险

车载小程序发展现状:使用环境、用户体验、应用场景及未来趋势

没有用户名丶

小程序化

DLRover:蚂蚁开源大规模智能分布式训练系统

AI Infra

互联网 智能 训练智能

解密数仓高可用failover流程

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

瓴羊Quick BI真心不错,已获得官方认可!

对不起该用户已成仙‖

面向新时代,海泰方圆战略升级!“1465”隆重发布!

电子信息发烧客

及刻周边惠:拥抱HarmonyOS原子化服务

HarmonyOS开发者

HarmonyOS

探索ChatGPT技术在文本生成、机器翻译领域的简单应用 | 社区征文

兴科Sinco

人工智能 机器翻译 OpenAPI openai ChatGPT

云计算生态该怎么做?阿里云计算巢打了个样

云布道师

云计算 阿里云

IoT平台设备标签功能和规则引擎组合最佳实践——设备接入类

阿里云AIoT

sql 监控 物联网 API 定位技术

博睿“她”力量 :这份专业值得信赖

博睿数据

博睿数据 节日祝福

高德SD地图数据生产自动化技术的路线与实践(道路篇)_AI&大模型_高德技术_InfoQ精选文章