写点什么

自动驾驶领域中的图像分割应用

  • 2019-10-15
  • 本文字数:1826 字

    阅读完需:约 6 分钟

自动驾驶领域中的图像分割应用


通勤是我们日常生活的一个重要组成部分,而其中包括的车辆驾驶问题一直是人工智能的热门话题。本文我们就谈谈自动驾驶中的图像分割应用,主要介绍了基于视觉系统的自动驾驶问题,并给出常见的三种模式。在此基础上,分析了应用于自动驾驶领域的一些图像分割方法和其对应的实验结果。

介绍

相对于机器人视觉而言,自动驾驶问题所需要输出的决策相对简单——速度和转角。当前,基于视觉的自动驾驶算法大致有如下图所示的三种模式:间接感知(MP)、行为反射(BR)和直接感知(DP)。



常见基于视觉的自动驾驶模式(图片来源于参考文献 1)


间接感知方法通常会利用多种与驾驶相关的目标来判断车辆所处的环境,比如指示线、路标、路灯、其他车辆、行人等统一的路况判断依据。基于这种方法的自动驾驶系统会在作出判断之前,考虑所有捕获到的信息,也就意味着所有的细节都会被考虑进去。尽管这样做看起来面面俱到,但是对于算法的要求很高,否则各种小细节的引入会增加决策的难度。


行为反射方法直接将传感器获取到的信息映射成驾驶行为。在训练过程中,自动驾驶系统记录沿途的图像和司机的操作转角作为训练数据。这种方法虽然简洁,但是要适应复杂的路况和因人而异的驾驶习惯,难度还是很大的。


直接感知方法是介于前两种方法之间,既非理解整个场景,也非完全不加分析地直接映射。这种方法只学习场景内的重要路况,比如车辆相对于路面的角度、车辆到指示线的距离,以及车辆距离当前车道内和相邻车道内其他车辆的距离。



直接感知方法示意图(图片来源于参考文献 1)


基于纯视觉图像分割的自动驾驶

基于图像分割方法实现自动驾驶的方式可以有很多。比如可以直接从图像入手,分析场景内所有或部分的语义信息,根据不同语义给出不同的反馈;也可以通过分割提取图像内的可解释信息,区分出可驾驶的路面和不可驾驶的路面,从而作出驾驶决策。


对基于纯视觉方法的自动驾驶分辨技术,图像分割的精度是决定自动驾驶效果的重要因素。为了提高图像分割的精度,除了有三 AI(公众号)《图像分割模型》专栏中介绍的常用模型及改进方式外,还可以利用不同类别标注间的关系来全局约束分割结果。


如下图所示,CMSMR 网络结构利用多标签共同学习、协同优化的方式,实现了高分辨率图像下的图像分割。



DMSMR 网络结构(图片来源于参考文献 2)



单条前向排序优化网络(图片来源于参考文献 2)


除了车载设备获取的路面信息外,这种方式也可以利用到遥感图像上。如下图所示,实现遥感图像下的道路分割不仅有助于车辆的自动驾驶,也有助于道路规划、交通疏导等宏观规划问题的解决。



自动驾驶相关遥感图片下的图像分割(图片来源于参考文献 2)


基于多传感器融合的自动驾驶

除了单纯利用车上的视觉系统外,也可以结合车上搭载的其他传感器,实现联合信息下的自动驾驶决策判断。


下图是结合雷达信息实现自动驾驶中道路分割的网络结构图。输入为 RGB 图像和激光雷达所获取的信息,经过特征提取和 RFU 模块融合,实现对道路的分割。



结合雷达的图像分割自动驾驶系统(图片来源于参考文献 3


下图为上图中橙色部分对应的 RFU 模块:



RFU 模块(图片来源于参考文献 3)


参考文献:


[1] C. Chen, A. Seffetc, A. Kornhauser, and J. Xiao. DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving[C]. 2015.


[2] M. Zhang, X. Hu, L. Zhao, Y. Lv, M. Luo, and S. Pang. Learning Dual Multi-Scale Manifold Ranking for Semantic Segmentation of High-Resolution Images[J]. 2017


[3] H. Liu, Y. Yao, Z. Sun, X. Li, K. Jia, and Z. Tang. Road Segmentation with Image-LiDAR Data Fusion[J]. 2019


作者介绍


孙叔桥,公众号“有三 AI”作者。该公号聚焦于让大家能够系统性地完成 AI 各个领域所需的专业知识的学习。


原文链接


https://mp.weixin.qq.com/s/qlyj4H_qh6okNuZ6TKKDTw


2019-10-15 17:333254

评论

发布
暂无评论
发现更多内容

云内GSLB技术及应用场景

天翼云开发者社区

云计算 容灾备份

谈谈天翼云VPCE

天翼云开发者社区

云计算 VPC终端节点

win版O&O Defrag (磁盘碎片整理工具)Professional / Server注册版

iMac小白

智算引领 AI启航,中国电信天翼云助推辽宁数智发展!

天翼云开发者社区

人工智能 云计算

win版BitRecover EML Converter Wizard(邮件转换软件)下载

iMac小白

win版Topaz Gigapixel AI(人工智能图片放大工具)特别版

iMac小白

Topaz Gigapixel AI中文 Topaz Gigapixel AI下载

使用生成式AI的影视工作室所必备的版本控制系统Perforce Helix Core:助力更好地数据管理、分享和协作

龙智—DevSecOps解决方案

Perforce Helix Core 版本控制工具 生成式 AI 应用

虚幻引擎5与Perforce Helix Core集成使用案例:打造AAA级科幻游戏《Project Vesperi》

龙智—DevSecOps解决方案

版本控制 游戏开发 Perforce Helix Core

数字先锋| 塞上江南新面貌:惠企便民政务兴!

天翼云开发者社区

云计算 云服务 政务云

win版MAGIX Samplitude Music Studio X8(音乐制作软件)特别版

iMac小白

从自动到智能:企业级问卷系统全开源,让调研更轻松~

XIAOJUSURVEY

开源 全栈 智能化 问卷 企业级

卷爆短剧出海:五大关键,由AIGC重构

阿里云视频云

云计算 AIGC 微短剧 短剧

代码革命的先锋:aiXcoder-7B模型介绍

京东科技开发者

Decryption high performance :IPQ8072 and IPQ8072A chips detailed comparative ...

wifi6-yiyi

IPQ8072 IPQ8072A

职场火焰杯测试开发大赛报名倒计时:最后一天!

测试人

软件测试

大模型效能工具之智能CommitMessage

百度Geek说

百度 大模型 企业号2024年5月PK榜

自动化UI测试工具TestComlete现已集成AI功能,可自动执行可视化回归测试,减少误报,简化工作流程

龙智—DevSecOps解决方案

UI自动化测试 SmartBear

同样的APP为何在Android 8以后网络感觉变卡?

京东科技开发者

前端常见的页面自适应布局方案

秃头小帅oi

穿越周期!天翼云laaS+PaaS全年市场份额跃居中国公有云市场第三!

天翼云开发者社区

云计算 云服务 IDC

win版Disk Sorter Pro / Ultimate / Enterprise (文件分析管理工具)特别版下载

iMac小白

win版Native Instruments Kontakt(音乐采样工具)特别版

iMac小白

国内唯一!阿里云荣膺MongoDB“2024年度DBaaS认证合作伙伴奖”

阿里云瑶池数据库

mongodb 阿里云 阿里云瑶池数据库

win版BurnAware Professional (光盘映像工具)特别版

iMac小白

Klocwork 2024.1新功能详解:验证平台功能提升、分析Bazel构建项目、MISRA C++:2023®编码标准

龙智—DevSecOps解决方案

klocwork perforce 静态代码分析工具

win版Power-user Premium(Excel插件)特别版

iMac小白

一条数据包从收到发--交换芯片篇(一)

天翼云开发者社区

云计算 架构 交换芯片

Epubor Ultimate Converter(电子书格式转换工具)注册版

iMac小白

ScrumMaster认证机构及CSM、PSM、RSM价值比较

ShineScrum捷行

自动驾驶领域中的图像分割应用_AI&大模型_孙叔桥_InfoQ精选文章