报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

基于昇腾 AI 的“金奖”实践,给开发者有何启思?

  • 2022-12-27
    北京
  • 本文字数:3843 字

    阅读完需:约 13 分钟

基于昇腾 AI 的“金奖”实践,给开发者有何启思?

12 月初,第八届“互联网 +”大学生创新创业大赛(下文称“本届大赛”)圆满落幕,该大赛由教育部主办,旨在全面深化高校创新创业教育改革、提升大学生创新创业能力、加快培养创新创业人才,纵深推进大众创业万众创新。


在本届大赛中,华为五大技术领域共输出 47 道命题,来自 30 个省的 249 所高校 2799 支队伍 11661 人报名华为命题,在 858 家命题企业中排名第一,其中昇腾命题报名团队人数最多。


历经激烈角逐,由北京理工大学韩煜祺博士带领的团队基于昇腾算力及 CANN 开发的创新应用《京工天鹰——昇腾赋能智能实时无人机载安防系统》(下文称“该项目”)在本次比赛中斩获金奖。本届大赛决赛有来自全国的 90 支队伍参与金奖争夺,为何该项目可以夺得金奖?该项目有何特色?带着这些疑问,InfoQ 对该项目的负责人——北京理工大学的韩煜祺博士进行了专访。



一、选题之思:AI 赋能安防监测对公共安全领域意义重大


韩煜祺来自于北理工毛二可、龙腾院士创新团队,该团队长期深耕于机载实时信息等相关技术的研发工作,韩煜祺本人博士阶段也是从事基于无人机平台的智能化算法研究及开发。在韩煜祺带领下的京工天鹰团队共 15 个人,昇腾 AI 基础软硬件平台能提供高算力,同时具备软硬协同、自主创新等优势,十分切合该团队所有成员的兴趣,且该团队之前已经有过华为其他领域的研发经验,因此选择了昇腾 AI 的命题进行应用探索并参赛。


在决定参赛后,京工天鹰团队在选题方面做了很多考虑。安防行业的社会意义重大,传统人工或视频监测的安防方式存在盲区多、风险高、响应慢等问题,是该团队一直在关注的领域。该团队通过对机载安防市场进行调研和分析,发现该行业的市场规模很大,21 年的行业规模有近万亿元。在多次与昇腾 AI 技术团队沟通后,京工天鹰团队觉得团队自身在机载实时信息处理上有一定技术积累,加上昇腾 AI 的助力,对完成项目落地非常有信心,于是确定了《京工天鹰——昇腾赋能智能实时无人机载安防系统》这个选题。


该项目从命题揭榜到参与总决赛答辩共历时 6 个月,来自信息通信工程、光学工程及工商管理等专业的项目团队成员,在项目推进过程中各自发挥特长,比如光学工程专业的同学主要解决了紧凑型吊舱的结构设计问题;研究信息处理的同学对轻量化的智能算法进行了技术攻关;工商管理专业的同学主要对商业和市场管理方案进行了内容输出。


通过与昇腾 AI 的深入沟通并结合实际研发的任务,京工天鹰团队对昇腾的计算架构进行了深度的二次开发,缓解了算力与功耗的矛盾,基于昇腾异构计算架构 CANN 研究了图像智能处理平台及智能实时无人机载安防系统,拓展了昇腾算力的应用生态。

二、项目实现:一款基于昇腾算力及 CANN 的创新应用


该项目主要面向完善自主创新 AI 生态的需求,以及公共安全领域创新巡检方案的行业缺口,构建了机载的智能、实时、通用巡检方案,实现了无人机在防疫、边境和火灾等巡检场景对人、车辆等目标的检测、识别与定位等功能。


公共安全应用场景复杂多样且需求不一,人的异常行为定义具有复杂性且存在时效性,所以“对可疑车辆、行人实现自主检测及追踪定位”的功能是项目的关键核心,该功能需要具有强大的抗干扰能力和较强的鲁棒性,并能够实现异常诱因检测,具有实时性的处理算法和高性能的运行平台。


为此,京工天鹰团队提出了一系列解决方案。他们主要采用无人机相机采集航拍图像,然后将图像传输给目标检测模块,通过图像预处理、特征提取、特征匹配等一系列过程实现对物体、车辆目标的捕获;之后,依据帧间目标外观及其运动状态,对多个目标进行编目实现多目标的持续锁定与关联。


从技术创新的角度,由于无人机观测范围广、监视时间长,航拍图像分辨率高、图像容量大,对机上算法的智能化和实时性都提出了较高要求。团队使用多手段联合的神经网络轻量化模型降低对大数据、大模型的依赖,通过内嵌推理机制的智能化学习技术,采用数据 + 知识双重驱动的学习策略,在大幅降低计算复杂度的情况下,同时实现了对 20 个目标的机上实时处理功能。


而且,在系统实际落地过程中,由于其体积功耗等资源约束限制,就要求在有限的资源供给下,对模型进行适当压缩,仍能保证较好的处理精度和较高的运行效率。


结合这些场景的边界约束,从硬件层面,该项目主要采用 Atlas 系列硬件作为核心处理器,利用 CANN 对训练、推理流程进行加速优化,使昇腾 AI 在项目中发挥最大能效。


同时,京工天鹰团队对昇腾平台进行了二次开发,设计了多昇腾 +FPGA 的异构计算架构,通过对任务进行模态拆解并自适应匹配最高效的硬件处理资源,从而提升平台的能效比,有效平衡算法的算力需求与机载平台的功耗约束,并结合能弱化底层硬件差异性的软硬解耦中间件进行开发。软硬解耦中间件将算法任务分配后,借助 CANN 完成并行推理时的资源管理和执行使能,从而解决了算力无法满足应用需求的问题。


为了实现项目功能,从算法层面,京工天鹰团队也自研了目标检测算法、多目标跟踪算法以及模型轻量化算法等 AI 算法:

  • 目标检测算法:在大视场的机载图像中对感兴趣目标进行快速捕获,为后续处理提供目标的初始选点;

  • 多目标跟踪算法:对检测到的目标进行时序上的特征及轨迹关联,对目标赋予稳定的标号;

  • 模型轻量化算法:将上述检测和跟踪模型进行压缩和效率优化,使智能化模型能够在有限资源的无人机平台上部署。


在算法技术攻关的过程中,由于机载航拍图像中目标呈现多尺度、多朝向分布的特点,导致目标捕获过程中存在漏检及虚警等情况。团队通过设计目标多层级特征融合及自适应角度估算等策略,提升对不同分布条件下目标外观表征能力,保证了对重点目标的精准检测与定位。


在整个软件驱动硬件的过程中,京工天鹰团队将 CANN 纳入研发的软硬解耦中间件的框架中,基于 CANN 的异构并行加速能力,对整个算法流程进行了分析和分解,充分考虑硬件特性,将不同任务负载映射到计算资源池中特定的硬件加速模块上,在整体上获得更低的处理时延和更高的能效比。

三、昇腾 AI 赋能:切实满足项目从训练到推理的多场景算力需求


在该项目的开发过程中,京工天鹰团队大量使用 CANN 提供的精度比较工具、算子自动调优工具以及性能瓶颈分析工具等。这些工具极大提升了开发效率,也让自研算法有了更好的执行效率,从而充分地释放昇腾算力的潜力。值得一提的是,CANN 提供的 TBE 算子开发工具使得该团队能将实验室自研的先进算法移植到昇腾平台上,通过自定义算子的开发,完成了对智能算法端到端基于昇腾算力的加速,满足了智能无人机载安防系统对高精度算法实时处理的需求。


昇腾异构计算架构 CANN ,对上承接多种 AI 框架,对下服务 AI 芯片与编程,是提升昇腾处理器计算效率的关键平台。使用 CANN 进行平台迁移的成本较低,在方案实现时,只需指定 device 为昇腾 AI 处理器,即可用昇腾 AI 处理器完成网络的开发、训练以及调试,无需额外进一步关注昇腾 AI 处理器具体的底层细节。


同时,京工天鹰团队在采用 MindStudio 打通应用流程通路时,对于新增的网络类型或结构,只需关注相关计算类算子的开发和实现。框架类算子,反向图建立和实现机制等结构可保持复用,这使得该团队在利用昇腾体系进行多场景应用开发时,拥有了非常优秀的扩展性。


韩煜祺说,在项目研发过程初期,由于项目团队对 CANN 和 Atlas 系列硬件尚不熟悉,在硬件固件、内核、驱动包等版本选择和匹配上有较大的疑惑,这个过程中,昇腾 AI 技术团队及时提供了支持,昇腾 AI 技术团队对固件、内核、驱动等内容进行了完善,京工天鹰团队从昇腾社区获取稳定的 SDK 包,经过反复沟通和验证,打通了项目的应用流程,解决了类似于推理不稳定、PCIE 偶发性断链等问题。


谈及到项目的未来发展,韩煜祺说道:“从项目揭榜开始,我们就一直和昇腾 AI 保持着密切沟通。无论是参与比赛还是未来一段时间,我们团队的定位始终是携手华为一起拓展昇腾 AI 的应用生态。”


聚焦到项目执行上,在技术层面,京工天鹰团队未来将继续发挥自己的优势,继续在人工智能和公共安全领域不断探索和耕耘,完成更多的功能实现和技术优化。在市场层面,该团队希望可以获得来自学校、技术产业转化中心的更多支持,全面推进项目的商业化。


四、AI 未来:需要更多个“京工天鹰团队”的共同努力


在对比众多 AI 体系后,京工天鹰团队发现昇腾 AI 具有最完善的生态体系,CANN 的全面性、易用性、灵活性使它成为一个可靠实用的工业级套件,因而该团队既可以在硬件方面设计新架构,又能在软件上创新算法并做硬件级加速,从而充分利用昇腾的强大算力。


京工天鹰团队已经深刻地体验到,CANN 作为硬件使能层,是沟通智能算法和 AI 算力的桥梁。借助张量加速引擎 TBE 的标准算子加速库和自定义算力能力,网络模型能找到优化后、可执行、高效率的算子,并可以在任务调度器、运行管理器以及驱动的助力下,充分发挥硬件的性能。


正如韩煜祺所观察到的,国内人工智能技术的发展在单点上都有非常出色的表现,包括近些年来的顶会论文以及商业技术应用上国内已经可以达到甚至超越国外水平,但目前国内“完整的”人工智能生态建设距离国际水平还有一定差距,这需要更多个“京工天鹰团队”共同努力才能追赶。


随着人工智能产业的快速发展,对高性能、低功耗的算力需求日益增大,算力建设也成为城市发展的智能根基。昇腾 AI 准确地把握了这种趋势,针对端、边、云等不同应用场景深度优化,研发了 Atlas 系列硬件,并在硬件之上成功构建了全栈软件生态,赋能了教育、制造、金融等千行百业,成功推动了千行百业转型升级。


总之,更多“京工天鹰团队”的未来值得我们期待,昇腾 AI 的未来更值得我们期待。

2022-12-27 15:516216
用户头像
鲁冬雪 GMI Cloud China Marketing Manager

发布了 364 篇内容, 共 283.6 次阅读, 收获喜欢 299 次。

关注

评论

发布
暂无评论
发现更多内容

详解Native Memory Tracking 追踪区域分析

华为云开发者联盟

开发 华为云 企业号十月 PK 榜

技术分享 | 测试开发工程师必读经典好书清单,抽奖赠书送福利!

霍格沃兹测试开发学社

【网络安全篇】JavaSript基础内容大全

贤鱼很忙

10月月更

你真的了解v-model吗🔥

渔戈

前端 Vue3 10月月更

面试官:数据库加了唯一索引,就不会有重复数据了吗???

小小怪下士

Java MySQL 程序员

2022年第六届数据质量管理国际峰会重磅开启

数据质量管理智库

数据 数据隐私 数据安全 峰会 数据质量

openGemini内核源码正式对外开源

华为云开发者联盟

数据库 物联网 华为云 企业号十月 PK 榜

全彩LED显示屏近年来在中国的发展趋势

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

Vue的开发模式与webpack🔥

渔戈

前端 Vue3 10月月更

Python列表和元组有什么区别

芥末拌个饭吧

后端 python 3.5+ 10月月更

vue-router学习-1

Studying_swz

前端 10月月更

【高并发】深度解析ScheduledThreadPoolExecutor类的源代码

冰河

并发编程 多线程 高并发 协程 异步编程

热门探讨:为何数字化转型的企业,大都“死”在了黎明前夕?

优秀

数字化转型

校招面试真题 | 显式等待与隐式等待的区别?与强制等待的方式分别是什么,有什么区别?

霍格沃兹测试开发学社

【网络安全篇】--HTML基础(预计学习时间:30分钟)从此以后不迷糊~

贤鱼很忙

html 前端 10月月更

牛客刷题系列之进阶版(搜索旋转排序数组,链表内指定区间反转)

雪芙花

c c++ 10月月更

升级全新网络方案,给你低成本、高性能的裸金属体验

华为云开发者联盟

云计算 后端 华为云 云服务器 企业号十月 PK 榜

【kafka运维】Topic的生产和消费运维脚本

石臻臻的杂货铺

kafka kafka运维 10月月更

基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务

汀丶人工智能

nlp

复杂场景数据处理的 OLTP 与 OLAP 融合实践

NebulaGraph

数据库 知识图谱

C++精通之路:红黑树

雪芙花

c c++ 10月月更

牛客刷题系列之初阶版(自守数,返回小于 N 的质数个数,第一个只出现一次的字符)

雪芙花

c c++ 10月月更

你真的了解过Vue的组件化开发吗🔥

渔戈

前端 Vue3 10月月更

以指标驱动业务决策,Kyligence 亮相 Gartner IT Symposium/Xpo™ 峰会

Kyligence

数据分析 指标中台 OLAP技术

Java中的super和this关键字详解

共饮一杯无

Java 10月月更 super和this关键字

《Go语言学习路线图》让你少踩坑,高效学,Let’s Go!

王中阳Go

golang 学习方法 技术专题合集 10月月更 “程”风破浪的开发者

Go语言入门—06切片

良猿

Go golang 后端 10月月更

记一个“奇葩”需求的实现

甜点cc

JavaScript 前端 Element UI 10月月更

一种基于柔性事务的分布式事务解决方案设计探究

京东科技开发者

编程 分布式事务 事务 事务回滚 柔性事务

HashMap源码分析(六)

知识浅谈

hashmap 10月月更

7 步保障 Kubernetes 集群安全

SEAL安全

Kubernetes 云原生 Kubernetes 集群 企业号十月 PK 榜 审计日志

基于昇腾 AI 的“金奖”实践,给开发者有何启思?_云原生_鲁冬雪_InfoQ精选文章