2020 年,海量数据持续爆发,成为了应用开发的坚定基石,大量与数据相关的创意甚至是应用,雨后春笋一样涌现,让曾经天马行空的服务想法不再是空中楼阁。但机会总是伴随着挑战,对于开发者而言,数据既是变革 AI 的可能,也成为了挑战的来源。作为一名开发者,你一定也会明白,想要开发一款应用,并实现它们的落地,到底会遇到多少困难。
在应用软件市场上,不仅有微信这样日活十亿以上的国民应用,手机淘宝、抖音、快手这样日活 3~5 亿的超级应用,也有许多承载着开发者自身期望的,“头部之下”的新兴 APP,对于不同体量,不同性质的 APP 而言,在应用落地的过程中遇到的问题不尽相同。
对于超级、一流 APP 的企业和应用开发者而言,最大的问题就是对算力的应用需求,Open AI 2019 年发布的 《AI 计算量报告》指出,目前全球算力供应上存在着严重的供需不平衡现象,仅 2012-2018 年,人们对于算力的需求增长就超过了 30 万倍,平均每年增长 10 倍,受算力限制的数据处理问题,正在成为影响 APP 流畅度,稳定性问题的首要因素。
而对于中小企业甚至是创业者团队的开发者来说,应用开发的掣肘之处更多:昂贵的服务器租赁成本、难以找到的合适的资深经验开发者,甚至是不同平台上所使用的开发语言的壁垒,导致工作量指数级增长,都在阻碍开发者的一个个创意转化为现实。
其实,助力开发者进行应用落地,是华为昇腾一直在做的。
昇腾以模块、服务器、集群、云服务多种模式为抓手,提升企业的 AI 开发能力,促进业务场景创新。基于全栈开放思维,也形成了对开发者极具友好度的整个生态,几乎可以“手把手”地为开发者解决实际问题。
在刚刚结束的华为全联接大会( HC )2020 上,我们也看到了华为全方位展示昇腾能力的展岛,以及展岛周围不停围观的昇腾开发者。对于开发者而言,本次架构的升级无疑会是个振奋人心的好消息。
1 架构升级,开发者究竟有哪些受益?
纵览 HC 2020 不难发现,华为在软件领域有着越来越深入的布局,无论是搭建昇腾 AI 全栈生态、建设开源社区,还是使能合作伙伴,大力协助开发者进行应用落地,基于昇腾架构的“软硬一体”号角已经全面拉响,而最受开发者关心的问题无疑是,如何通过这次的整体架构升级,更轻松、可靠地实现自己的应用落地。
「昇腾 AI 全栈」主要包括四大层面,分别是系列硬件、AI 算子开发、AI 模型开发和 AI 应用开发,可以说是为开发者提供了一条龙服务——
在硬件方面,虽然已经积极进行转型,但华为毕竟曾经是最著名的硬件生产厂商,即使发力做云服务,在算力基础设施上的投入也毫不含糊。比如最新的 Atlas 300I 推理卡,就能基于昇腾 310 AI 处理器,单卡提供 88 TOPS INT8 算力,支持 80 路高清视频实时分析(1080P 25FPS),提供超强 AI 推理性能,支持更强的边缘计算。随着 5G 的发展,大量传感器带来大数据的挑战,开发者也势必要就此作出反应,在数据处理的过程中,已经不能再简单地用云计算进行处理,边缘计算势必成为应用开发过程中降本增效的关键环节。
而在 AI 算子开发层面,升级到 3.0 版本,实现 3 倍开发效率提升的异构计算架构 CANN 也是亮点。
作为算力发挥的核心,CANN 3.0 支持多种主流 AI 框架、10+ 端边云设备形态、14+ 操作系统,提高了全场景硬件的性能;统一的 API ,四大开放性的设计,则帮助开发者高效开发:只需要编写一次代码,就能实现端边云全场景复用,可以让开发者不必在不同的终端再去开发不同的算子,大大提高了效率,模型训练时间也减少一半以上;而 1000+ 高性能算子,更是让 CANN3.0 化身为“算力狂魔”,为企业提供澎湃算力。但如果提到最实际的帮助,那可能最让开发者关心的就是——省钱省事。
目前,AI 应用开发存在一个“大 Gap”。华为计算产品线总裁邓泰华表示,目前的 AI 应用普遍存在训练侧和推理侧的设备相互独立,业务流程分割的问题,很多环节需要人为干预,不仅提高了开发成本,也几乎抵消掉了 AI 带来的便利。
而这次在 HC 大会上推出的 CANN3.0,就创新地做到了推理和训练能力“两手抓两手都要硬”,让 AI 应用开发不再是“氪金游戏”;而在打破了训练侧和推理侧的壁垒之外,CANN3.0 还做到了端边云全场景的协同,可以满足开发者搭载不同设备的需求,适配 Linux、Android、鸿蒙 OS 等多个操作系统。
与此同时,华为还推出了支撑全流程开发的工具链 MindStudio,方便更多的开发者进行算子开发、模型训练与模型推理等应用开发,显著减少训练时间和成本,改善 AI 开发体验。对开发者来说,无疑也是个重大的利好消息。
当然,计算基础打好,如何部署则是另一码事,这个难题,让 AI 模型开发框架 MindSpore 来解决。
华为轮值董事长徐直军曾经在发布会上表示:华为之所以要开发并推出 MindSpore 框架,是因为没有任何一个现有框架支持全场景,而相比市面上已有的其他 AI 框架,MindSpore 提供了一个更通用的 AI 编译器,可以在包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等环境进行全场景部署,实现“端边一体”的新格局。
除此之外,MindSpore 也采用了端 - 边 - 云按需协作的分布式并行原生架构,为支持更多的应用类型提供可能性,也向着全流程极简的目的出发,帮助开发者,用一行代码实现亿级参数模型、适配不同硬件开发。目前,MindSpore 已经加速进入了新的阶段:MindSpore 1.0。
随着现在的 AI 模型越来越大,参数越来越多,框架的并行能力变得越发关键。MindSpore 1.0 是业界首个提供全自动并行的框架,不仅自动将大图切分成小图,还可以将小图中的算子自动切分并分配到处理单元中,开发者无需手动干预,可以大大提升了效率。其次,MindSpore 1.0 可以实现全场景自适应协同,模型训练好后,可以根据不同硬件形态自适应生成相应的模型,跨终端、边缘设备、服务器等异构硬件运行,无需模型转换;最后,MindSpore 还提供了全流程的极简开发,开发者可基于 MindSpore 快速实现模型导入、灵活调试,对第三方框架比如 TensorFlow、PyTorch、Caffe 等已训练好的模型,也可以通过工具实现自动转换。后续,在 2021 年,MindSpore 2.0 版本会涵盖弹性训练、科学计算等特性。
最后,自然是 AI 应用开发方面。对于整个应用行业来说,虽然在过去的 20 年,主力都是各种成熟的应用开发公司,或者经验丰富、专业职能扎实的开发者,但开发能力与代码挂钩,创意却不受限于此,对于大量的非 AI 专业开发者来说,关键是用了 AI 的服务,而不是去研究 AI 的原理。所以,为了能够简化应用开发的流程,华为推出了昇腾应用使能 MindX 。
针对开发能力有限的开发者,MindX 提出了“2+1+X”的助力概念:“2”,是指深度学习使能 MindX DL、智能边缘使能 MindX Edge,核心功能是完成设备资源、算力资源统一的抽象和管理,可提供基础的网络通信、应用的部署的管理功能,上层开发只需关注功能而不需要关注硬件的底层配置细节等;“1”,是指优选模型库 ModelZoo,预训练高性能模型,已上线 60 多个优选模型,“X”,则是使能各行业的 SDK ,这些 SDK 是面向同一类行业场景的完整开发工具包和对应的行业知识库,把一类场景的开发经验和行业知识积淀下来,水平复制,共享能力,大幅度降低开发门槛,提升应用开发效率。
MindX1.0 更像是为中小企业、编码小白量身打造的“保姆式”应用开发工具,能满足那些没有深度开发能力、但想要打造行业 AI 应用的用户的需求——只要看到了市场上存在的需求痛点,拥有一个绝妙的创意,那么,不必被自己的编码能力限制,在 MindX 1.0 上,开发者只需要极少量的、甚至只有一行的代码,就能通过整套行业 AI 应用软件的开发套件,生成个性化的 AI 应用。
在 Mind X 的助力下,昇腾的合作伙伴已经反馈了不错的成绩——商业级应用软件的上线时间缩短到 0.5 人 / 月,开发效率也得到了十倍的提升。
2“产教融合”培养 AI 的有生力量
虽然华为在架构的搭建上投入了大量的人力物力,也致力于帮助新手开发者以最简洁的方式开发出自己的落地应用,但从长远角度考虑,开发者的培养才是昇腾的完整上台持续发展的有生力量,为此,华为在不断完善架构的同时,也把人才的培养提上了战略高度,期待以产业发展推动人才体系的建设。
在华为的人才培养体系中,高校、研究生、高职的教师和学子都被囊括其中,为了弥补 AI 人才缺口,华为不仅积极举办了高校峰会,开展师资培训,培养一批具备鲲鹏昇腾专业知识的大学教师,打通从高校教师到高校学子的教育链路,也自身为课程理论和开发实践的结合做贡献,与 72 所高校达成了合作,建立了“智能基座”产教融合协同育人基地,力度也在不断加强。
除了和高校的合作,在 2019 年的 HC 大会上,华为发布了第一本基于“鲲鹏”和“昇腾”的教材,而在刚刚过去的 HC 2020 上,华为更是一口气发布了新的 5 套学习教材,对人才培养的重视程度可见一斑。
作为众所周知的高级人才“集邮玩家”,除了书面知识的传播,华为的教育尝试还有很多——开办近 70 节课程之外,建立沙箱实验室、打造昇腾社区、建立华为云学院、举办创新大赛。在人才培养和行业课题研究上,华为始终致力输出高质量的人才,为产业积蓄爆发能量。
就像华为计算产品线总裁邓泰华所强调的华为的目标:极简高效、极致性能的全栈 AI 满足每一类开发者的不同需求。建设 + 教育,性能升级 + 门槛降低,华为的 AI 下半场,全栈的生态构建值得持续期待。
评论