写点什么

菜鸟网络的 AI 进化方向:不追求“通用”的融合,重心是 AIoT

  • 2019-12-13
  • 本文字数:3405 字

    阅读完需:约 11 分钟

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT

就 AI 技术而言,物流是一种很好的应用场景,但是由于“近地端”的原因,智能物流、智慧交通等 AI 技术的落地应用,并没有想象中那么简单。

为了解工业界在智慧物流交通体系的最新尝试和进展,以及菜鸟网络在技术演进过程中所收获的各种经验,InfoQ 记者在 AICon 全球人工智能与机器学习大会 北京 2019 现场采访了阿里巴巴菜鸟网络人工智能部资深算法专家胡浩源老师,以下是采访的具体内容。



InfoQ:胡老师您好,很高兴能够采访您。首先能否请您为我们总体介绍一下,菜鸟网络在引入 AI 概念之后,经历了哪几个阶段的技术架构演变、以及在每个阶段您和您的团队所做的重点工作是什么?


胡浩源:菜鸟是这样的,第一个阶段我们叫做数字化阶段,因为数据是一切之本,如果数据本身没有积累到一定程度,就没有完成自动化决策这个阶段,也是没有办法直接跳到智能化决策这个阶段的。第二个阶段我们叫单点优化阶段,在这个阶段,我们寻找了一些相对还比较明确的记录单点,它相对的业务嫁接比较清晰,我们会开发对应的算法对其进行优化解决。第三个我们叫协同优化或者全局优化阶段,这个阶段它就需要一个体系化的打法了,我们有一个包裹引擎,它承载了整个菜鸟数据建设的体系,该体系涵盖了与 CPU、GPU 分布式的一个交互、一些特定求解器的近似算法、一些通用求解器的分布式扩展以及和深度学习的结合,在最上层,则是供业务算法同学快速调用开发的 Framework。


InfoQ:在菜鸟网络 AI 技术架构演进过程中,您和您的团队所遇到的最大挑战是什么?最后又是怎样克服这些困难的呢?


胡浩源:对于菜鸟而言,因为菜鸟网络隶属于运筹优化的技术线,它需要求解很多问题,这与以前机器学习所面临的大数据问题不同,它是在“NP 难”情况下离散优化的问题,所以它有一个天然不容易调和的矛盾,就是“线上业务的及时性”与“求解计算复杂度所带来耗时”的冲突。简单来讲,就是我们要去决定一个切箱,或者一个路径的规划,调用求解器需要 24 个小时,但实际上,我们正式要投入生产实验组则可能是在几百毫秒内必须求解出来。


在这个过程中,一方面是我们整个团队的配置比较灵活多样,除了运筹优化的同学,我们还有机器学习、CS 和 ACM 相关的一些同学;另一方面我们主要是基于启发式的算法,对算法进行改良,以及在实现上用并行相关、更高效的一些算法,去提升算法求解的速度;再一方面就是像刚才我在演讲的时候说的,在数据驱动场景下,机器学习、深度强化学习和运筹优化的结合,使得结果不再是被求解出来,而是被机器学习直接学出来,进而去协调解决及时性与求解耗时的矛盾。


InfoQ:菜鸟网络的 AI 能力主要表现在哪些方面?在这些方面都是如何使用 AI 技术的?


胡浩源: 菜鸟网络的 AI 能力分为这么几个方面:第一是大家所熟知的 AI 能力,就像图像、语音等,我们会有一些摄像头,做基于图像的一些信息感知;有像智能客服、语音这一类的通用 AI;也有针对菜鸟特有的一些 specific AI,就像我们刚才说的,关于路径规划问题的求解,目前我们破世界记录数是全世界第二。然后除了启发式特定,也就是叫 specific 的求解开发之外,我们还投入了一部分同学去做混合整数规划和机器学习结合,以及真的去做一些硬核的 VRP Solver 的开发,这一块是我们构建物流也好、做产业互联网也好,或者生产制造业运筹优化这个领域中像基石一般的存在,就相当于机器学习底层框架一样。


InfoQ:据我们了解,想要实现智能物流“融合”的概念特别重要,想要请教一下胡老师,菜鸟网络在将机器学习、分布式并行计算、运筹优化算法等技术融合的过程中,菜鸟网络都踩过哪些“大坑”?对于后来者来说,您觉得最需要注意的几点是什么?


胡浩源:一方面,融合是这几年学术界和工业界风口浪尖非常火的一件事,另一方面,融合也是大家确确实实能够看到的一个比较 Promising 的 Direction,它是面向未来的一个方向,但是融合也并不是想象中的用一些比较简单的方式去融合。


关于融合,有一种最简单的方式就是先做预测,再根据预测结果,调运筹优化的相关算法去求解;但这种融合方式的效果是很有限的,因为预测本来就带有偏差,再根据其预测结果求解就是在把这个偏差放大。还有一种融合方法是去加速运筹优化的求解,这就相当于机器学习在里面调一些运筹优化相关的参数,让它变的更快、更好。还有就是像我们现在正在探索的,看能不能直接预测出一个结果来。


关于踩过的坑或者心得体会经验,我觉得是这样的,机器学习并不通用,而是因为在丰富的历史数据前提下,我们把这个求解过程,调得适配于历史数据,以及适配于将来可能会遇到的数据;机器学习和运筹优化的融合应该是基于这个原则进行,而不是去追求一个通用的机器学习和运筹优化的融合。


InfoQ:目前您和您的团队正在做的关于机器学习和运筹优化领域相结合的算法主要是具有哪些特点?能否为我们举一个典型的算法实例大致说明一下?


胡浩源:我们现在正在做的融合,并不是去碰那些通用的机器学习和运筹优化的融合,而是站在产业界的应用上去做。


举一个最简单的切箱例子,你很少会见到一个包裹里面有一千个,甚至一万个商品的情况,特定场景下的数据,基本上不会发生很大的改变,就比如大部分的包裹数不会超过十个,那么我们就可以通过历史数据,利用深度强化学习不停的去调,调出一个适用于某个场景的结果;但我并不承诺说,这个场景的结果立刻放到另外一家公司的切箱上就能够有用,就切箱来说,它可能一个包裹只有一两个商品,或者说它是切集装箱,一个集装箱有一万甚至两万的商品,具体情况要具体分析;所以,总而言之,我们探索的是一种可以复用的方法论,而不是到哪里都可以使用的模型。


InfoQ:当前,智慧交通物流的发展现状是什么?如果想要再进一步,会面临哪些困难和挑战?


胡浩源:现在智慧交通物流发展现状就是局部可能已经有人工智能的相关力量介入了,也产生了一些效果,但是它是一个集成工程,如果你不能在全链路上的每一环都做好数字化和智能化的话,它发挥的价值比较有限。


在未来一段时间内,人工智能和 IoT 的整合是非常重要的一件事情,就像我刚才表达的,你首先得有数据,有了数据去做自动决策,有了自动决策才能再去做智能决策,我觉得在未来一段时间内,IoT 和人工智能结合的 AIoT会是一个比较大的方向。


InfoQ:那么随着 5G 时代、AIoT 时代的到来,菜鸟网络在这个大前提下会进行哪些转变,换句话说,菜鸟网络未来的进化方向是什么?


胡浩源:我们现在已经有一些 AIoT 相关的工作在尝试,就比如今年 4 月份我们在物流峰会上发布的 APP 箱,这是云边端概念的一个比较好的展现,它把以前在端上非常复杂繁琐 APP 设备,极简化成了一个很小的指令箱,它只做下发指令等一些简单的事情,把很多复杂的决策交给中央大脑,让人工智能去决策。


而随着 5G 的到来,会使很多端上的设备焕发出更好的生命力,就比如说舱内的级别也好、舱内的 APP 箱也好,这些在应用时都会面临同一个问题,如果用 WiFi 之类的 AP 它会频繁的掉线,如果用 4G 会面临成本的问题,但是 5G 与端侧设备的适配程度是比较高的,这对我们全面推进数字化转型具有比较大的作用。


InfoQ:在您看来,未来的智慧交通物流将会是怎样的一个发展趋势?


胡浩源: 我觉得未来的交通物流智能化一定会走向一个端上逐渐决策弱化,基本在中央大脑堆积决策的阶段。


现在很多的事情就是,一方面线上化决策,一方面依赖于分布各处的节点。而未来肯定会是,节点的工作变成一个执行指令的过程,不需要有太多的思考,所有的决策下发都会交给中央大脑去执行,因为理论上来讲,中央大脑能看到所有的数据,它可以比任何的局部做出更优的决策。


关于端侧的人工智能,则会以感知为主,不再涉及决策;端侧的人工智能可能会去进一步发展感知信息的能力,包括图像相关的一些事情,但是它不再需要在端上做决策,比如说某个功能怎么实现、两侧怎么走、去接什么单等。而就端侧的一些 AI 芯片来讲,大部分我们称作是图像 AI 芯片,由于图像传输成本较高,如果可以在端侧就能把图像要表达的信息推理出来,能够大幅度降低成本,所以本质上来说还是一个成本上的考虑。


嘉宾介绍:


胡浩源,菜鸟网络资深算法专家,目前主要从事机器学习和运筹优化领域相结合的算法研究和架构体系设计。在阿里巴巴历经阿里云、天猫推荐、搜索、菜鸟网络,2015 年团队获得 CEO 特别贡献奖。所领导的团队构建结合精确求解、启发式求解、深度强化学习求解的 Greed Solver 中的 VRP Solver,突破了几十个世界范围内的 best known solution。


2019-12-13 08:3011776
用户头像
张之栋 前InfoQ编辑

发布了 91 篇内容, 共 48.2 次阅读, 收获喜欢 159 次。

关注

评论

发布
暂无评论
发现更多内容

AnyGo for Mac(虚拟定位软件) 6.9永久激活版

mac

苹果mac Windows软件 虚拟定位软件 AnyGo

语音数据集:AI语音技术的基石

来自四九城儿

容器中域名解析流程以及不同dnsPolicy对域名解析影响

华为云开发者联盟

容器 云原生 华为云 华为云开发者联盟

低代码开发,到底存在多少误解?

秃头小帅oi

敏捷开发 低代码 开发工具 JNPF

PWA 离线方案研究报告 | 京东云技术团队

京东科技开发者

前端 Web PWA

3D模型材质丢失怎么办?

3D建模设计

3D渲染 材质贴图 材质编辑

软件测试/人工智能丨掌握视觉CV处理技术对软件测试工作的帮助

测试人

人工智能 软件测试

31 | 深度和广度优先搜索:如何找出社交网络中的三度好友关系

鲁米

【等保】安徽省等保测评机构名单看这里!

行云管家

等保 等级保护 等保测评 安徽

KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

KaiwuDB

KaiwuDB “星河”标杆案例

软件测试/人工智能丨Spark开发分布式造数,构建大规模测试数据

测试人

人工智能 软件测试

如何为3D模型导入材质贴图

3D建模设计

3D渲染 纹理贴图 材质编辑

Fine-tuning: 一种针对大模型的优化策略

百度开发者中心

nlp 大模型

华为云CodeArts Artifact:保障制品质量与安全的最佳选择

华为云PaaS服务小智

云计算 软件开发 华为云

Studio One 6 for mac(音乐制作工具) v6.2.0永久激活版

mac

Studio One 音乐制作软件 苹果mac Windows软件

Amazon CodeWhisperer 审查:最新的 AI 代码伴侣

亚马逊云科技 (Amazon Web Services)

人工智能 机器学习 云上探索实验室 Amazon CodeWhisperer

【教程】制作 iOS 推送证书

雪奈椰子

2024年程序员必须掌握的10款开发工具

伤感汤姆布利柏

敏捷开发 低代码 开发工具 测试工具 前端开发工具

语音数据集:为AI注入听觉的力量

来自四九城儿

区块链铭文系统开发详情

l8l259l3365

从互联网到云计算再到 AI 原生,百度智能云数据库的演进

百度Geek说

人工智能 云计算 云原生 企业号12月PK榜

优化大模型的关键策略

百度开发者中心

大模型 深度学习、

新型生成式 AI 助手 Amazon Q 为 IT 专业人士与开发人员提供有力支持(预览版)

亚马逊云科技 (Amazon Web Services)

re:Invent Amazon EC2 生成式人工智能 Amazon Lambda Amazon Chatbot

软件测试/人工智能/PyTorch技术在软件测试中的应用

测试人

人工智能 软件测试

OpenHarmony创新赛人气投票活动,最佳人气作品由你来定!

OpenHarmony开发者

OpenHarmony

持续测试性能的方法

敏捷开发

DevOps 性能测试 自动化测试 CD 持续测试

语音数据集:推动AI语音技术的核心力量

来自四九城儿

小小的日志,大大的坑 | 京东云技术团队

京东科技开发者

性能优化 性能 日志

神经网络是如何工作的? | 京东云技术团队

京东科技开发者

人工智能 神经网络 AI

大算力与大模型的融合之力

百度开发者中心

nlp 大模型

从根上理解elasticsearch(lucene)查询原理(1)-lucece查询逻辑介绍

EquatorCoco

Elastic Stack 查询 优化工具

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT_AI&大模型_张之栋_InfoQ精选文章