写点什么

谈笔 1000 亿的生意:揭秘菜鸟全球智能仓配技术实践

  • 2018-03-28
  • 本文字数:6243 字

    阅读完需:约 20 分钟

作为与零售、金融并列的“商业基础设施”,阿里巴巴的菜鸟网络成立的四年间里已经建构了一张数据化、智能化和社会化的物流网络干络,以支撑全社会的商品配送需求。2017 年,阿里称未来五年继续加持 1000 亿投入,加大布局新零售与物流全球化。再 1000 亿未来的背后,有哪些技术实践能推助智慧物流发展,又值得我们关注呢?

3 月 24 日,菜鸟网络 2018 技术论坛深圳站圆满结束,围绕智慧物流背后的成长和关键技术,来自菜鸟网络的四名技术资深专家与两百余位开发者们深度分享了菜鸟网络物流智能化、自动化、全球化的技术实践与架构演进。由于完整篇幅有限,仅以介绍关键技术内容为主,读者可后续下载 PDF 文件做深入了解。

菜鸟智慧物流面临了哪些技术挑战与机遇

菜鸟网络国际物流部技术专家唐韧从全球物流格局与机遇、菜鸟网络业务及技术全景、菜鸟所面临的业务挑战以及用哪些技术去解决问题、物流未来的技术前瞻等几个维度进行解析。

全球物流格局与机遇

中国和美国是全球两大经济体,但国家的需求密度分布、人口分布差异导致了物流格局的区别。实际上,中国物流大而不强,其物流成本占到整个 GDP 的 15%;符合现代物流要求仓储标准只占 12%;由于同质化竞争非常严重,导致包裹单价的逐年下降;全国 2000 多万台货车的空驶率加重了环境的污染;员工的留存率低,导致快递服务质量参差不齐;物流企业没有数据互联,信息孤岛。

未来全球化的趋势不可阻挡,阿里巴巴铺设了五个全球战略,全球买、全球游、全球卖、全球付以及最核心的全球运。马云曾提出的 EWTP 概念——即全球电子贸易平台,在今年的 WCO 大会上对其进行了升级,改为 EWTTP。

菜鸟网络目前覆盖了全球 224 个国家,从 2013 年初创到至今的五年发展,双十一订单从 1.67 亿突破了 2017 年 8.12 亿的跨越,且实现了电子订单的在线化,快递当日达和次日达,达到了全球通关一体化的平台。

菜鸟网络有五大业务板块,一是打造端对端一体化体验的快递网络,二是实现全局供应链的优化仓配网络,三是实现全球买、全球卖的跨境网络,四是实现消费者体验的末端网络,五是方便农村的巨大海量消费的农村网络。

业务挑战与背后技术

菜鸟物流架构分为三层,底层是实现全球物流最核心的物流基础设施中间层是基于基础设施搭建的智能仓配网络和配送网络最顶层是订单全局优化引擎来实现仓配协同。

用户的购买选择是基于菜鸟网络整合的资源、线路以及商品背后的物流属性相连接,计算出商品服务的物流表达,从而透射到电商的网站上。为了让大家最直观的感触整个链路场景,下图是一个包裹出库的最优决策过程。

消费者选择商品下单后会进入菜鸟物流大脑,首先是决策层——基于商品的大小、重量、离消费者的路径调动智能路由,它会获取相关的履行路由的路径和线路。拿到线路后可能有很多的侯选集;然后接着是对旅行成本的决策,即基于时效、成本的综合决策来选择最终的调度;最后通过所谓的link 平台来调度物流资源的服务商,对整个包裹进行旅行。最终,再把所有的旅行完之后的数据沉淀下来,输入供应链管理的平台,来实现对商家需求能力的计划以及供给计划的优化,从而让商家能够更好的进行销量的预测,让它的仓储选择、品类规划能够做更好的优化,比如把商品推送到离消费者最近的仓。

菜鸟网络在2015 年推出了电子面单,面单的左侧连接着物流合作伙伴,右侧连接着商家ERP 系统,提供了统一的标准将包裹实现了在线。目前物流的核心环节叫仓配。在仓配供应链的智能规划平台里,实现了智能选仓、智能分仓、智能预测,从而给商家提供完全无缝连接的智能补货能力,以及仓储内部的智能入库、智能上架,实现分拣和调拨的有序。

全球化的发展越来越快,国内讲究深度,即精细化的物流提升,而国际讲究广度它包括三个平台,全球仓储平台、全球配送平台、全球通关平台。菜鸟技术平台架构分为四大域,最底层是三方域上一层是平台域,包括电商平台、统一物流集成平台、数据平台;再往上是业务云,即菜鸟整个智慧物流的形成核心;最上层是客户域,包括消费者、商家、物流商。

应用视觉下的基础架构体系从下到上是整个运用的周期,底层是基于物流云和阿里塔内高密度的混合云,实现随用随弹;中间层是通过调度决策、成本分析实现能力和计算能力需求的弹性;最上层是应用、托管、编译、运行等环境。

未来的指挥物流前瞻

未来5 年是智慧物流加速期,将致力于实现可扩展的自动化,实现物流平台的连接,人工智能和大数据算法是物流智能化的基础,最终未来物流的大前景是会实现通过系统链路以及工业级IoT 的连接,实现整体的柔性自动化。

物流无人技术应用与探讨

菜鸟网络资深技术专家哥德在他的演讲中为大家重点介绍了菜鸟的一款智能配送机器人——菜鸟小G 背后的技术实现和创新,以及菜鸟ET 实验室对物流无人技术的展望。

如果把包裹定义为物理空间上任意一个物理的移动,那么包裹是无处不在。按照马云的预测,估计在2025 年其包裹量一天将达到10 亿件。面对包裹配送量激增的挑战,菜鸟以求以末端配送机器人去应对相应的配送人员不足、人力耗费等情况。2017 年,菜鸟发布了两款菜鸟小G,第一个是菜鸟小G2 代,将其定义为园区范围内去进行配送;第二个是小G Plus,将其定义为开放街道环境中做配送,强调性能、展货量和速度。

菜鸟小G 系统架构

菜鸟小G 的系统架构包括:传感器,即眼睛、耳朵;计算单位,即大脑;执行机构,即手脚。

所有的传感器都有适合的场景和不适合的场景,对于特殊的材质将选用超声额外的传感器进行感知;所有的传感器的数据会输入计算模块,其计算模块有:一是高精度地图,对静态场景的识别和处理;二是定位,处理结构化场景的识别。而识别部分更关心动态障碍物的检测、跟踪、预测,包括分割等等。

关于3D Lidar slam,Slam 算法非常注重回环优化的问题,但Slam 算法永远不可能处理非常庞大的场景,需要借助地图拼接的技术,小块构建不同Slam 的3D 点云,进行无缝拼接。关于3D Visual Slam,它是基于摄像机做的Slam 室内项目,其视觉对整个特征、纹理、环境有很高的要求。Slam 技术的难点是需要同时做定位和构建地图,即联合优化问题。

机器人运行过程中需要实时监测可以运行的地点,感知交通标志线、倒影、远处的光斑、看不到里面的纹理等,并进行预测。

菜鸟小G 现状与物流无人技术展望

自动化方面包括结构化环境和非结构化环境,菜鸟小G 处理非结构化环境,对每一个单个机器人来说,它比结构化环境要难,因为相比结构化环境中,其碰到的技术挑战是不同的。

关于菜鸟小G 跑在街上被人抱走的疑问。首先,机器人后台有非常完备的监控措施,其所有传感器都有完备的监控;其次,机器人在地图上有实时跟踪的定位。最后,视频监控。而关于机器人或者无人驾驶有三个要素:一是Scalability,这取决于规模大小,不同的规模有不一样的概念;二是Robustness;三是Adaptive,自适应性。在中小规模、静态化的、相对单一的环境里,问题已经解决得相对比较好;但超大规模、动态的、异构化的环境里面问题的解决,其挑战非常巨大。

机器人的技术比无人驾驶更难。无人驾驶在结构化环境跑,其要解决的问题仅仅是相对决策和选择有限。此外,很少会面临人为阻拦的问题,但末端机器人却不一定。相对于街道的配送服务,学校的配送更加困难。首先,复杂在于人车不分流,没有机动车道和非机动车道的概念;第二,十字路口没有红绿灯,没有红灯停、绿灯行的概念;第三,不需要考虑逆行的事情。而在街道中,会自行检测红绿灯信号灯情况,进行选择是否穿过马路,进行提供最基础的配送服务。

未来除了对末端机器人做商业化的探索和末端场景之外,菜鸟还会对卡车高速公路配送技术进行拓展性研究。而对终局的判断,菜鸟ET 实验室预测,未来10 亿级包裹的配送中可能有超过50% 以上的包裹将由智能配送机器人完成。

物流自动化创新应用和技术实践

接下来的演讲中,菜鸟网络资深专家元享就为大家分享了菜鸟在物流自动化方面的创新研究和应用,以及实现物流自动化的技术体系、技术难点和相对应的解决方案。

人工智能技术给物流带来了新的自动化机会,同时,物流的快速发展也反过来给人工智能技术带来了新的蓝海。在新的物流、电商时代,也出现了该行业尚未出现过的特点,一是促销多、订单量起伏大;二是发展迅速,扩展性要求高;三是定制化需求多;四是网络结构变化快。所以新的物流智能时代,柔性自动化是关键。

柔性自动化特点有:一是拓展性强,鲁棒性强;二是模块化设计,易部署和搬迁;三是便于根据业务的变化迭代作业流程;四,最重要的技术是多智能体之间的感知和协同,因为时效性;五是在全链路大部分自动化的情况下,作业的可预测性加强。

柔性自动化的存在多项关键技术:首先它属于软硬结合的技术,需要端到端的设计和优化;其次,涉及IoT 和边缘计算技术,因为每个机器人有自己的传感器,便于对数据做收集、分析及预测;然后,机器人技术有三个重要的方面,感知、计划、实施;最后,还会涉及大规模多智能体规划和调度技术进行优化。

全链路柔性自动化中从上游到下游的总体流程自动化,上下游的数据打通和协同是关键。自动化系统架构分成X 层,底层是仓库里的各种设备,包括立体库、输送线、AGV、分拣机等等再上层是统一的设备管理系统,管理整个设备要做的任务和要做好的调度更上层是自动化的WAS 系统,管理指令、组装成支持业务。菜鸟网络自动化系统架构如下图所示。

菜鸟自动化创新技术实践

首先是机械臂。机械臂的主要作用是运用于抓取包裹,包括码垛、拆垛和拣选。它最核心内容是感知、规划和执行。感知主要是3D 视觉,基于3D 视觉,利用鲁棒算法将包裹分开,对包裹进行图象分割,找到最佳抓取点。

二是拣选AGV。它主要运用场景是拆领订单的拣选,它有两个模式,货到人模式与车到人模式。货到人拣选AGV 主要进行资源分配优化问题,要最小化拣选站的等待时间。 资源分配问题的求解方法有两种:中央规划和分布式竞价。中央规划一般是用方程和模型来描述整个系统,找到最优的资源分配的描述,即MIP。分布式竞价是把整个分配资源过程中每个参与者当成一个Agent,通过竞价的方式去抢这个任务。对于非常复杂的环境且上下游非常紧密的情况下,分布式竞价会更好。车到人拣选AGV 适合销量较高的商品,算法目标一般是人效率的最大化,订单完成时间的最短化以及AGV 效率的最高化。

如上图所示,在多智能体路径规划问题中,每个机器人规划的路径要互不冲突,进行全局路径规划。在传统的启发式算法里,阿尔法狗的首席工程师发明的Cooperative A* 是随机的让AGV 有顺序,互相之间可以躲避。或者是WHCA 算法,让每一个机器人规划自己路径的时候只看前W 步。还包括全局搜索算法,比如A* 算法是试图让每一个机器人的行动组合都做一个规划。在非匀速网络中,在真实物理环境下,机器人的移动无法用匀速运动近似,它面临着两个挑战,一是经过同一个点的速度不相同,经过同一条边所需时间不相同;二是时间表达从离散时间片变为连续时间。

最后,元享还为大家总结了柔性自动化技术所面临的多项挑战:一是IoT 的技术和端计算,需要高效的技术采集和处理的系统;二是机器视觉,包裹识别和跟踪、抓取点的识别、物体的分割;三是单个机器人的运动规划要可控;四是大规模的资源分配问题;五是多智能体调度、路径规划问题以及环境、流程设计、交通控制、避障相关的技术;在新的物流时代,柔性自动化一定是未来重要的发展方向,新的人工智能技术肯定能让物流行业产生一个新的变革。

全球物流一体化平台下的技术架构与实践

菜鸟国际物流技术部高级技术专家虚怀分享的是菜鸟全球物流一体化平台下的技术架构与实践。

在全球化、全球买、全球卖和新零售的业务战略下,各个阶段的全球物流业务快速发展,菜鸟网络技术架构正面临着这四个挑战与困难:一是系统架构如何灵活的支持整个业务的快速发展;二是如何组织全球服务商的物流能力打造可灵活复用物流网络;三是国际化架构和部署的方案;四是菜鸟各物流服务商网络如何更高效互联互通。

因此,从2013 年到现在,菜鸟技术架构的经历了三个不同阶段的演进:1.0 阶段是烟囱式垂直简单协同模式;2.0 阶段是平台的多段精细化协同模式;3.0 是未来国际化、全球化、区域化的协同模式。

1.0 阶段目标或者业务需求很简单,通过 C1、C2 两个合作伙伴的运输方式将包裹从 A 点卖家送至 B 点买家。但这模式存在三个问题,重复建设、对外接口不统一、运维成本高。

2.0 阶段即平台化多段精细化协同模式。这个阶段的技术的命题是,将不同业务包裹,选取 C(x)、C(y)、C(z),不同的路径从 A 点送到 B,并达到方案最优,因此需要搭建整个平台化的架构方案来支持灵活的协同调度的引擎,并达到方案最优。

如上图所示,各核心平台需关注的重点包括:1. 路由平台。路由平台的职责是通过智能算法优选来识别网络路径的最优解;2. 履行平台。在计划计算出来之后,履行平台进行调度;3. 可视化营运管理平台。通过核心领域模型的抽象,将它抽象到系统里,过可视化的营运平台连接(串联),提供路由平台和履行平台使用。全球履约监控系统的职责是让整个包裹从端到端时效更高,更稳定,成本更低,它必须细化到每笔订单的状态和履约的情况,并且做到实时报警,并进行回馈机制。为进行整体的平台化,需考虑:一是按照问题域拆分整个应用,不同的域使用不同的架构和系统解决问题;二是对问题进行建模;三是统一对外交互标准;四是建设好周边的配套体系。

关于服务化和平台化。服务化按域将一个应用拆成多个应用,解决的是功能耦合的问题。例如,接单域,表达域,结算域等;平台化按业务将一个应用的代码拆成多块,解决的是业务耦合的问题。例如,速卖通业务,天猫国际业务,淘海外业务等;一般情况下,先实施服务化,再实施平台化。

平台与业务解耦的技术,其解耦目标是平台不依赖业务代码,但要调用业务代码;核心思想是稳定的中介,平台和业务通过第三方中介进行交互。第三方中介在业务里只需要实现扩展点、功能点即可。

3.0 全球区域化协同的模式,其架构目标是 A 和 B 两种业务相互复用对方的物流网络和能力。而采用技术开启新市场之时需要考虑代码的复用还是代码的再次扩展开发。市场国际化需从这几方面考虑问题: 1、区域化的业务特点,因地制宜,注重解决物流的问题;2、应用依赖的解耦,如何进行部署;3、国际化基础套件,不同的组件同时具备国际化的能力;4、海外部署架构方案的升级,其包括应用部署、中间件部署,以及基础支撑。

虚怀在现场以Lazada 的国际化部署为案例讲解了以下方面的考虑: 1、业务的拓展分布; 2、网络时延的考虑;3、应用部署升级。为提升时延、保证吞吐量而构建的全球数据集成网络有两个思路:1、要去中心化。2、就近接入。全球数据集成网络解决方案有三层,第一层布站,搭建全球的网络,第二层基于站点构建数据集成云产品,第三层基于混合云架构,搭建全球站点网络,接入对应端。

菜鸟混合云架构图主要的思想就是通过多国化,打好基础架构,对应用端和运维体系,而数据能够通过专线进行跨机房同步使用。

菜鸟技术未来的挑战

菜鸟技术未来要面临复杂、多样的场景,因此需要解决全球组网的协同,包括国际化本对本的业务,需要有效进行组织,进行抽象建模、设计;同时还要面临全局的智慧大脑,以达到最优;此外,菜鸟还计划对海量数据进行处理以挖掘和分析数据,为业务赋能,以及在终端系统建设的深度上,结合海关系统进行整个调度和压测。简单来说,要有广度,又有深度,才能同时把菜鸟的快递、仓配、跨境、末端、农村这复杂的业务场景解决好,实现全球 24 小时、全球 72 小时必达的目标。

2018-03-28 21:273286
用户头像

发布了 50 篇内容, 共 28.7 次阅读, 收获喜欢 40 次。

关注

评论 1 条评论

发布
用户头像
盒马
2021-04-29 14:08
回复
没有更多了
发现更多内容

【Flutter 专题】119 图解简易 ACEFrameAnimated 帧动画

阿策小和尚

5月日更 Flutter 小菜 0 基础学习 Flutter Android 小菜鸟

通过混沌测试发现 HTTP/2 缺陷

卫智雄

架构训练营模块 5 作业

Geek_649372

架构实战营

Redis集群JedisCluster的pipeline自定义实现

叫我阿柒啊

redis cluster pipeline JedisCluster lettuce redission

SM和PO如何参与Daily Scrum——《Scrum指南》重读有感(3)

Bruce Talk

Scrum 敏捷 随笔 Agile

有点东西,GC与内存泄漏之间的联系分不清,居然也可以进微软?

Java架构师迁哥

限时分享:Alibaba技术官整理出来的Java零基础学习笔记

Java架构师迁哥

女裤裤兜如何影响工业设计?

脑极体

人生算法:复利,营造长期的局部垄断

石云升

读书笔记 思维模型 5月日更 人生算法

HashMap源码分析(一)

泽睿

源码分析 hashmap

阿里内部面试手册,Github 上获赞 80K,无论工作几年都可以看看

Java 编程 架构 面试

已经成功拿到字节offer,阿里内部二十三万字 Java 面试题总结

Java 程序员 架构 面试

21岁就走了“狗屎运”(4面拿字节跳动offer Java岗)

Java架构师迁哥

小王毕业两年转行学Java,现在过得比科班生过得还好?

Java架构师迁哥

Nginx利用resolver实现动态upstream

运维研习社

nginx 运维 5月日更 动态负载均衡

ubuntu64 位搭建 OpenVINO 系统(下篇)

IT蜗壳-Tango

5月日更

🔎【Java源码探索】深入浅出的分析 ThreadPoolExecutor

洛神灬殇

Java 线程池工作原理 ThreadPoolExecutor 5月日更 Worker

爆赞!GitHub上首本IntelliJ IDEA操作手册,标星果然百万名不虚传

Java 编程 程序员 架构师 IntelliJ IDEA

21分钟 MySQL 入门教程

???

MySQL 编程

Java也太卷了,应届生找工作都需要准备这些知识点了!

Java架构师迁哥

消息队列并不能解耦

Xargin

架构师实战营模块五

ifc177

交叉验证

Qien Z.

5月日更 交叉验证

LogBack 日志等级设置无效,原因竟然是因为这个

楼下小黑哥

spring springboot logback

Redis - 持久化

旺仔大菜包

redis

基于ECS搭建FTP服务

若尘

阿里云 服务器 5月日更

这是我在银四拿到的第6个offer!分享我的成功秘籍:阿里巴巴 Java 面试参考指南(2021 最新版)

Java 程序员 架构 面试

华为内部论坛爆火的一份:Java面试培训笔记,秒变资深面试官

Java架构师迁哥

随机数在区块链中的应用

CECBC

Spark如何进行动态资源分配

数据社

spark 5月日更

原来真的有外卖员转行学Java,还三面“拿下”拼多多offer!

Java架构师迁哥

谈笔1000亿的生意:揭秘菜鸟全球智能仓配技术实践_语言 & 开发_麦克周_InfoQ精选文章