写点什么

谈笔 1000 亿的生意:揭秘菜鸟全球智能仓配技术实践

  • 2018-03-28
  • 本文字数:6243 字

    阅读完需:约 20 分钟

作为与零售、金融并列的“商业基础设施”,阿里巴巴的菜鸟网络成立的四年间里已经建构了一张数据化、智能化和社会化的物流网络干络,以支撑全社会的商品配送需求。2017 年,阿里称未来五年继续加持 1000 亿投入,加大布局新零售与物流全球化。再 1000 亿未来的背后,有哪些技术实践能推助智慧物流发展,又值得我们关注呢?

3 月 24 日,菜鸟网络 2018 技术论坛深圳站圆满结束,围绕智慧物流背后的成长和关键技术,来自菜鸟网络的四名技术资深专家与两百余位开发者们深度分享了菜鸟网络物流智能化、自动化、全球化的技术实践与架构演进。由于完整篇幅有限,仅以介绍关键技术内容为主,读者可后续下载 PDF 文件做深入了解。

菜鸟智慧物流面临了哪些技术挑战与机遇

菜鸟网络国际物流部技术专家唐韧从全球物流格局与机遇、菜鸟网络业务及技术全景、菜鸟所面临的业务挑战以及用哪些技术去解决问题、物流未来的技术前瞻等几个维度进行解析。

全球物流格局与机遇

中国和美国是全球两大经济体,但国家的需求密度分布、人口分布差异导致了物流格局的区别。实际上,中国物流大而不强,其物流成本占到整个 GDP 的 15%;符合现代物流要求仓储标准只占 12%;由于同质化竞争非常严重,导致包裹单价的逐年下降;全国 2000 多万台货车的空驶率加重了环境的污染;员工的留存率低,导致快递服务质量参差不齐;物流企业没有数据互联,信息孤岛。

未来全球化的趋势不可阻挡,阿里巴巴铺设了五个全球战略,全球买、全球游、全球卖、全球付以及最核心的全球运。马云曾提出的 EWTP 概念——即全球电子贸易平台,在今年的 WCO 大会上对其进行了升级,改为 EWTTP。

菜鸟网络目前覆盖了全球 224 个国家,从 2013 年初创到至今的五年发展,双十一订单从 1.67 亿突破了 2017 年 8.12 亿的跨越,且实现了电子订单的在线化,快递当日达和次日达,达到了全球通关一体化的平台。

菜鸟网络有五大业务板块,一是打造端对端一体化体验的快递网络,二是实现全局供应链的优化仓配网络,三是实现全球买、全球卖的跨境网络,四是实现消费者体验的末端网络,五是方便农村的巨大海量消费的农村网络。

业务挑战与背后技术

菜鸟物流架构分为三层,底层是实现全球物流最核心的物流基础设施中间层是基于基础设施搭建的智能仓配网络和配送网络最顶层是订单全局优化引擎来实现仓配协同。

用户的购买选择是基于菜鸟网络整合的资源、线路以及商品背后的物流属性相连接,计算出商品服务的物流表达,从而透射到电商的网站上。为了让大家最直观的感触整个链路场景,下图是一个包裹出库的最优决策过程。

消费者选择商品下单后会进入菜鸟物流大脑,首先是决策层——基于商品的大小、重量、离消费者的路径调动智能路由,它会获取相关的履行路由的路径和线路。拿到线路后可能有很多的侯选集;然后接着是对旅行成本的决策,即基于时效、成本的综合决策来选择最终的调度;最后通过所谓的link 平台来调度物流资源的服务商,对整个包裹进行旅行。最终,再把所有的旅行完之后的数据沉淀下来,输入供应链管理的平台,来实现对商家需求能力的计划以及供给计划的优化,从而让商家能够更好的进行销量的预测,让它的仓储选择、品类规划能够做更好的优化,比如把商品推送到离消费者最近的仓。

菜鸟网络在2015 年推出了电子面单,面单的左侧连接着物流合作伙伴,右侧连接着商家ERP 系统,提供了统一的标准将包裹实现了在线。目前物流的核心环节叫仓配。在仓配供应链的智能规划平台里,实现了智能选仓、智能分仓、智能预测,从而给商家提供完全无缝连接的智能补货能力,以及仓储内部的智能入库、智能上架,实现分拣和调拨的有序。

全球化的发展越来越快,国内讲究深度,即精细化的物流提升,而国际讲究广度它包括三个平台,全球仓储平台、全球配送平台、全球通关平台。菜鸟技术平台架构分为四大域,最底层是三方域上一层是平台域,包括电商平台、统一物流集成平台、数据平台;再往上是业务云,即菜鸟整个智慧物流的形成核心;最上层是客户域,包括消费者、商家、物流商。

应用视觉下的基础架构体系从下到上是整个运用的周期,底层是基于物流云和阿里塔内高密度的混合云,实现随用随弹;中间层是通过调度决策、成本分析实现能力和计算能力需求的弹性;最上层是应用、托管、编译、运行等环境。

未来的指挥物流前瞻

未来5 年是智慧物流加速期,将致力于实现可扩展的自动化,实现物流平台的连接,人工智能和大数据算法是物流智能化的基础,最终未来物流的大前景是会实现通过系统链路以及工业级IoT 的连接,实现整体的柔性自动化。

物流无人技术应用与探讨

菜鸟网络资深技术专家哥德在他的演讲中为大家重点介绍了菜鸟的一款智能配送机器人——菜鸟小G 背后的技术实现和创新,以及菜鸟ET 实验室对物流无人技术的展望。

如果把包裹定义为物理空间上任意一个物理的移动,那么包裹是无处不在。按照马云的预测,估计在2025 年其包裹量一天将达到10 亿件。面对包裹配送量激增的挑战,菜鸟以求以末端配送机器人去应对相应的配送人员不足、人力耗费等情况。2017 年,菜鸟发布了两款菜鸟小G,第一个是菜鸟小G2 代,将其定义为园区范围内去进行配送;第二个是小G Plus,将其定义为开放街道环境中做配送,强调性能、展货量和速度。

菜鸟小G 系统架构

菜鸟小G 的系统架构包括:传感器,即眼睛、耳朵;计算单位,即大脑;执行机构,即手脚。

所有的传感器都有适合的场景和不适合的场景,对于特殊的材质将选用超声额外的传感器进行感知;所有的传感器的数据会输入计算模块,其计算模块有:一是高精度地图,对静态场景的识别和处理;二是定位,处理结构化场景的识别。而识别部分更关心动态障碍物的检测、跟踪、预测,包括分割等等。

关于3D Lidar slam,Slam 算法非常注重回环优化的问题,但Slam 算法永远不可能处理非常庞大的场景,需要借助地图拼接的技术,小块构建不同Slam 的3D 点云,进行无缝拼接。关于3D Visual Slam,它是基于摄像机做的Slam 室内项目,其视觉对整个特征、纹理、环境有很高的要求。Slam 技术的难点是需要同时做定位和构建地图,即联合优化问题。

机器人运行过程中需要实时监测可以运行的地点,感知交通标志线、倒影、远处的光斑、看不到里面的纹理等,并进行预测。

菜鸟小G 现状与物流无人技术展望

自动化方面包括结构化环境和非结构化环境,菜鸟小G 处理非结构化环境,对每一个单个机器人来说,它比结构化环境要难,因为相比结构化环境中,其碰到的技术挑战是不同的。

关于菜鸟小G 跑在街上被人抱走的疑问。首先,机器人后台有非常完备的监控措施,其所有传感器都有完备的监控;其次,机器人在地图上有实时跟踪的定位。最后,视频监控。而关于机器人或者无人驾驶有三个要素:一是Scalability,这取决于规模大小,不同的规模有不一样的概念;二是Robustness;三是Adaptive,自适应性。在中小规模、静态化的、相对单一的环境里,问题已经解决得相对比较好;但超大规模、动态的、异构化的环境里面问题的解决,其挑战非常巨大。

机器人的技术比无人驾驶更难。无人驾驶在结构化环境跑,其要解决的问题仅仅是相对决策和选择有限。此外,很少会面临人为阻拦的问题,但末端机器人却不一定。相对于街道的配送服务,学校的配送更加困难。首先,复杂在于人车不分流,没有机动车道和非机动车道的概念;第二,十字路口没有红绿灯,没有红灯停、绿灯行的概念;第三,不需要考虑逆行的事情。而在街道中,会自行检测红绿灯信号灯情况,进行选择是否穿过马路,进行提供最基础的配送服务。

未来除了对末端机器人做商业化的探索和末端场景之外,菜鸟还会对卡车高速公路配送技术进行拓展性研究。而对终局的判断,菜鸟ET 实验室预测,未来10 亿级包裹的配送中可能有超过50% 以上的包裹将由智能配送机器人完成。

物流自动化创新应用和技术实践

接下来的演讲中,菜鸟网络资深专家元享就为大家分享了菜鸟在物流自动化方面的创新研究和应用,以及实现物流自动化的技术体系、技术难点和相对应的解决方案。

人工智能技术给物流带来了新的自动化机会,同时,物流的快速发展也反过来给人工智能技术带来了新的蓝海。在新的物流、电商时代,也出现了该行业尚未出现过的特点,一是促销多、订单量起伏大;二是发展迅速,扩展性要求高;三是定制化需求多;四是网络结构变化快。所以新的物流智能时代,柔性自动化是关键。

柔性自动化特点有:一是拓展性强,鲁棒性强;二是模块化设计,易部署和搬迁;三是便于根据业务的变化迭代作业流程;四,最重要的技术是多智能体之间的感知和协同,因为时效性;五是在全链路大部分自动化的情况下,作业的可预测性加强。

柔性自动化的存在多项关键技术:首先它属于软硬结合的技术,需要端到端的设计和优化;其次,涉及IoT 和边缘计算技术,因为每个机器人有自己的传感器,便于对数据做收集、分析及预测;然后,机器人技术有三个重要的方面,感知、计划、实施;最后,还会涉及大规模多智能体规划和调度技术进行优化。

全链路柔性自动化中从上游到下游的总体流程自动化,上下游的数据打通和协同是关键。自动化系统架构分成X 层,底层是仓库里的各种设备,包括立体库、输送线、AGV、分拣机等等再上层是统一的设备管理系统,管理整个设备要做的任务和要做好的调度更上层是自动化的WAS 系统,管理指令、组装成支持业务。菜鸟网络自动化系统架构如下图所示。

菜鸟自动化创新技术实践

首先是机械臂。机械臂的主要作用是运用于抓取包裹,包括码垛、拆垛和拣选。它最核心内容是感知、规划和执行。感知主要是3D 视觉,基于3D 视觉,利用鲁棒算法将包裹分开,对包裹进行图象分割,找到最佳抓取点。

二是拣选AGV。它主要运用场景是拆领订单的拣选,它有两个模式,货到人模式与车到人模式。货到人拣选AGV 主要进行资源分配优化问题,要最小化拣选站的等待时间。 资源分配问题的求解方法有两种:中央规划和分布式竞价。中央规划一般是用方程和模型来描述整个系统,找到最优的资源分配的描述,即MIP。分布式竞价是把整个分配资源过程中每个参与者当成一个Agent,通过竞价的方式去抢这个任务。对于非常复杂的环境且上下游非常紧密的情况下,分布式竞价会更好。车到人拣选AGV 适合销量较高的商品,算法目标一般是人效率的最大化,订单完成时间的最短化以及AGV 效率的最高化。

如上图所示,在多智能体路径规划问题中,每个机器人规划的路径要互不冲突,进行全局路径规划。在传统的启发式算法里,阿尔法狗的首席工程师发明的Cooperative A* 是随机的让AGV 有顺序,互相之间可以躲避。或者是WHCA 算法,让每一个机器人规划自己路径的时候只看前W 步。还包括全局搜索算法,比如A* 算法是试图让每一个机器人的行动组合都做一个规划。在非匀速网络中,在真实物理环境下,机器人的移动无法用匀速运动近似,它面临着两个挑战,一是经过同一个点的速度不相同,经过同一条边所需时间不相同;二是时间表达从离散时间片变为连续时间。

最后,元享还为大家总结了柔性自动化技术所面临的多项挑战:一是IoT 的技术和端计算,需要高效的技术采集和处理的系统;二是机器视觉,包裹识别和跟踪、抓取点的识别、物体的分割;三是单个机器人的运动规划要可控;四是大规模的资源分配问题;五是多智能体调度、路径规划问题以及环境、流程设计、交通控制、避障相关的技术;在新的物流时代,柔性自动化一定是未来重要的发展方向,新的人工智能技术肯定能让物流行业产生一个新的变革。

全球物流一体化平台下的技术架构与实践

菜鸟国际物流技术部高级技术专家虚怀分享的是菜鸟全球物流一体化平台下的技术架构与实践。

在全球化、全球买、全球卖和新零售的业务战略下,各个阶段的全球物流业务快速发展,菜鸟网络技术架构正面临着这四个挑战与困难:一是系统架构如何灵活的支持整个业务的快速发展;二是如何组织全球服务商的物流能力打造可灵活复用物流网络;三是国际化架构和部署的方案;四是菜鸟各物流服务商网络如何更高效互联互通。

因此,从2013 年到现在,菜鸟技术架构的经历了三个不同阶段的演进:1.0 阶段是烟囱式垂直简单协同模式;2.0 阶段是平台的多段精细化协同模式;3.0 是未来国际化、全球化、区域化的协同模式。

1.0 阶段目标或者业务需求很简单,通过 C1、C2 两个合作伙伴的运输方式将包裹从 A 点卖家送至 B 点买家。但这模式存在三个问题,重复建设、对外接口不统一、运维成本高。

2.0 阶段即平台化多段精细化协同模式。这个阶段的技术的命题是,将不同业务包裹,选取 C(x)、C(y)、C(z),不同的路径从 A 点送到 B,并达到方案最优,因此需要搭建整个平台化的架构方案来支持灵活的协同调度的引擎,并达到方案最优。

如上图所示,各核心平台需关注的重点包括:1. 路由平台。路由平台的职责是通过智能算法优选来识别网络路径的最优解;2. 履行平台。在计划计算出来之后,履行平台进行调度;3. 可视化营运管理平台。通过核心领域模型的抽象,将它抽象到系统里,过可视化的营运平台连接(串联),提供路由平台和履行平台使用。全球履约监控系统的职责是让整个包裹从端到端时效更高,更稳定,成本更低,它必须细化到每笔订单的状态和履约的情况,并且做到实时报警,并进行回馈机制。为进行整体的平台化,需考虑:一是按照问题域拆分整个应用,不同的域使用不同的架构和系统解决问题;二是对问题进行建模;三是统一对外交互标准;四是建设好周边的配套体系。

关于服务化和平台化。服务化按域将一个应用拆成多个应用,解决的是功能耦合的问题。例如,接单域,表达域,结算域等;平台化按业务将一个应用的代码拆成多块,解决的是业务耦合的问题。例如,速卖通业务,天猫国际业务,淘海外业务等;一般情况下,先实施服务化,再实施平台化。

平台与业务解耦的技术,其解耦目标是平台不依赖业务代码,但要调用业务代码;核心思想是稳定的中介,平台和业务通过第三方中介进行交互。第三方中介在业务里只需要实现扩展点、功能点即可。

3.0 全球区域化协同的模式,其架构目标是 A 和 B 两种业务相互复用对方的物流网络和能力。而采用技术开启新市场之时需要考虑代码的复用还是代码的再次扩展开发。市场国际化需从这几方面考虑问题: 1、区域化的业务特点,因地制宜,注重解决物流的问题;2、应用依赖的解耦,如何进行部署;3、国际化基础套件,不同的组件同时具备国际化的能力;4、海外部署架构方案的升级,其包括应用部署、中间件部署,以及基础支撑。

虚怀在现场以Lazada 的国际化部署为案例讲解了以下方面的考虑: 1、业务的拓展分布; 2、网络时延的考虑;3、应用部署升级。为提升时延、保证吞吐量而构建的全球数据集成网络有两个思路:1、要去中心化。2、就近接入。全球数据集成网络解决方案有三层,第一层布站,搭建全球的网络,第二层基于站点构建数据集成云产品,第三层基于混合云架构,搭建全球站点网络,接入对应端。

菜鸟混合云架构图主要的思想就是通过多国化,打好基础架构,对应用端和运维体系,而数据能够通过专线进行跨机房同步使用。

菜鸟技术未来的挑战

菜鸟技术未来要面临复杂、多样的场景,因此需要解决全球组网的协同,包括国际化本对本的业务,需要有效进行组织,进行抽象建模、设计;同时还要面临全局的智慧大脑,以达到最优;此外,菜鸟还计划对海量数据进行处理以挖掘和分析数据,为业务赋能,以及在终端系统建设的深度上,结合海关系统进行整个调度和压测。简单来说,要有广度,又有深度,才能同时把菜鸟的快递、仓配、跨境、末端、农村这复杂的业务场景解决好,实现全球 24 小时、全球 72 小时必达的目标。

2018-03-28 21:273141
用户头像

发布了 50 篇内容, 共 28.5 次阅读, 收获喜欢 40 次。

关注

评论 1 条评论

发布
用户头像
盒马
2021-04-29 14:08
回复
没有更多了
发现更多内容

基于gRPC的注册发现与负载均衡的原理和实战

万俊峰Kevin

微服务 go-zero Go 语言

中国工业的基础设施“重化工业”是怎么发展起来的

JiangX

供应链 工业 28天写作 制造

CopyOnWriteArrayList 读写分离,弱一致性

叫练

弱一致性 读写分离; Vector; fail-fast; fail-safe

给跨专业程序员的一些建议

Ryan Zheng

架构师训练营第八周作业

zamkai

dubbo-go 白话文 | 从零搭建 dubbogo 和 dubbo 的简单用例

阿里巴巴云原生

Java 云原生 dubbo 中间件 dubbogo

云原生 DevOps 的 5 步升级路径

阿里巴巴云原生

Serverless 容器 DevOps 微服务 云原生

怎么提升写代码的能力

阿里巴巴云原生

程序员 个人成长 方法论 云原生 自我思考

SpringCloud 从入门到精通 12---Nacos配置中心

Felix

案例集锦|科技赋能,华为云GaussDB助千行百业数字化转型

华为云开发者联盟

数据库 华为云 企业应用

新年Flag 中奖名单公布|如何科学的从55人中随机选出11个中奖名额

InfoQ写作社区官方

话题讨论 热门活动

安装Android系统 missing operating system

mengxn

android

一文带你学会AQS和并发工具类的关系2

伯阳

Java AQS 多线程 lock

区块链农产品溯源--实现农产品全程溯源

CECBC

食品溯源

数字人民币支付新选择 没有网络时也能使用

CECBC

数字红包

有内味了!阿里内部Tomcat高阶调优笔记成功刷新了我的认知

Java架构之路

Java 程序员 架构 面试 编程语言

「回血赠书」Python入门书单,新年全力扬帆

博文视点Broadview

基础篇-http协议《http 简介、url详解、request》

清菡软件测试

测试

Kubernetes安装篇(上):基于Minikube方式部署本地环境

xcbeyond

Kubernetes 安装 minikube 28天写作 Kubernetes从入门到精通

限量!阿里甩出878页性能优化笔记阿里甩出878页性能优化笔记!

Java架构之路

Java 程序员 架构 面试 编程语言

运维数智化时代——京东数科AIOps落地实践(一)

京东科技开发者

运维自动化 AIOPS

案例研究之聊聊 QLExpress 源码 (九)

小诚信驿站

聊聊架构 28天写作 QLExpress源码 聊聊源码

量化交易自动炒币机器人系统开发搭建

薇電13242772558

策略模式 区块链+

中国区块链行业人才缺口将达75万以上

CECBC

区块链人才

给现实深情拥抱,向产业洪流奔跑:华为云AI的2020

脑极体

现在就开始倒数2030了? 华为的这条线索不能错过

脑极体

限量!腾讯高工用4部分讲清楚了Spring全家桶+微服务

996小迁

Java 架构 面试 springboot SpringCloud

[如果公司要招一个高级版你]给资深/晋升后的岗位写一个理想岗位模型(Job Model)

Geek_lot02c

产品经理训练营

大厂必问Redis:肝完这份阿里出品“Redis神技”还说你不会Redis?

Java架构之路

Java 程序员 架构 面试 编程语言

没搞清楚网络I/O模型?那怎么入门Netty

Java 后端 io

【函数计算实践】阿里云函数计算初探

程序员架构进阶

阿里云 架构 函数计算 28天写作 弹性扩容

谈笔1000亿的生意:揭秘菜鸟全球智能仓配技术实践_语言 & 开发_麦克周_InfoQ精选文章