立即领取|华润集团、宁德核电、东风岚图等 20+ 标杆企业数字化人才培养实践案例 了解详情
写点什么

自动驾驶生成式大模型 DriveGPT 来了:基于 4000 万公里量产车驾驶数据训练,参数规模 1200 亿

  • 2023-04-12
    北京
  • 本文字数:1937 字

    阅读完需:约 6 分钟

自动驾驶生成式大模型DriveGPT来了:基于4000万公里量产车驾驶数据训练,参数规模1200亿

4 月 11 日,InfoQ 获悉,自动驾驶创企毫末智行发布了业内首个自动驾驶生成式大模型 DriveGPT,中文名“雪湖·海若”。


自动驾驶生成式大模型 DriveGPT 雪湖·海若


自动驾驶生成式大模型 DriveGPT 雪湖·海若,有望成为大模型技术落地自动驾驶新范式。


毫末智行 CEO 顾维灏介绍了雪湖·海若名字的来源:“‘海若’出自《庄子·秋水》,里面有两个神话人物河伯和北海若。河伯请教北海若,何谓大小之分,北海若教导,不因天地而觉大,不因毫末而觉小。毫末雪湖·海若,寓意智慧包容、海纳百川,为行业发展贡献力量。”



毫末 DriveGPT 雪湖·海若通过引入驾驶数据建立 RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化。它的最终目标是实现端到端自动驾驶,现阶段主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到 DriveGPT。


目前,毫末 DriveGPT 雪湖·海若实现了模型架构与参数规模的升级,参数规模达到 1200 亿,预训练阶段引入 4000 万公里量产车驾驶数据,RLHF 阶段引入 5 万段人工精选的困难场景接管 Clips。


DriveGPT 雪湖·海若的底层模型采用 GPT(Generative Pre-trained Transformer)生成式预训练大模型,与 ChatGPT 使用自然语言进行输入与输出不同,DriveGPT 输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景 Token 化,形成“Drive Language”,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。(DriveGPT 雪湖·海若)DriveGPT 雪湖·海若的实现过程是,首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管 Clips 数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。同时,DriveGPT 雪湖·海若还会根据输入端的提示语以及毫末 CSS 自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。


在应用方面,DriveGPT 雪湖·海若的首发车型是新摩卡 DHT-PHEV,即将量产上市。顾维灏提到,DriveGPT 雪湖·海若可以逐步应用到城市 NOH、捷径推荐、智能陪练以及脱困场景中。有了 DriveGPT 雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。



目前,毫末 DriveGPT 雪湖·海若已正式对外开放,开启对限量首批客户的合作,北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等已经加入。毫末 DriveGPT 的对外开放及服务,将促进自动驾驶的从业者和研究机构快速构建基础能力。


毫末 DriveGPT 雪湖·海若将率先探索四大应用能力,包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。当前,毫末在使用数据过程中,逐步建立起一套基于 4D Clips 驾驶场景识别方案,具备极高性价比。在行业上,给出正确的标注结果,一张图片需要约 5 元;如果使用 DriveGPT 雪湖·海若的场景识别服务,一张图片的价格将下降到 0.5 元。单帧图片整体标注成本仅相当于行业的 1/10。接下来,毫末会将图像帧及 4D Clips 场景识别服务逐步向行业开放使用,这将大幅降低行业使用数据的成本,提高数据质量,从而加速自动驾驶技术的快速发展。



大模型研发离不开庞大的算力支撑。


顾维灏介绍,毫末在 2023 年 1 月发布的中国自动驾驶行业最大的智算中心 MANA OASIS(雪湖· 绿洲)此次从算力优化等层面升级了三大能力,进一步支持 DriveGPT 雪湖·海若的算力。首先,毫末与火山引擎全新搭建了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性;其次,毫末研发出以真实数据回传为核心的增量学习技术,并将其推广到了大模型训练,构建了一个大模型持续学习系统,自主研发任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到 95%;最后,MANA OASIS 通过提升数据吞吐量来降本增效,满足 Transformer 大模型训练效率,通过引入火山引擎提供的 Lego 算子库实现算子融合,端到端吞吐提升 84%。


毫末打造的自动驾驶数据智能体系 MANA,在经过一年多的应用迭代后,也迎来了全面的升级,正式开放赋能。顾维灏介绍,MANA 计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到 OASIS 中;其次,MANA 感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若中;第三,增加了使用 NeRF 技术的数据合成服务,降低 Corner Case 数据的获取成本;同时针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。

2023-04-12 15:126308
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 530.1 次阅读, 收获喜欢 1975 次。

关注

评论

发布
暂无评论
发现更多内容

前端食堂技术周刊第 30 期:Vercel 支持零配置部署使用 pnpm 项目、React 新文档更新、Angular Roadmap、Remix Stacks

童欧巴

JavaScript 编程 前端 周刊 资讯

高层次人才一站式服务平台系统开发

a13823115807

kubeadm工作原理-kubeadm init原理分析-kubeadm join原理分析

良凯尔

容器 云原生 kubeadm #Kubernetes# Kubernetes 集群

week4作业

Asha

从二十年开源经历出发,70 后大龄程序员谈成长、困境与突围

TDengine

数据库 tdengine 开源

异构注册中心机制在中国工商银行的探索实践

SOFAStack

GitHub 开源 分布式架构 注册中心 工商银行

360大数据技术专家 程建云:IoTDB在360的落地实践 | Apache IoTDB Talk

Apache IoTDB

时序数据库 IoTDB Apache IoTDB

区块链等技术助力北京海关监管

CECBC

如何快速实现持续交付

阿里云云效

云计算 阿里云 软件开发 CI/CD 持续交付

明天直播:如何测试硬件设备与龙蜥操作系统的兼容性?

OpenAnolis小助手

硬件 直播 开源社区 sig 兼容性

基于微信小程序的实验室预约小程序平台详细设计

CC同学

黑匣子为什么难成为“云匣子”?

脑极体

小程序电商业务微服务拆分及微服务基础设施选型

Geek_36cc7c

一文带你了解 Python 中的生成器

踏雪痕

Python 生成器 3月程序媛福利 3月月更

《LeetCode 刷题报告》题解内容Ⅱ

謓泽

3月月更

云时代,租电脑还是初创型企业最好的选择吗?

阿里云弹性计算

远程办公 无影云电脑 初创型企业

OceanBase 开源负责人纪君祥聊 社区版 2022 Roadmap

OceanBase 数据库

oceanbase OceanBase 开源

Flutter 路由及路由拦截跳转404

岛上码农

flutter ios Android开发 移动端 3月月更

URL的四种形式对比说明

源字节1号

前端开发 后端开发 网站开发

Paxos vs. Raft:我们对共识算法达成共识了吗?

多颗糖

分布式系统 raft PAXOS

服务器防渗透--信息收集

喀拉峻

网络安全

JS Array数组几个循环实用方法总结

MegaQi

JavaScrip 测试发开 web前端开发

区块链架构下 智慧城市发展加速

CECBC

“中本聪岛”加密乌托邦

CECBC

数字医疗时代的数据安全如何保障?

CECBC

Facebook 开源 Golang 实体框架 Ent 现已支持 TiDB

Geek_2d6073

墨天轮访谈 | 华为云温云博:从客户视角出发,GaussDB(for Redis)究竟“香”在哪里?

墨天轮

数据库 redis 华为云 国产数据库 键值数据库

VuePress 博客搭建系列 33 篇正式完结!

冴羽

JavaScript Vue 前端 vuepress 博客搭建

深入浅出 Java FileChannel 的堆外内存使用

Apache IoTDB

加密货币监控和区块链分析如何帮助避免加密货币欺诈?

CECBC

[Day3]-[快慢指针]解决链表问题

方勇(gopher)

LeetCode 数据结构与算法

自动驾驶生成式大模型DriveGPT来了:基于4000万公里量产车驾驶数据训练,参数规模1200亿_AI&大模型_刘燕_InfoQ精选文章