写点什么

计算机图形学将迎来新突破?Meta 携手斯坦福大学推出 3D 交互模型,VR 时代似乎不远了

  • 2023-12-11
    北京
  • 本文字数:2621 字

    阅读完需:约 9 分钟

大小:1.17M时长:06:50
计算机图形学将迎来新突破?Meta携手斯坦福大学推出3D交互模型,VR时代似乎不远了

近日,斯坦福大学与 Meta/Facebook AI 研究(FAIR)实验室的工作人员共同开发出一套突破性的 AI 系统,能够仅根据文本描述在虚拟人和物体之间生成自然、协调的运动关系。

 

这套新系统被称为 CHOIS(Controllable Human-Object Interaction Synthesis,即可控人机交互合成),使用最新的条件扩散模型技术生成无缝且精确的交互,例如“将桌子举过头顶、行走,然后放下桌子。”

 

简而言之,这是一套先进的人工智能系统,用于合成逼真的 3D 人机交互。

 

这项工作被公布在 arXiv 论文预发表网站的一篇文章中,也让我们得以一睹虚拟人如人类般顺畅理解并响应语言命令的未来景观。例如,把椅子拉近桌子来创造一个工作空间,调整落地灯以投射出完美的光芒,或者整齐地存放手提箱。每一项任务都需要人、物体和周围环境之间的精确协调。语言是表达和传达这些意图的有力工具,在语言和场景背景的指导下,合成逼真的人类和物体运动是构建先进的人工智能系统的基石,该系统可以在不同的 3D 环境中模拟连续的人类行为。

 

论文地址:https://arxiv.org/pdf/2312.03913.pdf

 

研究人员们在文章中指出,“根据语言描述在 3D 场景中生成连续的人-物交互一直存在不少挑战。”

 

他们必须确保生成的运动真实且协调同步,保持人手与物体之间的适当接触,且物体的运行应当与人类行为具有因果关系。

如何实现


CHOIS 系统之所以效果拔群,依靠的就是其在 3D 环境中摸索出一套独特的人-物交互合成方法。CHOIS 的核心为条件扩散模型,这是一种能够模拟详尽运动序列的生成模型。

 

当给定人/物位置的初始状态以及所需操作的语言描述之后,CHOIS 就会据此生成一系列动作,最终完成任务要求的交互效果。

 

例如,假设指令是将灯具移到沙发旁边,CHOIS 会理解指令内容并创建一段逼真的动画,显示人类形象拿起灯具并将其放置在沙发附近。

 

利用 AMASS 等大规模、高质量的运动捕捉数据集,人们对生成人体运动建模的兴趣有所上升,包括动作条件合成和文本条件合成。虽然之前的工作使用 VAE 公式从文本生成不同的人体运动,但 CHOIS 专注于人与物体的交互。与通常以手部运动合成为中心的现有方法不同,CHOIS 在物体抓取之前考虑全身运动,并根据人体运动预测物体运动,为交互式 3D 场景模拟提供全面的解决方案。



给定初始对象和人类状态、语言描述和 3D 场景中的稀疏对象路径点,CHOIS 生成的物体运动与人体运动同步。

 

CHOIS 的独特之处,就在于它使用稀疏对象路径点和语言描述来指导动画生成。各个路径点充当对象移动轨迹中的关键标记点,确保运动不仅符合物理规律,而且与语言输入中描述的高级目标保持一致。

 

CHOIS 的另一大优势,在于能够将语言理解能力与物理模拟功能加以结合。传统模型往往难以将语言同空间和身体动作联系起来,特别对于较大的交互范围,必须考虑诸多因素才能始终保持交互的真实性。

 

CHOIS 首先解释语言描述所承载的意图和风格,而后将其转化为一系列既符合人体构造、又不违背物体特性的肢体动作,从而解决了大范围交互过程中的这一现实难题。

 

该系统尤其具有开创性的一点,就是它能准确表现接触点(例如手与物体之间的接触位置),且物体的运行与人类化身施加的力保持一致。此外,该模型在训练和生成阶段还引入了专门的损失函数和指导性术语,旨在强制遵循这些物理约束,这也是让 AI 成功实现以人类方式理解物理世界、并与物理世界正确交互的重要一步。

对计算机图形学、AI 与机器人技术的影响


CHOIS 系统对计算机图形学产生了深远影响,特别是在动画和虚拟现实领域。通过让 AI 获得解释自然语言指令并据此生成逼真人机交互过程的能力,CHOIS 能够大大减少制作复杂场景动画所需要的时间和精力。

 

动画师们可以使用这项技术来创建出以往极为费时费力的关键帧动画序列,显著提升设计效率与成果产出。此外,在虚拟现实环境当中,CHOIS 还能带来更加身临其境且高度交互的体验,由用户通过自然语言指挥虚拟角色,并观察其以逼真精度执行任务的全过程。这种更高水平的交互能够将 VR 体验从僵化、脚本化的事件转化为更加顺畅自然的动态环境用户输入响应效果。

 

在 AI 和机器人领域,CHOIS 则代表我们朝着更加自主的情境感知系统迈出的一大步。传统机器人往往受到预编程例程的限制,而 CHOIS 这类系统的出现能够帮助其更好地理解现实世界、并顺利按照自然语言给出的描述完成任务。

 

这对于医疗保健、酒店或家庭环境下的服务型机器人来说尤其有着变革性的影响。在这类环境下,理解物理空间并在其中执行各类任务的能力往往至关重要。

 

对于 AI 来说,这种同时处理语言和视觉信息以引导任务执行的能力,也使其距离充分理解情境和环境上下文又更进了一步。而且在此之前,这种能力一直是人类的优势和专利。在 CHOIS 的支持下,未来的 AI 系统有望在更多复杂任务中发挥更大的作用,不仅能够消化人类指令的“内容”、更能理解人类指令的操作“方式”,以前所未有的灵活性适应新的挑战。

成果令人惊艳,前景值得期待

 

CHOIS 代表了人工智能领域的重大飞跃,特别是在计算机视觉和人机交互领域。通过综合 3D 人与物体交互,CHOIS 可以生成逼真的动画和场景,这对于创建沉浸式虚拟体验至关重要。

 

该系统使用组合分层方法来理解人类与物体之间交互的复杂本质。这涉及将交互分解为更小的、可管理的部分,并理解这些部分之间的关​​系。模型的层次结构使其能够考虑交互的上下文,例如环境和所涉及对象的属性。

 

CHOIS 由深度学习算法提供支持,深度学习算法是机器学习的子集。这些算法使系统能够从人与物体交互的大型数据集中学习,随着时间的推移提高其准确性和预测能力。

 

总体而言,斯坦福大学和 Meta 的研究人员在计算机视觉、自然语言处理(NLP)和机器人技术交叉领域的这一极具挑战的问题上,成功取得了关键进展。

 

研究团队认为,他们的工作是建立先进 AI 系统的重要一步,该系统能够在不同的 3D 环境中模拟连续的人类行为。CHOIS 也为进一步研究如何利用 3D 场景加语言输入来合成人机交互过程打开了大门,有望在未来孕育出更加复杂的 AI 系统。

 

参考链接:

https://venturebeat.com/ai/stanford-and-meta-inch-towards-ai-that-acts-human-with-new-chois-interaction-model/

https://isp.page/news/chois-stanford-and-fair-metas-revolutionary-ai-for-realistic-3d-human-object-interactions/#gsc.tab=0

https://www.marktechpost.com/2023/12/10/researchers-from-stanford-university-and-fair-meta-unveil-chois-a-groundbreaking-ai-method-for-synthesizing-realistic-3d-human-object-interactions-guided-by-language/

2023-12-11 15:525891
用户头像
李冬梅 加V:busulishang4668

发布了 1046 篇内容, 共 660.0 次阅读, 收获喜欢 1210 次。

关注

评论

发布
暂无评论
发现更多内容

智能制造:构筑网络新安全“智”造

积木链小链

网络安全 数字化 智能制造

数字先锋 | AI+政务,轻松跨语种!霍尔果斯政务服务升级蜕变

天翼云开发者社区

政务 智能化转型 DeepSeek

Netty基础—基础网络协议

不在线第一只蜗牛

Netty 网络协议

低代码是成本 “屠夫”?用过发现果然名不虚传

秃头小帅oi

解放军总医院医学创新研究部刘晓莉实录分享(上):多模态生物医学数据利用

ModelWhale

人工智能 大数据 医疗

打工人速看! "反卷神器"的飞算JavaAI,月均加班减少30小时

飞算JavaAI开发助手

得物 Android Crash 治理实践

得物技术

android 后端

智能制造:项目管理的那些事儿

积木链小链

项目管理 数字化 智能制造

可观测性探索系列一:如何赋能运维数据治理

日志易

运维 可观测性平台

AI 编程工具哪家强?5 款主流 AI 代码生成工具横向测评

飞算JavaAI开发助手

Spring Boot + CRaC 启动速度提升了10倍!

Geek_e3e86e

Java 编程

DeepSeek:原理揭秘与水平评估。看DeepSeek如何回答?

天津汇柏科技有限公司

AI DeepSeek

解放军总医院医学创新研究部刘晓莉分享实录(下):常见开源生物医学数据集简介

ModelWhale

人工智能 大数据 医疗 人工智能大数据 医工融合

国产数据库高光时刻!天翼云TeleDB荣登TPC-DS全球测评总榜第二

天翼云开发者社区

数据库 云计算

【硬核测评】AI 代码生成工具准确率提升不止于 30%!

飞算JavaAI开发助手

支持百万人超大群聊的Web端IM架构设计与实践

JackJiang

网络编程 即时通讯 IM

国产数据库高光时刻!天翼云TeleDB荣登TPC-DS全球测评总榜第二

极客天地

和鲸走入同济大学校园,从 GPT 到 DeepSeek,共启 AI 通识课新篇章

ModelWhale

人工智能 大数据 DeepSeek v3

2025年智能工单管理系统产品推荐

云智慧AIOps社区

ITSM ITSM软件 工单管理 工单系统 智能工单

共探 AI 气象新未来:和鲸科技出席秦皇岛气象局“人工智能大语言模型应用交流会”

ModelWhale

人工智能 大数据 气象

一文解读MySQL Query Cache使用与实现

华为云开发者联盟

数据库 查询缓存 #Mysql TaurusDB

IDS 和 IPS 日志监控的重要性

运维有小邓

ips IDS 日志审计系统 日志管理系统

字符编码:从基础到乱码解决

不在线第一只蜗牛

qt 字符

5个小妙招,通义灵码“一键治愈”你的代码问题

阿里巴巴云原生

阿里云 云原生 通义灵码 AI程序员

5个小妙招,通义灵码“一键治愈”你的代码问题

阿里云云效

阿里云 云原生 通义灵码

TiDB 观测性解读(一)丨索引观测:快速识别无用索引与低效索引

PingCAP

TiDB 索引优化 数据库·

AI 生成的代码能用吗?亲测比手写更规范!

飞算JavaAI开发助手

计算机图形学将迎来新突破?Meta携手斯坦福大学推出3D交互模型,VR时代似乎不远了_计算机视觉_李冬梅_InfoQ精选文章