4 月 14 日,Meta 公司对外开源了一个AI工具,该工具可以将人们的涂鸦变成现实动画。该公司希望通过将动画绘图作为开源项目提供,其他开发人员将能够创造新的、更丰富的体验。
工具地址:https://developers.facebook.com/blog/post/2023/04/13/meta-os-animated-drawings/
Fundamental AI Research(FAIR)团队最初于 2021 年发布了该工具的网络版。它要求用户上传单个类人角色的绘图或选择一个演示图。如果用户使用自己的涂鸦,将会出现一份问询同意书,询问 Meta 是否可以使用用户的绘图来帮助训练其模型。Meta 设置该问卷的人性化之处在于,即使用户不同意,也可以继续使用该工具。
网络版地址:https://sketch.metademolab.com/
接下来,用户需要调整捕获框的大小,使其紧贴创作。该工具为用户提供了一支笔和橡皮擦,可以在调整关节的位置之前调整绘图。用户会看到草图的动画版本。用户可以从四种类别的各种预设动画中进行选择:舞蹈、滑稽、跳跃和行走。
动画绘图利用对象检测模型、姿势估计模型和基于图像处理的分割方法来捕获绘图的数字版本。然后它使用传统的计算机图形技术对图像进行变形和动画处理。
在几个月内演示上线,用户已授予 Meta 许可,可以将超过 160 万张图像用于训练目的。有些人上传了公司标志、动漫人物、鱼和毛绒动物的图像,尽管该工具规定只有人物形象才能工作。
除了对包含声音效果和文本叠加的更深入工具集的请求外,人们上传到该工具的一系列图像表明人们对更广泛的绘图到动画体验有着广泛的兴趣。在某种程度上,这导致 Meta 开源了该项目的源代码,其中包含约 18 万张图纸的数据集。“通过将模型和代码作为开源发布,该项目为开发人员提供了一个构建和扩展项目的起点,在开源社区中培养了创新和协作的文化,”Meta 在博客文章中写道。
评论