写点什么

Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

  • 2024-06-20
    北京
  • 本文字数:2192 字

    阅读完需:约 7 分钟

大小:1.04M时长:06:04
Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

凭借广受欢迎的视频生成工具而声名大噪的 AI 厂商 Runway 最近发布了最新版本的 Runway Gen-3。Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上,训练出的模型家族的首位成员。与 Gen-2 相比,Gen-3 在保真度、一致性和运动表现方面迎来重大改进,并朝着构建通用世界模型迈出了坚实一步。


新模型目前仍处于 alpha 内测阶段,尚未对外公布。但从一系列演示视频的效果来看,与目前已经开放的 Gen-2 相比,下代模型生成的视频似乎在连续性、真实性以及提示词遵循能力方面取得了重大飞跃。


  • 细粒度的时间控制


Gen-3 Alpha 由描述精细、时间密集的描述词训练而成,可实现富有想象力的过渡效果并为场景元素生成精确的关键帧。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    • 逼真的人类形象


    Gen-3 Alpha 擅长生成具有各种动作、手势及情绪,且富有表现力的人类形象,开拓出前所未有的叙事方式与空间。

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      • 为艺术家而生,供艺术家使用


      Gen-3 Alpha 的训练由研究科学家、工程师及艺术家共同组成的跨学科团队倾力完成,旨在诠释各种视觉风格及镜头语言。


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        Gen-3 模型生成的视频,特别是包含大画幅人脸特写的视频,拥有极为逼真的画面效果。这也不禁令 AI 艺术社区的成员们将其与 OpenAI 尚未发布,但同样备受期待的 Sora 进行了比较。


        00:00 / 00:00
          1.0x
          • 3.0x
          • 2.5x
          • 2.0x
          • 1.5x
          • 1.25x
          • 1.0x
          • 0.75x
          • 0.5x
          网页全屏
          全屏
          00:00


          网友评价


          一位 Reddit 用户在 Runway Gen-3 讨论主题下的高票评论中写道,“哪怕目前展示的都是精心挑选的优质之作,效果看起来也要比 Sora 好得多。Sora 的效果和观感仍有风格化痕迹,但这边的视频则更真实,也是我迄今为止见过的最好的 AI 生成视频。”


          另一位用户则在拥有 6.6 万成员的 Reddit AI Video 子频道上写道,“如果不告诉我,我肯定会觉得这些画面是真实拍摄出来的。”


          AI 电影制作人、自称 Runway 创意合作伙伴的用户 PZF 发布推文称,“这些 Runway Gen-3 片段在我看来吸引力十足——看起来很有电影的质感。画面流畅、平实(我是说非常自然)而且相当可信。”



          除了 Gen-3 视频生成器,Runway 还推出了一套微调工具,提供更灵活的图像与相机控制选项。该公司发布推文称,“Gen-3 Alpha 将为 Runway 的文本生视频、图像生视频以及文本生图像工具、现有控制模式(例如运动画笔、高级相机控制及导演模式)以及即将推出的工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。”



          Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上训练出的模型家族的首位成员,代表我们朝着构建通用世界模型迈出了坚实一步。



          Gen-3 Alpha 经过视频与图像的联合训练,旨在为 Runway 旗下各文本生视频、图像生视频及文本生图像工具、现有控制模式(如运动画笔、高级相机控制、导演模式)以及即将推出的更多工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。


          Runway 宣称,Gen-3 是其实现建立“通用世界模型”这一雄心勃勃目标的重要一步。这些模型使得 AI 系统能够构建环境的内部表现,并借此来模拟该环境中将要发生的未来事件。这种方法使得 Runway 有别于只关注特定时间轴内下一可能帧的传统预测技术。


          虽然 Runway 方面尚未透露 Gen-3 的具体发布时间,但公司联合创始人兼 CTO Anastasis Germanidis 宣布 Gen-3 Alpha“将很快在 Runway 产品内现身”。他还透露,具体包括现有模态以及“一些目前只能借助更强大基础模型实现的新模态”。



          Runway Gen-3 Alpha 将很快在 Runway 产品中现身,并将支持大家所熟悉的全部现有模态(文本生视频、图像生视频、视频生视频),以及一些目前只能借助更强大基础模型实现的新模态。

          竞品对比


          Runway 的 AI 探索之旅始于 2021 年,当时他们与慕尼黑大学的研究人员合作开发出 Stable Diffusion 的首个版本。Stability AI 后来以帮助该项目承担计算成本为由介入,并推动 AI 视频生成在全球范围内掀起热潮。


          从那时起,Runway 就一直是 AI 视频生成领域的重要参与者,与 Pika Labs 等竞争对手并驾齐驱。然而,随着 OpenAI 宣布推出超越现有模型能力的 Sora,市场格局也随之发生变化。好莱坞著名演员阿什顿·库彻最近表示,像 Sora 这样的工具可能会彻底颠覆影视剧的创作逻辑,此言一出旋即引发轰动。


          然而就在全球翘首期待 Sora 发布之际,新的竞争对手也陆续崭露头角,包括快手打造的 Kling 以及 Luma AI 的 Dream Machine。


          Kling 是一款来自中国的视频生成器,能够以每秒 30 帧的速度生成最长 2 分钟的 1080p 分辨率视频,较现有模型实现了巨大改进。这套中文模型现已发布,但用户需要使用中国手机号进行注册。快手表示后续将为该模型推出全球版。


          另一颗新星 Dream Machine 则是一套可供免费使用的平台,能够将书面文本转换为动态视频,且生成结果在质量、连续性及提示词遵循效果方面全面超越 Runway Gen-2。用户只需提交 Google 账户即可完成登录,但目前由于人气过高,内容生成速度往往很慢、甚至无法顺利完成视频生成。


          在开源领域,Stable Video Diffusion 虽然在生成效果上不算出色,但其开放属性却为模型的后续改进和发展提供了坚实基础。Vidu 是由北京生数科技和清华大学开发的另一款 AI 视频生成器,采用名为 Universal Vision Transformer (U-ViT) 的专有视觉转换模型架构,只需一次单击即可生成 16 秒长的 1080p 分辨率视频。


          至于前面提到的 Pika Labs,由于尚未发布重大更新,所以其目前的生成效果基本与 Runway Gen-2 持平。


          参考链接:


          https://runwayml.com/blog/introducing-gen-3-alpha/https://decrypt.co/235842/runway-gen-3-ai-video-better-than-sora


          2024-06-20 18:048994

          评论

          发布
          暂无评论
          发现更多内容

          AI在玩一种很新的艺术,700万网友在线围观,ControlNet又立功了

          Openlab_cosmoplat

          AI

          免费、安全、可靠!一站式构建平台 ABS 介绍及实例演示 | 龙蜥技术

          OpenAnolis小助手

          开源 操作系统 龙蜥社区 龙蜥大讲堂 abs

          【腾讯云 TDSQL-C Serverless 产品测评】"橡皮筋"一样的数据库

          指剑

          腾讯云 Serverless 数据库、

          华为重磅亮相 KubeCon China 2023,与你共启大模型时代的云原生!

          华为云开源

          云原生 华为云 KubeCON

          极光笔记 | 大语言模型插件

          极光JIGUANG

          人工智能 插件 AIGC 大语言模型

          CodeArts Check代码检查服务用户声音反馈集锦(5)

          华为云PaaS服务小智

          云计算 软件开发 华为云 代码检查

          五个很实用的IDEA使用技巧

          越长大越悲伤

          Java Python IDEA pycharm

          腾讯云大数据平台 TBDS全面升级,加速构建安全可控的大数据生态

          腾讯云大数据

          TBDS

          满足更高算力需求,英特尔率先推出用于下一代先进封装的玻璃基板

          E科讯

          用低代码开发工具高效构建企业门户

          力软低代码开发平台

          解锁 zkSync Era:开创全新的 Layer 2 扩展时代

          Footprint Analytics

          以太坊 eth Layer 2

          2023英特尔on技术创新大会:助力开发者,让AI无处不在

          E科讯

          超详细API插件使用教程,教你开发AI垃圾分类机器人

          华为云开发者联盟

          人工智能 API 华为云 华为云开发者联盟 企业号9月PK榜

          StarRocks 社区:从初生到两周年的进化之路

          StarRocks

          数据库 大数据 数据仓库 数据湖 湖仓一体

          eBPF 仅仅是实现可观测性的一种手段

          JainChen

          可观测性 ebpf Kubernetes, 云原生, eBPF #监控

          开启全球化新篇章,数字经济推动消费出海论坛在京召开

          千流出海

          出海 消费品企业 出海企业

          至顶科技携手中青博联发布品牌升级千流出海计划 助力中国企业走向海外市场

          千流出海

          出海 出海服务商

          基础概念回顾:云原生应用交付

          NGINX开源社区

          云原生 应用交付 基础概念

          提升开发效率的低代码思路

          树上有只程序猿

          软件开发 低代码 可视化开发

          低代码平台技术分享官丨日志实时隔离,助力高效发布

          inBuilder低代码平台

          低代码

          英特尔首席执行官帕特·基辛格会前畅谈2023年on技术创新大会

          E科讯

          Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好_AI&大模型_褚杏娟_InfoQ精选文章