HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

  • 2024-06-20
    北京
  • 本文字数:2192 字

    阅读完需:约 7 分钟

大小:1.04M时长:06:04
Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

凭借广受欢迎的视频生成工具而声名大噪的 AI 厂商 Runway 最近发布了最新版本的 Runway Gen-3。Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上,训练出的模型家族的首位成员。与 Gen-2 相比,Gen-3 在保真度、一致性和运动表现方面迎来重大改进,并朝着构建通用世界模型迈出了坚实一步。


新模型目前仍处于 alpha 内测阶段,尚未对外公布。但从一系列演示视频的效果来看,与目前已经开放的 Gen-2 相比,下代模型生成的视频似乎在连续性、真实性以及提示词遵循能力方面取得了重大飞跃。


  • 细粒度的时间控制


Gen-3 Alpha 由描述精细、时间密集的描述词训练而成,可实现富有想象力的过渡效果并为场景元素生成精确的关键帧。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    • 逼真的人类形象


    Gen-3 Alpha 擅长生成具有各种动作、手势及情绪,且富有表现力的人类形象,开拓出前所未有的叙事方式与空间。

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      • 为艺术家而生,供艺术家使用


      Gen-3 Alpha 的训练由研究科学家、工程师及艺术家共同组成的跨学科团队倾力完成,旨在诠释各种视觉风格及镜头语言。


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        Gen-3 模型生成的视频,特别是包含大画幅人脸特写的视频,拥有极为逼真的画面效果。这也不禁令 AI 艺术社区的成员们将其与 OpenAI 尚未发布,但同样备受期待的 Sora 进行了比较。


        00:00 / 00:00
          1.0x
          • 3.0x
          • 2.5x
          • 2.0x
          • 1.5x
          • 1.25x
          • 1.0x
          • 0.75x
          • 0.5x
          网页全屏
          全屏
          00:00


          网友评价


          一位 Reddit 用户在 Runway Gen-3 讨论主题下的高票评论中写道,“哪怕目前展示的都是精心挑选的优质之作,效果看起来也要比 Sora 好得多。Sora 的效果和观感仍有风格化痕迹,但这边的视频则更真实,也是我迄今为止见过的最好的 AI 生成视频。”


          另一位用户则在拥有 6.6 万成员的 Reddit AI Video 子频道上写道,“如果不告诉我,我肯定会觉得这些画面是真实拍摄出来的。”


          AI 电影制作人、自称 Runway 创意合作伙伴的用户 PZF 发布推文称,“这些 Runway Gen-3 片段在我看来吸引力十足——看起来很有电影的质感。画面流畅、平实(我是说非常自然)而且相当可信。”



          除了 Gen-3 视频生成器,Runway 还推出了一套微调工具,提供更灵活的图像与相机控制选项。该公司发布推文称,“Gen-3 Alpha 将为 Runway 的文本生视频、图像生视频以及文本生图像工具、现有控制模式(例如运动画笔、高级相机控制及导演模式)以及即将推出的工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。”



          Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上训练出的模型家族的首位成员,代表我们朝着构建通用世界模型迈出了坚实一步。



          Gen-3 Alpha 经过视频与图像的联合训练,旨在为 Runway 旗下各文本生视频、图像生视频及文本生图像工具、现有控制模式(如运动画笔、高级相机控制、导演模式)以及即将推出的更多工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。


          Runway 宣称,Gen-3 是其实现建立“通用世界模型”这一雄心勃勃目标的重要一步。这些模型使得 AI 系统能够构建环境的内部表现,并借此来模拟该环境中将要发生的未来事件。这种方法使得 Runway 有别于只关注特定时间轴内下一可能帧的传统预测技术。


          虽然 Runway 方面尚未透露 Gen-3 的具体发布时间,但公司联合创始人兼 CTO Anastasis Germanidis 宣布 Gen-3 Alpha“将很快在 Runway 产品内现身”。他还透露,具体包括现有模态以及“一些目前只能借助更强大基础模型实现的新模态”。



          Runway Gen-3 Alpha 将很快在 Runway 产品中现身,并将支持大家所熟悉的全部现有模态(文本生视频、图像生视频、视频生视频),以及一些目前只能借助更强大基础模型实现的新模态。

          竞品对比


          Runway 的 AI 探索之旅始于 2021 年,当时他们与慕尼黑大学的研究人员合作开发出 Stable Diffusion 的首个版本。Stability AI 后来以帮助该项目承担计算成本为由介入,并推动 AI 视频生成在全球范围内掀起热潮。


          从那时起,Runway 就一直是 AI 视频生成领域的重要参与者,与 Pika Labs 等竞争对手并驾齐驱。然而,随着 OpenAI 宣布推出超越现有模型能力的 Sora,市场格局也随之发生变化。好莱坞著名演员阿什顿·库彻最近表示,像 Sora 这样的工具可能会彻底颠覆影视剧的创作逻辑,此言一出旋即引发轰动。


          然而就在全球翘首期待 Sora 发布之际,新的竞争对手也陆续崭露头角,包括快手打造的 Kling 以及 Luma AI 的 Dream Machine。


          Kling 是一款来自中国的视频生成器,能够以每秒 30 帧的速度生成最长 2 分钟的 1080p 分辨率视频,较现有模型实现了巨大改进。这套中文模型现已发布,但用户需要使用中国手机号进行注册。快手表示后续将为该模型推出全球版。


          另一颗新星 Dream Machine 则是一套可供免费使用的平台,能够将书面文本转换为动态视频,且生成结果在质量、连续性及提示词遵循效果方面全面超越 Runway Gen-2。用户只需提交 Google 账户即可完成登录,但目前由于人气过高,内容生成速度往往很慢、甚至无法顺利完成视频生成。


          在开源领域,Stable Video Diffusion 虽然在生成效果上不算出色,但其开放属性却为模型的后续改进和发展提供了坚实基础。Vidu 是由北京生数科技和清华大学开发的另一款 AI 视频生成器,采用名为 Universal Vision Transformer (U-ViT) 的专有视觉转换模型架构,只需一次单击即可生成 16 秒长的 1080p 分辨率视频。


          至于前面提到的 Pika Labs,由于尚未发布重大更新,所以其目前的生成效果基本与 Runway Gen-2 持平。


          参考链接:


          https://runwayml.com/blog/introducing-gen-3-alpha/https://decrypt.co/235842/runway-gen-3-ai-video-better-than-sora


          2024-06-20 18:048420

          评论

          发布
          暂无评论

          测试模型中理解压力测试和负载测试

          FunTester

          性能测试 接口测试 压力测试 FunTester 负载测试

          如何选择收银机主板?

          双赞工控

          安卓主板

          带你读AI论文丨用于细粒度分类的Transformer结构—TransFG

          华为云开发者联盟

          细粒度 映射 Transformer TransFG 差异性图片

          如何从零搭建起一支技术团队

          石云升

          团队管理 管理 引航计划 内容合集 9月日更

          【墨天轮专访第四期】华为云GaussDB:发挥生态优势,培养应用型DBA

          华为云数据库小助手

          GaussDB 交流 华为云数据库 人物访谈

          手撸二叉树之二叉搜索树的最小绝对差

          HelloWorld杰少

          数据结构与算法 9月日更

          【优化技术专题】「线程间的高性能消息框架」深入浅出Disruptor的使用和原理

          洛神灬殇

          Disruptor LinkedBlockingQueue ArrayBlockingQueue 9月日更

          北鲲云SaaS平台让生物医学关键环节不再靠“猜”

          北鲲云

          人才缺口超70万,15所高校新设区块链专业

          CECBC

          用IoT放羊养牛,不出门也能知道它们的动向

          华为云开发者联盟

          物联网 华为云 iotda 畜牧业 华为云物联网平台

          三面滴滴Java岗,Java程序员校招蚂蚁金服

          Java 程序员 后端

          什么是Spring-Cloud、需要掌握哪些知识点,Java面试常问的算法题

          Java 程序员 后端

          没有Linux服务器,该如何学习Linux呢?

          Simon郎

          大数据 Linux java;

          NDK-AAudio

          Changing Lin

          9月日更

          RocksDB原理及应用

          hanaper

          三大「价值流」搞定技术型管理

          蔡建斌

          管理 技术管理 精益 引航计划 内容合集

          循环神经网络LSTM RNN回归:sin曲线预测

          华为云开发者联盟

          RNN 循环神经网络 LSTM LSTM RNN回归

          三面美团、四面阿里成功斩下offer,下血本买的

          Java 程序员 后端

          什么是事务数据库?,Java程序员面试题集大全

          Java 程序员 后端

          Vite + Vue3 + OpenLayers

          德育处主任

          大前端 地图 vite Vue3 openlayers

          号外!号外!极客时间出插件了😎

          IT蜗壳-Tango

          极客时间 9月日更 浏览器插件

          Who is Mavenir?

          俞凡

          Mavenir

          使用Git分布式控制系统,怒斩腾讯和阿里的Offer

          Java 程序员 后端

          性能测试中标记请求参数实践

          FunTester

          性能测试 接口测试 压力测试 FunTester 标记参数

          【Flutter 专题】50 图解动画小插曲之 Lottie 动画

          阿策小和尚

          Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

          世界的尽头是铁岭,互联网的尽头是它

          艾小仙

          Vue进阶(幺零七):arr.forEach() 跳出循环

          No Silver Bullet

          Vue 9月日更

          什么?语音合成开源代码不会跑,Follow me!

          华为云开发者联盟

          tensorflow 语音合成 Tacotron2 DeepMind 深度神经网络模型

          14 种编程语言书写关机脚本,真香

          梦想橡皮擦

          9月日更

          三面蚂蚁惨败,面试官要求手写算法,从外包公司到今日头条offer

          Java 后端

          狄刚谈区块链:技术上去中心化并不等于管理去中心化

          CECBC

          Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好_AI&大模型_褚杏娟_InfoQ精选文章