写点什么

智谱上线视频生成模型:30 秒生成 6 秒时长,免费不限次!B 站也有研发功劳?

  • 2024-07-27
    北京
  • 本文字数:1300 字

    阅读完需:约 4 分钟

大小:655.85K时长:03:43
智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?

整理 | 华卫

 

Sora 毫无疑问带来 AI 大模型的全新玩法,大模型可基于任意文字生成视频,包括 Runway 的 Gen 系列、微软的 Nuwa、Meta 的 Emu、谷歌的 Phenaki/VideoPoet、智谱 CogVideo 等。

 

7 月 26 日,智谱 AI CEO 张鹏在智谱 Open Day 上宣布,AI 生成视频模型清影(Ying)正式上线智谱清言,只需要 30 秒时间就能生成 6 秒时长、1440x960 清晰度的 3:2 比例视频。当日起,所有 C 端用户都能通过清影(Ying)体验到 AI 文生视频、图生视频能力。

 


PC 端链接:https://chatglm.cn/video

移动端链接:https://chatglm.cn/download?fr=web_home

 

输入一段文字后(俗称 Prompt),用户可以选择自己想要生成的风格,包括卡通 3D、黑白、油画、电影感等,配上清影自带的音乐,就能够生成充满 AI 想象力的视频片段。

 

除了文本生成视频,也可以到清影上玩图片生成视频。图生视频带来了更多的新玩法,包括表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的「老照片动起来」小程序也会同步上线,只需一步上传老照片,就能让凝练在旧时光中的照片灵动起来。

 

现在,清影(Ying)API 已同步上线大模型开放平台 bigmodel.cn,企业和开发者通过调用 API 的方式,体验和使用文生视频以及图生视频的模型能力。

 

据了解,清影(Ying)的付费方案是:在首发测试期间,所有用户均可免费使用,不限次数。此后,付费 5 元可解锁一天(24 小时)的高速通道权益,付费 199 元可解锁一年的付费高速通道权益。 

 

清影上线后,我们也第一时间测试了它的实际效果。

 

文生视频

 

先来看看对于可爱动物的视频生成效果。我们输入了以下两个提示词:

 

prompt1:两只小浣熊打架抢苹果

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    prompt2:一只奶牛猫在看猫和老鼠的动画片

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      图生视频

      再来看看对于人类的视频生成效果,我们输入了一张“仕女拉小提琴”的图片:

       


      得到的视频如下:

      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        背后自研技术,推理速度比前代提升 6 倍

        据介绍,清影(Ying)底座的视频生成模型是 CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了 Sora 的算法设计;它也是一个 DiT 架构,通过优化,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍。

         

        并且,智谱自研了一个端到端视频理解模型,用于为海量的视频数据生成详细的、贴合内容的描述,这样可以增强模型的文本理解和指令遵循能力,使得生成的视频更符合用户的输入,能够理解超长复杂 prompt 指令。

         

        在内容连贯性上,智谱 AI 自研高效三维变分自编码器结构(3D VAE),将原视频空间压缩至 2%大小,配合 3D RoPE 位置编码模块,更有利于在时间维度上捕捉帧间关系,建立起视频中的长程依赖。

         

        该生成式视频模型的研发中,Scaling Law 继续在算法和数据两方面发挥作用。“我们积极在模型层面探索更高效的 scaling 方式。”张鹏表示:“随着算法、数据不断迭代,相信 Scaling Law 将继续发挥强大威力。”

         

        bilibili 作为合作伙伴也参与并支持清影的研发过程。同时,合作伙伴华策影视也参与了模型共建。

         

        此外,智谱 AI 生成式视频研发得到北京市的大力支持,海淀区是智谱 AI 总部所在地,为智谱 AI 开展大模型研发提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。智谱 AI 生成式视频研发算力支持则来自于亦庄集群,目前北京亦庄人工智能公共算力平台已建成。

        2024-07-27 16:006854

        评论

        发布
        暂无评论

        Cloud Studio 内核升级之触手可及

        CODING DevOps

        软件工程 Cloud Studio 云端IDE

        技术改变一切,实现企业数字化演变

        智达方通

        全面预算管理

        Alien Skin Eye Candy 7 for Mac汉化激活(PS眼睛糖果滤镜) v7.2.3.189

        真大的脸盆

        Mac Mac 软件 PS滤镜插件 特效滤镜插件

        这年头怕数据泄露?全密态数据库:无所谓,我会出手

        华为云开发者联盟

        数据库 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

        4.0 功能抢先看 | 读懂一个项目的研发效能 之 项目质量表现

        思码逸研发效能

        研发效能 项目质量

        技术干货|如何利用 ChunJun 实现数据离线同步?

        袋鼠云数栈

        开源

        北京.NET线下技术沙龙倒计时一天

        MASA技术团队

        .net MASA

        如何让数据安全管理工作化繁为简?uDSP 十问十答

        原点安全

        数据库 数据安全 动态脱敏 分类分级 uDSP

        机器学习平台PAI支持抢占型实例,模型服务最高降本90%

        阿里云大数据AI技术

        人工智能 机器学习

        量化交易系统开发合约策略

        薇電13242772558

        量化策略

        软件测试 | 配置JMeter

        测吧(北京)科技有限公司

        测试

        共享电动车生产批发厂家怎么找

        共享电单车厂家

        共享电动车厂家 共享电单车厂商 共享电动车生产

        更高效便捷的开发体验——Cloud Studio 编辑器命令行工具

        CODING DevOps

        软件工程 研发效能 Cloud Studio 在线编辑

        ​GPT充当大脑,指挥多个模型协作完成各类任务,通用系统AutoML-GPT来了

        工赋开发者社区

        DPU 厂商大禹智芯加入龙蜥社区,共建领先的 IT 基础设施

        OpenAnolis小助手

        开源 操作系统 龙蜥社区 DPU 大禹智芯

        阿里巴巴“高并发”核心笔记!《基础+实战+源码+面试+架构》

        程序知音

        Java 并发编程 高并发 java架构 Java进阶

        创新灵感来源于用户实践,TDengine 首次公开四项专利申请

        爱倒腾的程序员

        时序数据库 #TDengine taosdata

        软件测试 | 如何运行JMeter

        测吧(北京)科技有限公司

        测试

        Cloud Studio 云端开发保障企业源代码安全

        CODING DevOps

        软件工程 代码安全 Cloud Studio

        众筹一个标题,救救孩子!被选中的包食宿来参加奇妙敏捷之旅·青岛站!

        禅道项目管理

        敏捷 敏捷实践

        软件测试 | JMeter

        测吧(北京)科技有限公司

        测试

        工赋开发者社区 | Gartner发布2023年十大数据和分析趋势

        工赋开发者社区

        免费下载|《建设数字中国 升级数智底座-企业数智化底座白皮书》

        用友BIP

        2023用友BIP技术大会

        软件测试 | 开源Web性能测试

        测吧(北京)科技有限公司

        测试

        软件测试 | 认识性能测试

        测吧(北京)科技有限公司

        测试

        软件测试 |JMeter服务器模式、重置JMeter命令

        测吧(北京)科技有限公司

        测试

        九大核心专题,630页内容,肝了23天吃透,我收割了6个Java岗offer

        程序知音

        java面试 java架构 Java进阶 后端技术 Java面试八股文

        AIGC背后的技术分析 | 不止抠图、上色,看人工智能如何影响设计

        TiAmo

        AIGC AI绘画

        Cloud Studio 内核升级之专注体验

        CODING DevOps

        软件工程 Cloud Studio 云端IDE

        打造河南水务行业数智化标杆!中州水务电子化采购平台正式上线

        用友BIP

        Cloud Studio 内核升级之持续优化

        CODING DevOps

        DevOps 软件工程 Cloud Studio 云端IDE

        智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?_生成式 AI_华卫_InfoQ精选文章