产品战略专家梁宁确认出席AICon北京站,分享AI时代下的商业逻辑与产品需求 了解详情
写点什么

智谱上线视频生成模型:30 秒生成 6 秒时长,免费不限次!B 站也有研发功劳?

  • 2024-07-27
    北京
  • 本文字数:1300 字

    阅读完需:约 4 分钟

大小:655.85K时长:03:43
智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?

整理 | 华卫

 

Sora 毫无疑问带来 AI 大模型的全新玩法,大模型可基于任意文字生成视频,包括 Runway 的 Gen 系列、微软的 Nuwa、Meta 的 Emu、谷歌的 Phenaki/VideoPoet、智谱 CogVideo 等。

 

7 月 26 日,智谱 AI CEO 张鹏在智谱 Open Day 上宣布,AI 生成视频模型清影(Ying)正式上线智谱清言,只需要 30 秒时间就能生成 6 秒时长、1440x960 清晰度的 3:2 比例视频。当日起,所有 C 端用户都能通过清影(Ying)体验到 AI 文生视频、图生视频能力。

 


PC 端链接:https://chatglm.cn/video

移动端链接:https://chatglm.cn/download?fr=web_home

 

输入一段文字后(俗称 Prompt),用户可以选择自己想要生成的风格,包括卡通 3D、黑白、油画、电影感等,配上清影自带的音乐,就能够生成充满 AI 想象力的视频片段。

 

除了文本生成视频,也可以到清影上玩图片生成视频。图生视频带来了更多的新玩法,包括表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的「老照片动起来」小程序也会同步上线,只需一步上传老照片,就能让凝练在旧时光中的照片灵动起来。

 

现在,清影(Ying)API 已同步上线大模型开放平台 bigmodel.cn,企业和开发者通过调用 API 的方式,体验和使用文生视频以及图生视频的模型能力。

 

据了解,清影(Ying)的付费方案是:在首发测试期间,所有用户均可免费使用,不限次数。此后,付费 5 元可解锁一天(24 小时)的高速通道权益,付费 199 元可解锁一年的付费高速通道权益。 

 

清影上线后,我们也第一时间测试了它的实际效果。

 

文生视频

 

先来看看对于可爱动物的视频生成效果。我们输入了以下两个提示词:

 

prompt1:两只小浣熊打架抢苹果

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    prompt2:一只奶牛猫在看猫和老鼠的动画片

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      图生视频

      再来看看对于人类的视频生成效果,我们输入了一张“仕女拉小提琴”的图片:

       


      得到的视频如下:

      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        背后自研技术,推理速度比前代提升 6 倍

        据介绍,清影(Ying)底座的视频生成模型是 CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了 Sora 的算法设计;它也是一个 DiT 架构,通过优化,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍。

         

        并且,智谱自研了一个端到端视频理解模型,用于为海量的视频数据生成详细的、贴合内容的描述,这样可以增强模型的文本理解和指令遵循能力,使得生成的视频更符合用户的输入,能够理解超长复杂 prompt 指令。

         

        在内容连贯性上,智谱 AI 自研高效三维变分自编码器结构(3D VAE),将原视频空间压缩至 2%大小,配合 3D RoPE 位置编码模块,更有利于在时间维度上捕捉帧间关系,建立起视频中的长程依赖。

         

        该生成式视频模型的研发中,Scaling Law 继续在算法和数据两方面发挥作用。“我们积极在模型层面探索更高效的 scaling 方式。”张鹏表示:“随着算法、数据不断迭代,相信 Scaling Law 将继续发挥强大威力。”

         

        bilibili 作为合作伙伴也参与并支持清影的研发过程。同时,合作伙伴华策影视也参与了模型共建。

         

        此外,智谱 AI 生成式视频研发得到北京市的大力支持,海淀区是智谱 AI 总部所在地,为智谱 AI 开展大模型研发提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。智谱 AI 生成式视频研发算力支持则来自于亦庄集群,目前北京亦庄人工智能公共算力平台已建成。

        2024-07-27 16:006903

        评论

        发布
        暂无评论

        Mac文本处理软件 FSNotes 中文破解版

        Rose

        降本增效,火山引擎ByteHouse助力短剧广告投放效率提升5倍

        Geek_2d6073

        如何通过实际操作来加深对Linux命令和概念的理解?

        百度搜索:蓝易云

        云计算 Linux 运维 云服务器 ECS

        ChatGPT Plus订阅用户对GPT-4使用次数限制的失望

        蓉蓉

        openai ChatGPT GPT-4

        Fantastical for mac让日程管理更加便捷!

        Rose

        Mac电脑怎么设置动态桌面,heic动态桌面壁纸怎么使用

        Rose

        Guitar Pro 8 Mac 吉他编曲学习软件 8.1.2-32 直装版

        Rose

        程序员都在用哪些神器提升工作效率

        小魏写代码

        Vue3中快速简单使用CKEditor5富文本编辑器

        百度搜索:蓝易云

        Linux 运维 Vue 云服务器 CKEditor

        MDK-Keil AC6 Compiler屏蔽特定警告

        百度搜索:蓝易云

        云计算 运维 云服务器 compiler kell

        测试数据不再难,人工智能批量生成给你用!

        霍格沃兹测试开发学社

        Util 应用框架 UI 全新升级

        何镇汐

        AirPods Pro 如何更换取下和安装耳塞?

        Rose

        用TripletLoss优化bert ranking

        百度搜索:蓝易云

        Linux 运维 云服务器 BERT TripletLoss

        用OpenAI的API实现基本的ChatGPT

        王玉川

        openai ChatGPT AI Agent

        CrossOver代替KeyGen Runner运行exe注册机的方法

        Rose

        Slave SQL线程与PXB FTWRL死锁问题分析

        GreatSQL

        mac电脑如何导入ps笔刷 ,Adobe Photoshop笔刷导入安装教程详解

        Rose

        从零开始训练大语言模型的最佳实践

        王玉川

        训练 LLM 大语言模型

        建立成功平台工程的关键:自助式 IaC

        SEAL安全

        运维 IaC 平台工程

        低代码技术在构建质量管理系统中的应用与优势

        天津汇柏科技有限公司

        质量管理 低代码 质量管理系统

        Mac视觉特效处理包FxFactory 8 Pro安装卸载教程

        Rose

        Serato DJ Pro Suite for Mac:专业DJ设备 支持M芯片

        Rose

        最新版XMind for mac思维导图软件 v24.04.05171中文版

        Rose

        git客户端工具 Sublime Merge 注册版 mac软件 支持M芯片

        Rose

        MindSpore强化学习:使用PPO配合环境HalfCheetah-v2进行训练

        华为云开发者联盟

        人工智能 华为云 强化学习 华为云开发者联盟 企业号2024年4月PK榜

        带你开发一个视频动态手势识别模型

        华为云开发者联盟

        人工智能 华为云 华为云ModelArts 华为云开发者联盟 企业号2024年4月PK榜

        智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?_生成式 AI_华卫_InfoQ精选文章