AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

豆包视频生成大模型正式发布,首次突破多主体互动难关

  • 2024-09-24
    北京
  • 本文字数:1081 字

    阅读完需:约 4 分钟

大小:581.81K时长:03:18
豆包视频生成大模型正式发布,首次突破多主体互动难关

字节跳动正式宣告进军 AI 视频生成。9 月 24 日,字节跳动旗下火山引擎在深圳举办 AI 创新巡展,一举发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed 两款大模型,面向企业市场开启邀测。

 

  • 多动作多主体交互能力示例:

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    • 一致性切镜能力示例:

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      “视频生成有很多难关亟待突破。豆包两款模型会持续演进,在解决关键问题上探索更多可能性,加速拓展 AI 视频的创作空间和应用落地。”火山引擎总裁谭待表示。

       

      据火山引擎介绍,豆包视频生成模型基于 DiT 架构,通过高效的 DiT 融合计算单元,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法更是攻克了多镜头切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性。

       

      据悉,豆包视频生成模型经过剪映、即梦 AI 等业务场景打磨和持续迭代,来达到具备专业级光影布局和色彩调和、画面视觉极具美感和真实感的目的。深度优化的 Transformer 结构则大幅提升豆包视频生成的泛化能力,支持 3D 动画、2D 动画、国画、黑白、厚涂等多种风格,适配电影、电视、电脑、手机等各种设备的比例,不仅适用于电商营销、动画教育、城市文旅、微剧本等企业场景,也能为专业创作者和艺术家们提供创作辅助。


      目前,新款豆包视频生成模型正在即梦 AI 内测版小范围测试,未来将逐步开放给所有用户。剪映和即梦 AI 市场负责人陈欣然认为,AI 能够和创作者深度互动,共同创作,带来很多惊喜和启发,即梦 AI 希望成为用户最亲密和有智慧的创作伙伴。

       

      此外,豆包大模型不仅新增视频生成模型,还发布了豆包音乐模型和同声传译模型,已全面覆盖语言、语音、图像、视频等全模态,全方位满足不同行业和领域的业务场景需求。

       

      火山引擎在这次发布会上还披露了豆包大模型的使用量。据悉,截至 9 月,豆包语言模型的日均 tokens 使用量超过 1.3 万亿,相比 5 月首次发布时增加十倍,多模态数据处理量也分别达到每天 5000 万张图片和 85 万小时语音。

       

      此前,豆包大模型公布低于行业 99%的定价,引领国内大模型开启降价潮。谭待认为,大模型价格已不再是阻碍创新的门槛,随着企业大规模应用,大模型支持更大的并发流量正在成为行业发展的关键因素。

       

      谭待介绍,业内多家大模型目前最高仅支持 300K 甚至 100K 的 TPM(每分钟 token 数),难以承载企业生产环境流量。例如某科研机构的文献翻译场景,TPM 峰值为 360K,某汽车智能座舱的 TPM 峰值为 420K,某 AI 教育公司的 TPM 峰值更是达到 630K。为此,豆包大模型默认支持 800K 的初始 TPM,客户还可根据需求灵活扩容。

       

      “在我们努力下,大模型的应用成本已经得到很好解决。大模型要从卷价格走向卷性能,卷更好的模型能力和服务。”谭待说道。

      2024-09-24 16:397922

      评论 1 条评论

      发布
      用户头像
      生成的都是欧美人?
      2024-09-30 11:00 · 北京
      回复
      没有更多了
      发现更多内容

      使用海外直播专线,拓展直播带货的海外市场

      Ogcloud

      海外直播专线 海外直播 直播专线 海外直播网络 海外直播IP

      PingCAP 连续两年入选 Gartner 云数据库管理系统魔力象限“荣誉提及”

      PingCAP

      数据库 开源 分布式 TiDB pingCAP

      Rakuten 乐天积分系统从 Cassandra 到 TiDB 的选型与实战

      PingCAP

      MySQL TiDB newsql

      多样化消息通知样式,帮助应用提升日活跃度

      HarmonyOS SDK

      HarmonyOS

      贝锐花生壳简单3步映射金蝶KIS接口,实现财务凭证远程同步

      贝锐

      内网穿透 金蝶

      “面面俱到”!人脸活体检测让应用告别假面攻击

      HarmonyOS SDK

      HarmonyOS

      指标平台如何帮助企业更有效地利用指标?

      Aloudata

      指标管理 数据虚拟化 数据编织 指标平台 指标开发

      指标平台在处理大量数据和复杂指标查询时的性能如何?

      Aloudata

      数据分析 指标管理 指标平台 指标开发

      为什么会出现域名解析错误?域名解析错误怎么解决?

      国科云

      桌面贴纸工具Desktop Stickers for Mac激活版

      小玖_苹果Mac软件

      G1原理—G1是如何提升分配对象效率

      不在线第一只蜗牛

      Java 算法 JVM

      基于时间维度水平拆分的多 TiDB 集群统一数据路由/联邦查询技术的实践

      PingCAP

      数据库 分布式 TiDB

      陪玩系统源码,陪玩小程序怎么做才能赚钱,陪玩多人语聊房,游戏陪玩app源码陪玩H5源码

      DUOKE七七

      Vue 前端 后端 uniapp thinkphp

      【YashanDB知识库】解决mybatis的mapper文件sql语句结尾加分号";"报错

      YashanDB

      数据库 yashandb

      【YashanDB知识库】如何输入小写表名的函数参数

      YashanDB

      数据库 yashandb

      主体分割技术,提升图像信息提取能力

      HarmonyOS SDK

      HarmonyOS

      AI编程云课堂|1小时快速理解开源项目

      Trae

      [Java] 计算Java对象大小

      不在线第一只蜗牛

      Java

      TiDB 8.5 LTS 发版——支持无限扩展,开启 AI 就绪新时代

      PingCAP

      数据库 AI 分布式 TiDB

      【YashanDB知识库】进行load data的时候报找不到动态库liblz4.so

      YashanDB

      数据库 yashandb

      【YashanDB知识库】如何解决删除分区后索引失效问题

      YashanDB

      数据库 yashandb

      数据服务之决策层:从成本核算迈向成本经营,让一切成本皆可用

      用友智能财务

      财务 会计

      用友废钢智能判级入选工信部AI赋能新型工业化应用案例

      用友BIP

      用友 用友BIP YonGPT 人工智能大模型 钢铁企业

      豆包视频生成大模型正式发布,首次突破多主体互动难关_AI&大模型_褚杏娟_InfoQ精选文章